显庆四年（659年），在武则天的授意下，由许敬宗费尽心机，把长孙无忌编织进一桩朋党案，进行恶毒陷害。许敬宗借处理太子洗马韦季方和监察御史李巢朋党案之机，诬奏韦季方与长孙元忌构陷忠臣近戚，要使权归无忌，伺机谋反。唐高宗先是吃惊不信，继而伤心怀疑，命许敬宗再察，然后面对许敬宗足未出户编造的关于韦季方交待与长孙无忌谋反的供词，哭泣道：“舅若果尔，朕决不忍杀之，天下将谓朕何，后世将谓朕何！”许敬宗举汉文帝杀舅父薄昭，天下以为明主之例宽慰高宗，又引“当断不断，反受其乱”的古训，催促其下决心。唐高宗竟然不与长孙无忌对质（或者他需要不进行对质），就下诏削去了长孙无忌的太尉官职和封邑，流徙黔州，但准许按一品官供给饮食，算是对元舅的照顾，长孙无忌的儿子及宗族全被株连，或流或杀。三个月后，高宗又令许敬宗等人复合此案，许敬宗派大理正袁公瑜前往黔州，逼迫长孙无忌自杀。
自从武则天当上皇后那一天起，长孙无忌就觉得自己大势已去，觉得自己斗不过她，便隐忍起来修国史去了。要不然，凭借他的威望和权势，怎能任由武则天清除王、萧，废黜太子，培植亲信，贬黜大臣？
此一时彼一时，现在你是当红人物，而且有皇帝给你撑腰，我就不要犯傻跟你做对了，何况我以前得罪过你。我还是远离政治吧，只要远离了政治，你就会觉得我是一个无关紧要的人，就不会整我了。为了保全我的子孙们，同时为了我能有个善终，我服输了，我要活下去。其实我什么样的场面都见过，我并不怕整，但我怕你，因为你太狠了！我惹不起你，还躲不起你吗？
这是长孙无忌的心声，所以当武则天在整顿朝臣时，他作为首席宰相却一声不吭。他不再作为了，于是决定另谋职业——修国史。长孙无忌这样做就是想远离政治，转移武则天对他的注意力。不过，他也无心于政治，因为整个朝政已被李治和武则天控制了，他长孙无忌左右朝政的日子，已成了历史。
武则天整顿朝臣的日子，也是长孙无忌潜心修国史的日子。从武则天当上皇后到显庆四年四月，他一共编写了武德、贞观两朝国史80卷，梁、陈、周、齐、隋五代史志30卷和显庆新礼130卷。需要说明一下，李治和武则天外出旅游这一年，长孙无忌也在埋头修国史，因为他们压根就没带他出去玩。
实事求是地说，长孙无忌为我国的历史文化工程作出了杰出的贡献，但再大的贡献也磨灭不了武则天对他的仇恨，因为当年在他几番拒绝扶持武则天上位，而又黑吃黑的时候，武则天就发过誓：早晚有一天，我让你吃进去多少，就吐出来多少，直到把你的老骨头都吐出来！
武则天是一个有仇必报的人，她绝不会放过长孙无忌。看来，长孙无忌是惹不起她也躲不起她了。
武则天从洛阳旅游回京后，就一直在寻找机会除掉长孙无忌。显庆四年四月，她终于找到了机会。但在机会来临之前，她建议李治对宰相班子进行了重组，重组的宰相班子一共有六位：太尉长孙无忌(仍是首席宰相)、司空李勣、太子太师于志宁、侍中辛茂将、中书令许敬宗和黄门侍郎许圉师。在这六人当中，李勣和许敬宗是武则天的人，于志宁、辛茂将、许圉师则是中立派，而剩下的长孙无忌就完全被孤立了。
看到这里，明眼人也许会问：两年前被李治提升为中书令的那个李义府哪里去了？
原来，李义府在显庆三年(658年)犯事被贬了。前面作过交代，李义府恃宠放纵自己，什么坏事都干。后来他竟然纵容自己的儿子和女婿公然卖官鬻爵，在朝廷上影响极坏，却无人敢管。新晋宰相杜正伦看不下去了，他偏跟李义府对着干。为此，两人经常在殿堂上大吵大闹，李治忍无可忍，一怒之下就把李义府贬为普州(今四川安岳县)刺史，把杜正伦贬为横州(今广西横县)刺史。
别以为李义府就这样失势了，不久之后，也就是李治重组宰相班子之后，他又在武则天的庇护下复出，担任吏部尚书兼同中书门下三品，他还是一个宰相，他继续活跃在政治舞台上，这是后话。
祸起无关案件
言归正传。孤立无援的长孙无忌，犹如一只被围困起来的猎物，只待武则天捕杀。显庆二年四月，一件和他毫无关联的案件发生，直接把他送上了断头台。
事情是这样的。有一个叫做李奉节的洛阳人，状告太子洗马(太子政事和文理方面的导师，从五品)韦季方、监察御史李巢私交权贵，有搞朋党之嫌。搞朋党就是意图谋反，案子很快被李治获悉，他命令许敬宗和辛茂将审理此案。许敬宗接手这个案子后，严刑逼迫韦季方供出幕后指使者。这是一起简单的案子，没人指使，韦季方是一个有良知的汉子，他不冤枉别人，但也受不了许敬宗的刑讯逼供，他想一死了之，却自杀未果。