至于为避王萧二人冤魂就避居洛阳，也靠不住。高宗年间，没事就往长安城以外跑的是李治本人，永徽年间去年最多的是宝鸡万年宫，显庆二年以后置洛阳为东都，称洛阳与长安是他的“东西二宅”，这才时常开始往来于长安洛阳之间。武则天做为皇后只是随行，何况她为了紧跟高宗还不得不放任儿子留在长安监国，以至逐渐造成大权旁落母子反目。区区两个冤魂与权力又孰轻孰重？再往后她改李唐为武周，要换个京城当然也是无可厚非，似乎都与冤魂扯不上关系。何况洛阳宫城中武则天杀的冤魂也够多的了，哪有老年人不怕冤魂壮年人反倒怕成这样的道理。——因此，与其说她是因为两个冤魂而避开长安，还不如说她是因为太宗年间的过去而多少有些不喜欢长安。这个道理也放在李治身上也一样可以解释得通。
    王皇后和萧淑妃都灰飞烟灭了。接下来的事情也就顺理成章。
    显应元年正月初六，王皇后的养子太子李忠被废为梁王、梁州刺史，武皇后四岁的长子李弘成为大唐储君。当年李忠被册太子，长孙无忌出了大力，假如王皇后不被废、假如李忠能顺利继位，长孙无忌无疑将能在扶保太宗、扶保高宗之后，成为三度扶立皇帝的大功臣。这也是他竭力阻止有亲生儿子的武媚正位中宫的暗箱理由。然而这个美好的前景，至此彻底破灭。
    二月十七日，在武媚册后时已经被追封为司空的武士彟又被再次追封为司徒、周国公。
    三月十七日，武皇后祀先蚕于北郊。
    四月十四日，高宗偕武皇后登安福门城楼，观玄奘迎御制并书慈恩寺碑文，这场典仪上的仪仗徒从之盛，是自魏晋以来佛事中从未有过的。
    大慈恩寺位于长安宫城，是李治做太子时就发愿为母亲长孙皇后兴建的寺院。这道御制碑文则完整地记述了建寺的过程之盛。从表面看来，关于这道碑文入寺的整个过程都显得慈悲不已，一片祥和，事实上却已经显出了长孙家族的末路气象——除了碑文制成当天，由长孙无忌向衮衮诸公宣读了一趟之外，其它的出头露面机会都由新贵薛元超、李义府、许敬宗给占了去。当长孙无忌站在台上做一部读稿机，念着高宗感怀母恩的字句、回忆小外甥发愿建寺时的温驯听话，想到曾经的权倾朝野，体味现实中长孙家族的处境，这可真是绝顶的讽刺，长孙无忌又该有一种怎样的悲凉。长孙皇后一生最大的愿望，就是哥哥能远离权柄，使长孙家族能够绵延长远，如今看来，是将要成为泡影的了。高宗之所以还没有立即动手，只不过是因为长孙无忌入主中枢三十余年，枝繁叶茂，刨坑断根的工作需要时日而已。
    而此时，站在安福门城楼上的武皇后腹中已经怀上了她的第三个儿子，这一切都显示着李治对武皇后的宠恋殊深。照常理推测，所有的人都认为，如今皇宠隆重的武皇后家族，将要取长孙氏而代之了。然而武皇后却并不着急。
    九月十二日，武后制《外戚诫》献于高宗。彰显自己并不在乎提拔外戚的意思之余，话里话外似乎也敲打着长孙家族。
    同年，十一月初五，武皇后生下了她的第四个孩子：三子李显。
    这时候，高宗对新晋信臣的宠任已经到了极端的程度。洛州女子淳于氏有美色，却是个杀夫疑犯，由于案情重大被送押大理寺。可是正所谓没有最猛，只有更猛，李义府居然毫不在乎淳于氏的光荣历史而看上了她，硬让大理寺丞毕正义直接送进自己府里纳之为妾。这事被大理卿段宝玄一本奏上朝廷，高宗稀奇之下命人调查。李义府怕事情闹大，为了封口硬是逼着堂堂四品官毕正义上吊自杀。这样一桩奇案，高宗居然在“知之”后，满不在乎地“不问”了。
    这样的枉法纵容，当然是因为李义府是个得力的助手，正所谓人有人路蛇有蛇道，敢于这样胆大妄为不按规矩出牌的也可算是非一般人材，难逢难遇。常言有云：成大事者不拘小节，高宗就是这样一位欲成大事的人物。只要李义府还肯听指挥，一切都好商量。高宗是要留着他派大用场的。
    就在同一年，拔除长孙无忌“同党”的行动开始一步步进行。
    看着这样的形势，大约是出于背水一战的决心，长孙无忌的姻亲韩瑗向高宗上书，为禇遂良喊冤了。然而令人哭笑不得的是，老臣派吃了一场又一场的大亏，却仍然没有弄明白高宗心头的大忌，还在絮絮叨叨他们“先朝老臣”、“扶立陛下”的功绩：“社稷之旧臣，陛下之贤佐。”“陛下无故弃逐旧臣，恐非国家之福！”
    不用想了，原本是哪里跌倒的，还要继续在同一个地方摔下去。这样的对白听在高宗的耳朵里，后果可想而知。“上不纳。”韩瑗试探不果，知道结局将不妙，再次要求“归田里”。又是“上不许。”
    高宗是绝对要让韩瑗闭嘴的，但是岂能让他走得如此干净，还反过来给自己这个皇帝戴上一个“无故贬退旧臣”的名声？果然，没有多久，许敬宗和李义府就出手了。两人一齐上奏，诬陷韩瑗、来济与外放的禇遂良勾结，想要图谋不轨。奏章一上，高宗全本照准。韩瑗背着罪名，从锦绣长安被贬出京城，做了振州（海南三亚）刺史，来济则贬为台州（浙江临海）刺史，禇遂良加贬为爱州（越南清化|）刺史，可怜的王皇后舅父柳奭加贬为象州（广西象州）刺史，长孙无忌的表弟高履行也由堂堂太常卿驸马都尉贬为益州（成都）长史。