宦官谭稹被撤职后，作为谭稹的举荐人与后台，宰相王黼感到政治压力越来越大。虽然他名义上仍然是太傅，仍然担任三省长官，但实际上宋徽宗对他已很冷淡。许多事情已不用他插手，这让他有些惶恐不安。
    王黼失宠，其实并不是因其推荐谭稹失察，而是另有原因。其原因发生于去年十一月。
    那时候，因为燕京刚收复不久，王黼“身任伐燕之责”，自以为立下了千秋功勋，志得意满，有些忘乎所以。有一天，他对宋徽宗说：“我家的屏风上忽然长出一枚玉芝，很奇特，很漂亮，应该是大吉之兆，臣想请皇上临幸观赏。”宋徽宗很好奇，便答应前往。
    王黼在京城有两处府第，一处在大相国寺以东，另一处在西城区阊阖门（宜秋门）外边的竹竿巷，距离蔡京府第不远。这处宅邸面积很大，周围数里，富丽堂皇，正厅上面覆盖的一律是青铜瓦，后堂为高楼大阁，豪华气派。院中有一座用花石垒成的假山，高十余丈，奇特夺目。房屋梁柱门窗，皆用螺钿镶嵌。院落西部名叫西村，里面都是些竹篱茅舍，风格清新，很有乡野气息。
    王黼这两套房子都是宋徽宗御赐的。所谓玉芝，就生在西城区这套房子里。
    宋徽宗到此一看，心里暗暗吃惊。原来王黼与粱师成是对街邻居，两家还开了一个小门，以方便相互往来。宋徽宗独自从小门，到梁师成家去走了一圈。
    这时候，王黼出门传旨，让等候在大门外的宋徽宗的侍从，以及随行百官们各自散去，说皇上要留在他家里吃饭。
    随行官员们散去了。可是，宋徽宗的警卫人员即禁卫诸班直却不肯散去。他们提出，要见到皇上才肯谢恩散去，不然不肯散去。于是，大家吵吵嚷嚷，纷纷要见皇上。
    宋徽宗回到王黼家后，听到大门外面有纷扰喧哗之声，问王黼：“外边发生了什么事？”
    王黼不敢隐瞒，只好如实相告。宋徽宗于是在粱师成和谭稹的扶持下，走出大门，对禁卫诸班直进行了一番安抚，大家这才稍微安定下来。
    这天晚上，宋徽宗在王黼家喝的酩酊大醉，话都不能说了，直接昏昏睡去。直到后半夜，宋徽宗才醒来。宋徽宗觉得此时回宫，走皇宫大门不太合适，于是令人打开龙德宫与皇宫相连的夹墙中的一道小门。这道小门是一个密门。当时，进入小门送宋徽宗回宫的只有手持兵器的内侍十余人，“三衙卫士，无一人得入者”。
    这天晚上，皇宫里面气氛很紧张，因为皇上出宫一夜未回，不知什么原因。皇宫警卫队伍皆集结在教场上，随时准备投入战斗。
    由于饮酒过量，第二天早晨，宋徽宗仍头脑昏沉，不能上朝御殿。不明真相的大臣们，纷纷瞎测，人心惶惶。不久，真相大白，人心始安。但这件事影响很坏。有不少大臣批评宋徽宗说：“自祖宗以来，如此临幸，未之有也。”
    宋徽宗这次之所以喝的如此大醉，大概是他觉得，王黼太让自己失望了。心情不好，往往容易喝醉。当初，宋徽宗力排众议，破格提拔王黼，可以说对王黼是寄予了相当的厚望。宋徽宗给王黼的待遇也最高，“恩数异于他相”。不仅赐给他宅邸，还亲自给他的宅邸命名为“得贤治定”，甚至又亲自给他题写了载赓堂、膏露堂、宠光亭、十峰亭、老山亭、荣光斋、隐庵等七处亭堂牌额。
    王黼与粱师成在宋徽宗面前都很会表演。王黼才智出众，能言善辩，既善于揽权敛财，又善于巧言献媚。而梁师成则是另一种风格，他愚讷谦卑，老实厚道，不能说，不会道，但他善于察言观色，处事老道。近几年来，他们二人在宋徽宗面前一唱一和，阳奉而阴违，可把宋徽宗害惨了。
    直到这时，宋徽宗才醒悟过来，才明白王黼与粱师成原来是一伙儿的。
    宋徽宗一场大醉之后，王黼与粱师成不仅双双失宠，而且他们的政治生命也即将走到尽头。
    任何朝代，大臣与宦官相互交结都是犯忌讳的，皇帝们对此都很敏感。朝官不得交结宦官，宦官也不得与朝官交结，这是宋代防范宦官专权的一条重要原则。按照规定，两者若相互往来，将受到惩处。
    然而，宋徽宗朝代，特别是宣和以来，宦官与朝官相互交结，已成为一种普遍风气。当时，士大夫几乎无不奔走于宦官之门。"相习成风，皆以附内侍为荣"。但凡权势显赫的宦官，无不门庭若市。他们甚至"各立门户，公受货赂，以贩鬻官爵。"
    宣和六年（1124）九月，宋徽宗开始对朝廷高层人事进行密集调整。首先提拔白时中担任特进、太宰兼门下侍郞，即右相；提拔李邦彦担任少宰兼中书侍郎，即左相。不久，又任命赵野为尚书左丞、宇文粹中为尚书右丞、开封府尹蔡懋同知枢密院。上述这些人，加上领枢密院事的蔡攸，构成了当时政府高层决策团队。
    右相白时中是寿州寿县（今安徽寿县）人，进士出身，历任吏部侍郎、尚书右丞、中书门下侍郎等要职。政和年间，他曾担任过春官，负责编辑地方上奏的各种祥瑞。他做事很认真，对那些无法用语言文字进行描绘的祥瑞，他就用图画来表述。他呈送的《政和瑞应记》以及《赞》，曾获得蔡京好评，宋徽宗也很喜欢。后来，他便以此平步青云。他与蔡京的关系一直很好。
    左相李邦彦即所谓"李浪子"、"浪子宰相"，也不是什么“扶大厦于将倾，挽狂澜于既倒”的人物。他是大观二年（1108年）进士，长相俊爽，写文章又快又好。他生长于市井社会，“习惯猥亵卑鄙，应对便捷。善调笑谑骂，能踢蹴鞠。经常以街市俚语为词曲，人争相传唱，自号李浪子”。
    在国防建设与外交斗争的关键时刻，宋徽宗竟选择白时中与李邦彦这样的善于献媚的文人出任宰相，这只能说明，宋徽宗的识人与用人之道的确存在问题。作为一个高层领导者，其领导水平的高低与特点，通过其所用之人就能鲜明地反映出来。
    李邦彦近几年来一直致力于与王黼争宠，处处与王黼作对。王黼主张收复燕京，他则反对出兵北伐。王黼与太子赵桓之间有矛盾，暗中谋划以赵楷为太子。李邦彦则旗帜鲜明地捍卫赵桓的太子地位，并最终取得胜利。
    李邦彦是一个有奋斗目标的人。在太学读书时，他学习勤奋，成绩优异，从“外舍生”升为“内舍生”，又升为“上舍生”，直至“上舍上等”，“上舍及第”。踏入官场后，他善于交际，善于奉承，长袖善舞，左右逢源，官职不断升迁，从秘书省校书郎开始，一步步升迁为中书舍人、翰林学士承旨、尚书右丞、尚书左丞，直至现在担任了左相。他曾说过，自己要“赏尽天下花，踢尽天下球，做尽天下官”。
    现在，李邦彦见“总领三省”的太傅王黼虽然已失宠，但还没去职，还没下台，于是，便私下里与蔡攸密谋弹劾并罢免王黼。
    不久，年仅三十五岁的御史中丞史何栗上疏，弹劾王黼。他连奏七章，列举了王黼奸邪专横、阳奉阴违、结党营私、巧取豪夺、骄奢淫逸等十五条罪状，请求罢免王黼，并按律治罪。
    何栗，字文缜，仙井监(今四川仁寿)人，政和五年（1115）的科举状元，一直很受宋徽宗青睐。从担任秘书省校书郎开始，官职逐步提升。因博学强记，正直敢言，宋徽宗安排他担任御史台长官御史中丞。
    王黼政治嗅觉很灵敏，感到形势对自己越来越不利，于是主动向宋徽宗请求致仕。他在奏章中说：
    “陛下用臣不为不尽，任臣不为不专。缘臣薄祐，取戾阴阳，内积忧虞，外伤疲敝。扪心自悼，吊影生嗟，获戾天人，莫之可逭。倘许尽还印绶，退即里居，脱身于风波汹涌之中，收功于桑榆衰蹇之域。人非鬼责，少缓颠隮。永言此恩，是为终惠。”
    宋徽宗很快批准了王黼退休的请求，他在御笔中写道：“王黼陈乞致仕，其应恩人数、朝谒礼数等，一切并依蔡京例施行，仍给节度使俸”。
    王黼退休这年，才四十五岁。
    将王黼扳倒后，何栗并未因此而得到重用，而是被外放，以徽猷阁待制知泰州（今江苏泰州）。但何栗的官声因此而益盛，给太子赵桓留下了深刻印象，这为后来得到赵桓重用奠定了基础。