李纲见韩世忠大军还有三天到达，而张俊的兵马至少五日方可回来，究其原因，张俊是应襄阳知洲之邀前去剿灭山匪，要耽搁足足两天的时间。李纲对此十分愤怒，区区山匪不成气候，耽误了抗金大业将成千古罪人。倘若影响了抗金大计，日后返京，定然要追责严惩，决不纵容。

李纲哪里知道金国人还没有等这边接受战书，就差人送来了用徽、钦二帝换取两河的文本。高宗连忙召集大臣们商议。有人提议先将二帝换回来，使二帝免遭羞辱和折磨。两河日后再图收复。黄潜善连忙说道：“大宋如今士气正旺，各路兵马就要到齐，现在答应金人如此苛刻的条件，不是伤了将士之心吗？” 黄潜善的话正中了高宗的下怀。怎么也不能让二帝现在回来，自己还刚刚登基做皇帝。他看了看李纲，李纲对那些割地求和的做法最为恼火，他强压住心中的怒火问那个官员：“只想宋人用土地换和平，用土地换二帝。怎么不去想我们进攻金国，直捣黄龙，救我二帝呢？难道不想大宋是如何给金人讲条件的吗？要知道两河地区幅员辽阔，物产丰富，它的面积不比燕云十六洲小，要是割让给金人，汝心就安了吗？而金人的狼子野心，岂能满足？不灭大宋，不会罢休。”高宗见李纲都这样说了，便大声呵斥：“若是还有要朕答应金人所求的人，以卖国论处。”众人惊怵，哪敢片言只语?

李纲建议：“现在兵马已经到齐，可向金人宣战，兵力配备和战略部署全部到位，虽说张俊的大军迟到了两天，但总算没有耽误时机，当然，处分还是必要的，如果谁都可以改变计划，岂不乱套？希望陛下明日起程移都汴京，安定军心、民心。各路大军的将士们就能戮力同心，共同对敌。”高宗连声应允。

正当李纲完成了勤王兵马和各路抗金大军的军事部署，准备与金人开战之时。高宗不是叫人迁都汴京，而是做出了李纲任尚书左仆射兼门下侍郎(左相)的决定，另委任黄潜善接任右仆射兼中书侍郎，目的是牵制李纲。接着，又罢免了张所、傅亮，撤销了河北招抚司及河东经制司，蓄意破坏李纲的抗金部署，李纲哪里知道事情竟会这样突然，还没有弄清原因所在,又被撤消所有的军事指挥权。他深感愕然,而高宗却不给他任何申述的机会,将李纲请进大理寺。

原来高宗在金国的卧底，从金人那里得知李纲要张所、傅亮他们在金人攻城的时候放弃守城并策应金人南下。消灭了高宗之后，就扶持李纲治理中原，国号都有，取名“正德”。而且还搜出金人贿赂张所、傅亮的金条和宝物。李纲一听,当场摊倒在地，这明显就是高宗和金人唱的一出双簧戏。他将自己扳倒，其目的就是要李纲放弃抗金，放弃迎救二帝，因二帝回来高宗的皇位定然不保，还要追查他的欺君大罪。于是他就答应跟金人共同演绎了这出”好戏”。加上志大才疏、心胸狭隘、嫉贤妒能的张俊对汪、黄误国之罪“缄口不言”。 却相信黄潜善和汪伯彦的挑拨是非，在汪、黄的唆使下，张俊胡乱编造李纲的十条大罪，把李纲说成是伪臣叛贼，从而换取高宗给他的两河军政大权。张俊帮高宗他们编造谎言，弹劾李纲，可以说是好处多多。既升了官，又逃脱了李纲对自己误时的追责，还踢开了张所、傅亮这两块挡在自己升官道路上的拌脚石，可谓一举多得。

在高宗等投降派的陷害下，李纲被迫辞职。宰相仅七十五天，就被驱逐出朝，宗泽闻讯后连夜赶往南京，高宗知道他是为李纲而来，不予理会，宗泽大骂高宗昏君，看不清忠奸，和父兄相比有过之，而无不及，一个帝王竟用这样下三滥的手法诬陷忠良，令人寒心。他请求高宗恢复李纲的职务，并立即移都汴京，别再做抗金将士伤心之事。并且痛心地说道：“本以为您在南京即位，吾国终有主，中兴定有日，激动得下官泪湿征袍。满怀希望您能捣黄龙，救二帝，怎知皇上却不问青红皂白罢我抗金主帅。”高宗见比自己父亲年龄还大的宗泽豪迈铿锵，很是感动。心想，李纲一去，怕是听不到真话，什么时候被人卖了，还给人数钱呢，宗泽救过赵构，是自己信得过的人，还是把他留在南京，共商抵御金兵大计。想此，便告诉宗泽道：“李纲里通外国、卖国求荣，经大理寺的审理，人证、物证俱齐，铁证如山，贬谪李纲已是朕的仁义所至，惜才所为。希望宗卿能留在朕的身边共谋大业。”