看，張浚并非沒有能力，欠缺的其實只是軍事指揮能力，這也不是什么大問題，他能像童貫那樣放權，其實西軍也能打勝仗，問題是他跟很多文官一樣，總以為自己別武將更聰明，更懂兵法，因此肯定也就更會打仗。

張浚聚斂財富，擴大西軍，這些是為皇帝西遷，并且從陜西出關收復中原做準備的，但他沒想到的是，等他到了四川，皇帝的態度就變了。

原因很簡單，他一走，皇帝身邊的其他聲音就多了起來。最先發難的，是一批江浙地區官員，他們認為，皇帝一走，江浙就會動蕩，整個江南就會失去。他們一再引用寇準故事，認為當年就是這樣，因為張浚是四川人才想讓皇帝遷都四川，這是私心。連呂頤浩也受到了影響，開始不再支持張浚西遷四川的計劃。

皇帝此時已經出發了，從杭州出發，到了平江，然后到了常州，即將到達江寧。

可反對的聲音依然很強烈，大敵當前，文官集團觀念如此混亂，趙構不是勇士，卻是聰明人，這讓他感受到了危險的氣息，他是一個對危險非常敏感的人，這么亂，這是亡國啊！

在江寧府建康城里，趙構跟大臣們進行了最激烈的一次商討。趙構說，如果他停留在建康，以后不再轉移，這里西通荊湖，東連吳越，山川險阻，能不能安守？要求三省文官，三衙武將都提出建議。

但依然很難有統一意見，江浙官員依然極力建議留在江浙。

張浚到了漢中，分析大好形勢，上書說“漢中實天下形勢之地，號令中原，必基于此。謹于興元積粟理財以待巡幸，愿陛下早為西行之謀，前控六路之師，后據西川之粟，左通荊、襄之財，右出秦、隴之馬，天下大計，斯可定矣。”

張浚希望皇帝先西行鄂州、岳州。

但江南文官說“鄂、岳道遠，饋餉難繼，又慮上駕一動，則江北群盜乘虛過江，東南非我有矣。”

他們警告說，一旦皇帝去了鄂州、岳州，那么長江以北的盜賊就會趁虛而入，占據整個江南。

武將中，張俊、辛企宗支持遷到鄂岳地區，但他們不是為了西遷四川，他們反而建議皇帝從岳鄂南下長沙。

韓世忠堅決反對“國家已失河北、山東，若又棄江、淮，更有何地！”

文臣武將態度針鋒相對，讓趙構急的一整天都吃不下飯，到了晚上，詔呂頤浩商談。

趙構說，張俊、辛企宗不敢打仗，所以想要退避湖南。趙構又說，金人的強處，在于騎兵犀利，浙西一帶水鄉河渠縱橫，不利于騎兵奔馳，還是不該走，一旦西遷，人心搖動，哪怕到了四川、兩廣恐怕都跟到了敵國一樣危險。

呂頤浩此時也已經被江南官僚說服，就建議皇帝重返杭州，為防止江寧一帶人心搖晃，他請旨守在常州一帶抗敵；趙構卻表示，他身邊不能沒有呂頤浩這樣的宰相。另一個宰相周望也請旨留守平江一帶，說現在北方的李彥仙（不是海州李彥先）、翟興等人，聚攏潰兵群盜都能在洛陽、陜州一帶跟金兵交鋒，他們是宰相，如果連江南都不能死守，有什么臉面見李彥仙這些人。最后文官張守建議，皇帝南下杭州，留開封南來的杜充留守江寧，讓他招撫江北群盜，不允許江北群盜過江。

就這樣，皇帝決定還是按照以前王淵的主張，重返杭州，留杜充守江寧改江寧府為建康府，設建康府路，負責整個長江防線，至于江北的淮河流域，則被徹底放棄了。

其實趙構這幾年一直就這樣，他自己不堅定，沒有主張，文臣態度不一，今年二月才從揚州渡江，到杭州都三月多了，傳來建炎皇帝趙楷在南京被俘的消息，倉促登基后沒幾天，就發生了苗劉兵變，兵變剛剛平息，就又準備西遷，到了江寧卻又被江浙官員攔阻，甚至連一個月安生日子都沒過過。

無論是趙構還是官僚集團，對江北已經完全不抱希望，