圍，報告他的都是一些惱人的消息，一氣之下他于八日又回了團河。

奉系和直系雖然口里不講倒段，但他們深知，不搞倒段祺瑞他們將一事無成。而要倒段就要付諸行動，就要有實際行動者，這個使命自然而然地落到吳佩孚身上。

吳佩孚的第一步行動就是撤防北歸。

三月上旬，吳佩孚派人把他部隊的眷屬七百余人護送北歸，下令禁止兵士不得無故請假，不得向商人賒欠，不許擅取民間一草一木。并電請張敬堯準備派兵接收直軍的防地。其實他已暗中和湘軍有約，一俟撤防，就由湘軍來接防。

段祺瑞知道此事態嚴重，三月十八日他秘密地來到保定，請曹錕制止吳佩孚自動撤防。

同時又授意北京附近的駐軍五個師長曲同豐、陳文運、魏宗瀚、李進才、劉詢等聯名通電，借口營房不足，拒絕直軍吳師移駐北京。

這時吳佩孚已派參謀王伯相到北京，料理駐兵地點。王伯相到北京后便把實際情形電吳，所有兵房都被邊防軍駐守，吳為之大憤。

吳佩孚衡陽撤防是個極重大的事件，不但對當時國家局勢的走向影響極大，對吳本人的人生也具有決定性意義。

當時局外人都替吳擔心，認為他孤軍久戍，要從數千里外冒險北歸，實在是一個大膽的嘗試。可是他卻從容不迫，就像關云長千里走單騎。

其實對于撤防問題，吳佩孚是經過縝密的考慮的。由衡州到保定雖然是一條漫長的路，但只有張敬堯的地盤屬皖系的勢力范圍，而吳佩孚根本不把張敬堯放在眼下。由長岳過湖北到河南，是王占元和趙倜的地區，王、趙都已加入八省同盟，一般不用擔心遭人算計。