吳佩孚所部撤防是從一九二零年五月二十日開始。

他事前曾電請張敬堯派員到衡州協商接防問題。張敬堯派湖南暫編第二師師長吳新田為“主持湘南防務司令官”，于二十一日到衡州，與吳佩孚及湘軍代表簽訂條約，南北兩軍維持原有停戰界線，湘直兩軍停戰協定繼續有效。

直到吳佩孚所部撤防的前夕，北京政府才有電報批準直軍撤防。這樣也就使吳部的北歸，有了合法性。

吳佩孚所部開拔時作環狀隊形的布置，主力居中，湘江兩岸各設掩護隊，前方設有偵察兵，后面設有殿卒。大軍揚帆而下，全軍齊唱吳所親撰的《登蓬萊閣歌》。

途中吳秀才詩興大發，寫下《回防途次》，詩曰

行行重行行，曰歸復曰歸。

江南草木長，眾鳥亦飛飛。

憶昔赴戎機，長途雨雪霏。

整旅來湘浦，萬里振天威。

孰意輦轂下，妖孽亂京畿。

虺蛇思吞象，投鞭欲斷淝。

我今定歸期，天下一戎衣。

舳艫連千里，旌旗蔽四圍。

春滿瀟湘路，楊柳正依依。

和風送歸鳥，綠草映晴暉。

少年惜春華，勝日斗芳菲。

來路作歸程，風景仍依稀。

周公徂東山，憂攙亦畏譏。

軍中名將老，江上昔人非。

建樹須及時，動靜宜見幾。

何日摧狂虜，發揚見國威。

不問個人瘦，惟期天下肥。

丈夫貴兼濟，功德乃巍巍。

江上送歸舟，風急不停揮。

得遂擊楫志，青史有光輝。

春日雁北向，萬里動芳徽。

鴻漸磐石愿，衍衍不啼饑。

止戈以為武，烽煙思郊圻。

同仇復同仇，歸愿莫相違。

吳佩孚所部于二十七日由水路經過長沙。

張敬堯怕吳部舍舟登陸“戰長沙”，在湘江右翼配置了強大的兵力，但只作防御準備。

而吳部根本無意上岸，雖亦作緊急戒備，不過是怕張軍襲擊而已。

雙方都很克制，均未挑釁生事，吳部隨后揚帆而去。

吳佩孚所部于五月二十九日過岳州，三十一日在漢口集中。

吳部北行，一舉一動都引來各方關注，其滯留漢口，久而不發，因之而謠言四起。

北京政府以吳佩孚所部按兵武漢。引起各方猜忌為名，促其盡快離開。并電曹錕，請他下令督促吳部速行。

吳佩孚本打算在武漢稍事休整，但迫于情勢不得不迅速開拔。派其參謀長赴汴與趙倜密商后，商定吳部暫駐信陽、許州、鄭州等處。

隨后于六月七日晚由武漢起程。八日抵鄭。

所部第一旅駐許昌，第二旅駐駐馬店，第三旅分駐順德、磁州，騎兵團駐黃河橋，步兵八團駐新鄉縣。

沿途旌旗滿目，帳幕相望，軍容整齊而士氣高漲。

吳佩孚所部北歸，直接的結果是直皖兩系短兵相接，段祺瑞早就已經認識到了問題的嚴重，他不能不有所應對。

早在一九二零年四月下旬，駐防陜西的奉軍許蘭洲部忽然移動到華陰、潼關、觀音堂一帶。這個行動使段祺瑞懷疑是奉軍有企圖移向河南，策應直軍北進。

五月十七日，段祺瑞曾在團河召集秘密會議，作了一系列的軍事布置。

一面召回徐樹錚，并將全部西北邊防軍調回北京附近，一面決定自己出馬擔任川陜剿匪總司令，率領邊防軍一三兩師向陜西出發，討伐陜南民軍和川滇靖國軍。

為了提防靳云鵬在北京搗鬼，準備派其為副司令或參謀長，令其隨軍出發。這其實是在“聲東擊西”，真正目的并不是向陜西出兵，而是準備進