光緒十六年（一八九零年），黎元洪由北洋水師提督丁汝昌調赴廣東廣甲艦，充當三管輪。負責巡視瓊崖、虎門、汕頭，管理機器開關、拆洗及保養事務，兼管儲料生火諸事。

他勤于職司，大多數時間都在南方沿海進行巡視。 光緒十七年（一八九一年）秋，黎元洪經北洋大臣李鴻章保奏、清廷批準先后從把總晉升為千總。由六品頂戴賞換五品頂戴。

光緒二十年（一八九四年），中日甲午戰爭爆發。黎元洪所在的廣甲艦被抽調編入了由海軍提督丁汝昌率領的北洋艦隊來參戰。

廣甲艦是鐵肋木殼船體，平時為教練及安放魚雷之用，較之日人的鋼甲兵艦的威力相差甚遠，對于猛烈的海戰自然很難抵擋。

在九月十七日的黃海戰役中，廣甲艦觸礁擱淺以致未能行駛。為躲避日軍的追捕，黎元洪跳海得以逃生。及此，黎元洪結束了為期十二年的海軍生涯，告別了曾盡心效力的北洋水師。

光緒二十二年（一八九六年），張之洞回任湖廣總督。黎元洪應張之洞之召隨同回到湖北家鄉，在湖北槍炮廠負責監制快炮，從此結束二十余年的北漂生活。

張之洞到湖北后繼續編練新軍，加強軍事建設。 湖北新軍的營制仿德國軍制，張之洞任黎元洪為護軍后營幫帶，五品頂戴盡先補用千總；后又以黎擅騎術，任為馬隊管帶。

在湖北護軍編練取法上，隨著形勢的變化，張之洞認為日本與中國同種、同教、同文、同俗，而且軍事變革已經初見成效，所以中國想要學習歐美各國的軍事制度，應該先以日本為階梯。

遂從學習德國轉而師法日本，光緒二十四年（一八九八年）、二十五年（一八九九年）、二十七年（一九零一年），在湖北當差的黎元洪受張之洞委派，先后三次到日本留學考察軍事教育和觀摩仙臺大操。內容涉及各個方面，黎元洪逐步充當了清末軍事現代化風潮的地方軍制改革的先鋒。

黎元洪每次考察回國后都寫下日本軍事考察報告送呈張之洞檢閱，引起了張之洞的極大興趣。學習考察后歸來的黎元洪頗得張之洞賞識和倚重，被提拔為各營教練官，又兼訓新兵，成為編練湖北新軍的高級將官。

二十世紀初，清政府又開始推行清末新政，湖北開各省風氣之先，加緊施行。黎元洪奉命協助辦理將綠營、防營結束后，又增招新兵，擴充武備學堂設備。在日本所學的西式教育的洗禮下，黎元洪的軍事思想開始進入了湖北最高軍事決策層的視野，并付諸實踐。

張之洞先后多次采納黎元洪的軍事改革建議一是規定水陸各營所轄兵勇凡遇有重大過犯者，均交執法官審訊，不得擅殺；

二是將武備學堂及防營將棄學堂合并改為武高等學堂，另設武普通中學堂。前者為張之洞軍事學堂體系中的高等軍事教育機構，后者為中等軍事教育機構。武高等學堂程度與日本陸軍士官學校相等，為武普通中學堂畢業學生升學之地 ，為湖北乃至全國培養了大量軍事近代化所需的人才。

三是湖北省會開辦警察，從各營選拔優秀士兵進行訓練后充任。因在軍事實踐中表現突出，黎元洪的仕途平步青云。

從光緒二十二年（一八九六年）到宣統三年（一九一一年）的十五年間，黎元洪一直在湖北擔任重要職務訓練新軍，他知兵愛兵，和新軍戰士結下了深厚的感情。與此同時，隨著湖北革命力量的滲入，他所帶領的陸軍第二十一混成協集結了大量共進會、文學社等革命團體的力量。

他不是革命黨，也不贊成革命。有說在武昌起義后，他為了自保還親手殺過起義的士兵。

當瑞澂逃走，督署被占，革命軍炮轟其司令部時，他嚇得跑到黃土坡。換上便衣，躲在參謀劉文吉家中。

起義人員把他搜出，請他擔任都督，他堅決不干。他