1901年的上半年，蔡元培常住在上海，廣泛收集各類新式學堂的學制和課程設置，經過綜合比對和深入研究，他撰寫了《學堂教科論》一書，由杜亞泉開辦的普通學書室印發。這無疑是他對國家的教育事業做出的貢獻。

繼紹興中西學堂之后，蔡元培開始執教的第二所新式學校是南洋公學。

南洋公學，由洋務派代表人物盛宣懷1896年創建于上海。清末民初，稱江蘇、浙江、福建、廣東等沿海各省為“南洋”，稱江蘇以北沿海各省為“北洋”。南洋公學是中國近代歷史上中國人自己最早創辦的大學之一，也是上海交通大學和西安交通大學的前身。

在當時這所學校是報請清政府同意之后成立的，為了能為清王朝培養一批了解世界大勢、有專門知識的人才，這所新式學堂專設了“特科班”。就是“專收優于國學、年力強健者，授以西學，以備將來經濟特科之選”。

蔡元培在主持中西學堂時就關注過這所學校。1899年11月，蔡元培曾寫信給在南洋公學任職的張元濟，請其代購教科書，后又專門到上海徐家匯游覽了南洋公學。

1901年5月，從紹興中西學堂去職后賦閑的蔡元培，應上海澄衷學堂總理劉葆良之邀，前往襄助南洋公學校務。在此期間，他開始與南洋公學的督辦盛宣懷有所往來，曾在6月間出席盛宣懷在南洋公學的宴請。

9月，南洋公學“特科班”開課，蔡元培正式受聘擔任特班生總教習。中國近現代史上的許多著名人物，如邵力子、謝無量、李叔同、黃炎培等，都是蔡元培這個時期教過的學生。

“中國國民在極度痛苦中，還沒有知道痛苦的由來，沒有能站立起來，結合起來，用自力解除痛苦，這是中國根本弱點，你們將來出校，辦學校以外，還要喚醒民眾，開發他們的知識。這些固然可以靠文字，但民眾識字的少，如能用語言，效用更廣，你們大家練習演說罷！”

這是蔡元培在南洋公學擔任總教習時，在公學里的學生組織的一次演講會上，演講的一段話。必須喚醒民眾，這是他對戊戌變法失敗的反思中獲得最主要的認識。

蔡元培激情的講演，讓在場的很多學生淚流滿面，也一下子把他和學生們的距離拉近。?