蔡元培沒有在政治的洪流中迷失，更沒有被權力搞得忘乎所以、利令智昏。在參與了國民黨內的一些政治活動之后，很快回歸他一生矢志不渝所追求的教育事業。

應該說，這種對政治的有限參與，客觀上也使蔡元培獲得了實踐教育理念的難得資源。因為，對蔡元培來說，南京國民政府的成立，為實踐他教育興國的理想又開創了一個新的舞臺。

1927年4月27日，蔡元培被任命為國民政府教育行政委員會委員。蔡元培即建議，仿效法國教育制度，在國民政府內不設教育部，而設“中華民國大學院”，作為全國“最高之學術和教育行政機關”。

蔡元培這樣做的理由，是“但求辦事上能增加效率，不因人設事，致成衙門化”。

他說“近來官僚化之教育部，實有改革之必要。欲改官僚化為學術，莫若改教育部為大學院。”

他的想法是不讓中國的教育事業行政化，而是走上專業化、學術化的路子。

大學院的特點是貫徹“以教育家辦教育”的思想。如，在院內設大學委員會，作為全國最高的教育立法機關，這個委員會由各國立大學校長、大學院教育行政處主任、國內專門學者這三部分人組成，委員長則由大學院院長兼任。這個委員會可推薦大學院院長的人選，議決國家教育的重大方案、政策，與政府各個部門保持相對獨立。

大學院內設院長一人，總理全院事務，下屬辦事機構僅設秘書處和教育行政處。

此后，年過六旬的蔡元培有兩年光景全力投入了在國內設立大學區的實驗。

所謂大學院，乃是參考法國的大學區制而實行的模式。將全國分成若干學區，每一學區以大學院為中心，全學區的中、小學都歸大學院管理，不再設立教育局之類的行政機構。這種體制的好處是突出了教育家治校，更尊重教育規律，而且教育在不同的地區的發展也會相對均衡。

蔡元培做北大校長時，深受教育部行政官僚之苦，對官僚統治深惡痛絕，所以很支持這樣的體制改革。

1928年，作為大學院院長的他，親自主持召開了第一次全國教育會議。大學校長及各省教育主管與會，共商教育改革方向。

正是在這次教育體制改革中，蔡元培的美育精神得到了進一步的發揚。

在確定了大學院為全國最高學術教育機構之后，蔡元培進而突出了科學、藝術、勞動三者在教育中的地位“大學院以科學化、藝術化、勞動化相提倡，大學必須具備這三種精神。”他倡議，要在大學區中設立勞動大學，提倡勞動教育。更要“設音樂院、藝術院，實行美化教育”。

這就在過去已有的德育、智育、體育之外，再加上勞育、美育，德、智、體、勞、美五育并舉，方為完全之教育。

而且，在蔡元培看來，美育還要進一步走向社會“美育為近代教育之骨干。美育之實施，直以藝術為教育，培養美的創造及鑒賞的知識，而普及于社會。”

蔡元培要求大學院把藝術看得和科學一樣重要“藝術能養成人有一種美的精神，純潔的人格。”

在蔡元培的積極推動下，在大學院下籌備設立藝術教育委員會，以推進全國的藝術教育。大學院在蔡元培的主持下，很快在上海創建了國立音樂學院，請音樂家蕭友梅當校長。接著，又迅速在杭州創辦了國立藝術學院，請畫家林風眠任校長。由此開始，藝術教育在江南地區蓬勃發展起來。大學院在1928年還支持美術教育委員會向社會推進美育，籌備全國美術展覽會，這在國內屬創舉，成為中國文化界的一大盛事。

在大學院時代，蔡元培廣開賢路，設置了特約著作員制，專聘國內學術上有貢獻的專家、學者，任其自由著作，大學院給予特殊津貼。這時魯迅也已在上海自由寫作，蔡元培為他頒發了