1927年10月開始籌備。1928年6月9日正式成立，蔡元培為首任院長。據(jù)南京國民黨政府《國立中央研究院組織法》規(guī)定，該院系全國最高學(xué)術(shù)研究機關(guān)。院長之下，設(shè)行政、研究、評議三大部門，而以研究為中堅。行政部門，以總辦事處主持工作，設(shè)總干事一人，在院長領(lǐng)導(dǎo)下執(zhí)行全院行政事宜；楊杏佛、丁文江、朱家驊、任鴻雋等先后任總干事。研究系統(tǒng)，陸續(xù)設(shè)立物理、化學(xué)、工程、地質(zhì)、天文、氣象、歷史、語言、心理、社會科學(xué)、動植物等研究所。評議方面，設(shè)評議會，除院長及各研究所長為當然評議員外，另選學(xué)術(shù)界中堅人物三十人為聘任評議員；決定研究學(xué)術(shù)之方針，促進國內(nèi)外學(xué)術(shù)研究之合作互助，并推舉院長候選人?？谷諔?zhàn)爭爆發(fā)后，院機關(guān)和部分研究所遷往西南后方，研究所曾有所調(diào)整。1940年3月蔡元培逝世，9月朱家驊接任院長。抗戰(zhàn)勝利后遷回南京。1947年10月決定設(shè)立院士制度，次年3月選舉院士八十人。南京解放后，院機關(guān)在1949年6月由人民政府接管。