在湖南衡州(衡陽(yáng))治所北三里石鼓山，故名，舊為尋真觀。唐憲宗元和年間，州人李寬于山巔筑屋讀書(shū)。宋太宗至道三年(997年),州人李士貞援李寬之故事，清郡守在此建立書(shū)院招收生徒講學(xué)，宋仁宗景祐二年(1035年)朝廷賜“石鼓書(shū)院”敕額。不久改為州學(xué)。宋仁宗時(shí)曾一度廢毀，宋孝宗時(shí)因舊址復(fù)院，規(guī)模益增，至宋末不廢。朱熹曾屬文記之，為《文獻(xiàn)通考·學(xué)?！妨袨椤八闻d之初，天下四書(shū)院”之一。