慈氏塔在岳陽城南洞庭湖濱，北與岳陽樓兩相呼應，西與君山遙遙對峙。塔為七級，青磚砌成，高39米。塔身自下而上依次縮小，似嫩筍插天，寶劍倒立，亦如神鞭高聳，故有人附會云，此塔乃是按唐開國元勛尉遲恭所使的雌雄鞭模樣所建。
明隆慶《岳州府志》載：慈氏塔為“晉沙門妙吉祥造，宋制置使孟珙修，旁有珙像”。《圖經》則云，妙吉祥為唐人，開元年間來此，“謂父老：‘西方白龍之孽，今匿于此，久則為患，宜建塔鎮(zhèn)之?！蠊麛?shù)苦于水，土人思其言遂建塔”。民間關于建塔緣由又有另說。相傳很早以前，九嶷山上有九只金雞，自以為翅膀硬了，欲飛渡洞庭。沒想到洞庭太大，最小的一只飛至岳陽即跌落湖邊，翅膀折斷而變作石磯。每到天陰刮風之時，它就想借助風力再振翅上天。它每拍一次翅膀，湖上就掀起一陣風浪，攪得船毀人亡。人們遂建塔鎮(zhèn)之。另外八只也先后墜地，變成長江沿岸的三叉磯、道陵磯、劉公磯、臨湘磯、懷山磯、魚磯、陽羅磯和道人磯。
塔名的來由亦有兩說。一說“慈氏”指彌勒佛，彌勒梵文原意為“慈”。當年塔旁慈氏寺中所供即彌勒佛。一說“慈氏”乃當?shù)匾晃还褘D，傾其家資捐助建塔。為建塔，其獨生女兒還以身殉塔。人們?yōu)榧o念她們母女，遂將塔取名慈氏塔。慈氏還曾被塑成金身供于慈氏寺中。
塔曾屢毀屢建，今日所見乃南宋孟珙重修之塔。塔前碑石已早毀于戰(zhàn)火。塔檐長滿草木，燕雀繞塔呢喃，使其更顯古樸多姿。