宋朝的《岳阳风土记》及明朝的《隆庆岳州府志》关于其建造年代有“晋创”、“唐建”的说法，一般认为该塔始建于唐代，唐显庆三年（658年），这里曾经建有佛楼（世称“南屠”或“南楼”），后梁乾化四年（914）南楼故址修建了一座木质结构的“一字关”塔，此塔即是慈氏塔的前身，该塔毁在北宋熙宁年间于毁于一场大火，现存古塔为南宋荆湖制置使孟珙于淳祐二年（1242年）所建。
ɣ^r ʝʁʑn çɣr tɕhɣr tɕhʑɣ^n xɣɣ^k r ɬqr ɬqn qɣ^n ʝʁʑn çɣr ɣ^n qɣ^r tɕhɣr tsʁk xr tsʁqr ɣ^ʑk tɕhn qn ɬqʑr tsʑr qʑn çʑqr tɕhr“ɬqr ʝʁʑɣ^r”“ʑɣ^n ɬqʑr”çɣr ʁk xʑr tɕhqk ɕʑk ɣr thɣqr ɣ^ʑqk ʑr ʁqr ɬqʑr tɕhn ʑɣ^n çʑqr ʑɣ^n khqʑr qɣ^r ʑk qʑn(fi) aqʑˈan tsʁɣr qr ʝɣɣ^n ɬqɣ^k ɬqʑr tɕhr xn n ʁqr ʝʁɣɣ^k“ʑn n”ʁr“ʑn n”ʁr qʑɣ^n qʑn ʁʑr qr qʑn (fi) ʑn n ɣ^r auʁqr uiqk ɬqʑr ɣr yiqk aur r auʁqr ɬqɣn ɣ^r çɣr“tɕhqk tsqr ɣ^ʑk”ʑr ʝqr ʑr ɬqn ʁqr ʝqn ʁqr ʑr çɣr qʑn ʁɣk ɣ^ʑqk ʑr ʁqr tsʑqr ɕɣqr ɣ^r khqk qɣ^n qʑn ɬqʑk tɕhn ʁqr tɕhn tɕhqk ʝʁʑɣ^r çʑr ʁr khqʑr ʝn ɣ^r ʑr thɣqr ʑn ɣ^r ɬqɣ^k ʁn tsʁqr tsʁqr ʁqr ɣɣ^r ɣ^ɣ^r tɕhn ʝʁn tɕhr ɣr qʑn(fi) aqʑˈan r ɬqʑr