Иван Андреевич 1769 йылдың 2 февралендә Мәскәүҙә ярлы офицеры ғаиләһендә  тыуған. Пугачев ихтилалдары ваҡытында армия капитаны атаһы Яйыҡ ҡәлғәһендә хеҙмәт иткән була. Ҡәлғәһе ҡамауға эләгеп, кесе йәштәге Крыловты әсәһе Ырымбурға алып китә. Шулай уҡ был ҡала ла ҡамауға эләгә. Крыловтар Пугачев исемлегендә аҫылырға тейештәр араһында иҫәпләнә һәм улар йәшеренергә мәжбүр була.