1862 йылда Себерҙәге Нерчинск колонияһына һөргөнгә ебәрелә. Каторга срогы 6 йылға тиклем ҡыҫҡартыла. Хөкөм язаһын Казаков алтын приискыһында үтәй. Каторгала эшсе балалары өсөн мәктәп ойоштора. 1863 йылдың көҙөндә Горный Зерентуйға, һуңынан Кадая ауылына күсерелә. Унда 1864 йылдың аҙағына «Вместе» романын тамамлай, «Записки»ҙе «Себер очерктары» менән тулыландыра.