Ажаніўшыся ў 1857 г. з Людвікай Сержпутоўскай, узяў у арэнду вёску Паток каля Вінніцы, але ў 1859 г. адмовіўся ад арэнды і пераехаў у Жытомір. Там разам з жонкай заснаваў мужчынскую гімназію з пансіёнам, аднак у 1861 г. улады пазбавілі іх правоў утрымліваць гэту асветную ўстанову. У 1862 г. жонка Адама Плуга была арыштавана за ўдзел у антыўрадавых маніфестацыях і зняволена ў Оўручы, а ў 1864-1866 гг. і сам Плуг знаходзіўся пад арыштам у Жытоміры, потым у Кіеве. Не маючы магчымасці з-за палітычнай ненадзейнасці знайсці працу на больш-менш працяглы перыяд, ён часта мяняў месца жыхарства, займаўся гувернёрскай працай. Асаблівую вастрыню яго сацыяльная неўладкаванасць набыла пасля смерці жонкі (1868).