У выніку захопу ўсходняй Беларусі Расейскай імперыяю ў 1772 року Гомель быў падараваны “для увеселенья” графу П. Румянцаву. Ён застаў даволі моцны замак, абнесены палісадам, які існаваў яшчэ ў 1780 року. Потым вежы і сцены драўлянага замку былі разабраныя, валы скапаныя. У 1785 року паводле Б. Растрэлі тут пачалося будаўніцтва каменнага палаца.