Амаль дваццаць гадоў Грахоўскі быў пазбаўлены свабоды і права займацца любімай творчай працай. Яго беспадстаўна арыштавалі 19 кастрычніка 1936 года, асудзілі на дзесяць гадоў і саслалі на лесанарыхтоўкі. Пасля вызвалення выкладаў рускую мову і літаратуру ва Урэцкай сярэдняй школе Слуцкага раёна (1946-1949). У 1947 годзе з Сяргея Грахоўскага знята судзімасць. Аднак праз тры гады пасля вызвалення, у 1949 годзе, Грахоўскага арыштавалі зноў за прыналежнасць да "антысавецкай нацыяналістычнай групы" і выслалі на вечнае пасяленне ў Новасібірскую вобласць. У Беларусь пісьменнік змог вярнуцца толькі пасля рэабілітацыі (19 кастрычніка 1955 года).