Пэўна, так працягвалася б і далей, калі б не фіктыўная справа “Саюза вызвалення Беларусі”, па якой Язэпа Дылу арыштуюць 18 ліпеня 1930 года разам з іншымі дзеячамі культуры і мастацтва. У красавіку 1931 яго на пяць гадоў вышлюць у горад Кунгур Пермскай вобласці, а пасля будзе Саратаў, дзе ў той час жыў і працаваў іншы вядомы беларускі дзеяч — Вацлаў Ластоўскі. У 1938 годзе Язэп Дыла будзе паўторна арыштаваны, а Ластоўскага расстраляюць. Праз год былы наркам працы выйдзе на волю, але ўжо ніколі не вернецца ў Беларусь.