Бацька Янкі Брыля, Антон Данілавіч Брыль, паходзіў з вёскі Загор’е (Загора), што на Навагрудчыне, але ў 1914 годзе апынуўся ў Адэсе, дзе ўладкаваўся на працу чыгуначнікам. Там жа ў Адэсе 4 жніўня 1917 года нарадзіўся і будучы пісьменнік. У 1922 годзе сям’я вярнулася на радзіму бацькі ў Заходнюю Беларусь, у родную Загору. У 1931 годзе Янка Брыль скончыў польскую сямігадовую школу ў мястэчку Турэц, потым паступіў у Навагрудскую гімназію, але матэрыяльныя абставіны не дазволілі яму працягнуць вучобу.