Байрон бик ярлы ғаиләлә тыуа, хатта лорд титулы ла уларҙың тормошон еңеләйтмәй, әммә ошо ауыр хәл Джордждың буласаҡ карьераһына табан йүнәлеш алыуына килтерә. Ул тыуған ваҡытта (Лондонда, Холл-Стритта, 1788 йылдың 22 ғинуарында) атаһы ғаилә байлығын юғалтҡан була, ә әсәһе ҡалған ғына бер аҙ аҡса менән Европанан ҡайтып төшә. Леди Байрон Абердинда йәшәй башлай, ә «сатан малайын», улын ул шулай тип атай, бер йылға шәхси мәктәпкә бирә, шунан классик гимназияға күсерә. Байрон бала сағындағы ҡыланыштары тураһында бик күп һөйләй. Бәләкәй Байронды тәрбиәләгән апалы-һеңлеле Грейҙар уны иркәләтһәң, бик тыңлаусан булып китеүен билдәләй, әммә әсәһе уны тыңлата алмай аҙаплана, хатта тиктормаҫ малайына ҡулында булған теләһә ниндәй әйберҙе бәреп ебәрер була. Әсәһенең ошондай ҡылығынан ул мыҫҡыллап көлә генә, әммә бер тапҡыр үҙенә сәнсергә торғанда уның ҡулынан бысаҡты тартып алалар. Гимназияла бик насар уҡый, ә апаһы Мэри Грей уға дини китаптар һәм Библияны уҡый. Джорджға 10 йәш тулғанда уның ике туған олатаһы вафат була, һәм малайға мираҫҡа лорд титулы һәм Байрондар нәҫеленең биләмәһе — Ньюстед аббатлығы ҡала. Ун йәшлек Байрон үҙенең ике туған апаһы Мэри Даффҡа күҙе төшә, хатта уны йәрәшеүҙәре тураһында белгәс, истерикаға бирелә. 1799 йылда ул доктор Глени мәктәбенә уҡырға инә, унда ике йыл уҡығанында ул үҙенең сирле аяғын дауалай. Дауа үҙ һөҙөмтәләрен бирә: аяғы итек кейерлек булып йүнәлә. Үткән ике йылда ул бик аҙ уҡый, әммә докторҙың бай китапханаһында булған китаптарҙы уҡып бөтә тиерлек. Хэрроу мәктәбенә китер алдынан Байрон тағы һөйөү ҡапҡанына эләгә — был юлы икенсе апаһы Маргарит Паркерға күҙе төшә.