Миссис Байрон потребовалось все мужество, чтобы продолжать жить и воспитывать сына на жалкий доход, оставшийся после смерти мужа. Она всю себя отдала воспитаню своего больного ребенка. В письме к миссис Ли в Лондон она просила «помочь достать специальную обувь для Джорджа». Позднее она более подробно поведала о физическом недостатке сына: «Правая нога Джорджа повернута вовнутрь, так что он при ходьбе опирается на ребро ступни».

Мальчик с самого раннего детства очень болензненно относился к своей хромоте, возможно, потому, что часто мать в раздражении напоминала ему об этом, так же как и окружающие. Чужая няня, встретившая мальчика с Агнес Грей на прогулке, заметила: «Какой красивый ребенок! Жаль, что у него такая нога». Глаза Байрона вспыхнули от гнева, он ударил ее своим маленьким хлыстиком и крикнул: «Не смей так говорить!»

Миссис Байрон оказалась в состоянии обставить квартиру на первом этаже дома по Броуд-стрит, 64, в престижном районе в самом центре молодого города, и шла на любые жертвы, лишь бы ее сын ни в чем не нуждался, насколько этого позволяли их скудные средства. Крайне отрывочные и смутные сообщения о ранних годах жизни Байрона оставляют впечатление, что его мать била его каминными щипцами или разбивала о его голову тарелки. Однако эти семейные сцены больше свойственны бурной юности Байрона в Англии. В детстве Джордж был любящим сыном, хотя и отличался шаловливым, чувствительным и крайне мнительным нравом.

Необычному сочетанию аристократической гордости и либеральных воззрений Байрон обязан матери. Позднее он писал Джону Меррею: «Моя мать (с ее сатанинской гордостью по поводу восхождения рода Гордонов к Стюартам) постоянно подчеркивала превосходство Гордонов над англичанами Байронами». С другой стороны, она сочувствовала Французской революции. В 1792 году она написала миссис Ли: «Полагаю, что наши взгляды резко отличаются, потому что я разделяю воззрения демократов и не думаю, что следует возрождать монархию после всех предательств и клятвопреступлений, совершенных королем».

Сама обстановка, окружавшая Байрона в его ранние отроческие годы, проведенные в Абердине, обусловила его приверженность взглядам шотландцев среднего класса, с которыми он постоянно встречался на улицах, а потом и в школе. Миссис Байрон ощущала себя бедной родственницей, хотя и была связана кровными узами с лучшими семьями в северных графствах.

В первой школе, где учился Байрон, не было ничего аристократического. На узкой улочке, известной под названием Лонг-Эйке, неподалеку от их дома на Броуд-стрит, мистер Джон Боуэрс держал смешанную школу для среднего класса, расположенную в мрачном, похожем на склад доме с плохо освещенными комнатами, низким потолком и пыльным полом. Именно здесь маленький мальчик в красной курточке и нанковых брюках провел бесцельно весь год с щеголем Боуэрсом. Вспоминая об Абердине, Байрон напишет: «Я ничему не научился в этой школе, кроме как повторять односложные высказывания, вроде «Бог создал человека, возлюбим же его», узнавая их на слух и не имея понятия о буквах». В течение следующего года под руководством более опытного преподавателя он научился читать и начал изучать латынь по «Грамматике» Раддимана.

В 1794 году, когда Байрону было шесть лет, произошло событие, которое в корне изменило всю его дальнейшую жизнь. Внук «Жестокого лорда» Байрона был убит на Корсике пушечным ядром, и Джордж Гордон стал наследником титула и земель своих предков. Миссис Байрон опять стала гордо поглядывать на окружающих и более уверенно наносить визиты своим влиятельным родственникам.

Позже маленький Джордж посещал Абердинскую среднюю школу в Скулхилле, неподалеку от Броуд-стрит. Низкое одноэтажное серое каменное здание, вмещавшее 150 мальчиков, было построено в 1757 году. Единственным предметом, изучавшимся в школе, была латынь, которую преподносили традиционным методом, что делало все уроки смертельно скучной рутиной. Джордж Бэйрон Гордон (а именно в таком виде его имя было внесено в школьные списки, возможно, чтобы передать произношение абердинцев) не прилагал больших усилий для изучения латыни и оставался посредственным учеником, хотя в четвертом классе поднялся на пятое место по успеваемости среди двадцати семи учеников. Дополнительно он изучал правописание в школе мистера Дункана.

Байрон начал читать до того, как пошел в среднюю школу. Он вспоминал: «Ноллс, Кантемир, Де Тотт, леди М.В. Монтагю, переводы Хокинсом «Турецкой истории» Минье, «Арабские сказки», путешествия, книги по истории Востока, которые только можно найти, а также Рико были прочитаны мною тогда, когда мне не исполнилось еще и десяти лет». «Турецкая история» Ноллса, по его словам, «была одной из первых книг, из всех прочитанных мною в детстве, которая доставила мне истинное наслаждение, и, наверное, оказала влияние на мое последующее желание увидеть Восток и придала восточный колорит моей поэзии». Наравне с книгами по восточной истории, пишет Байрон, «я предпочитал историю морского флота, «Дон Кихота» и романы Смолетта, особенно же Родерика Рэндома, а также питал особенное пристрастие к римской истории. В детстве я не мог читать стихи, не испытывая при этом неохоты и отвращения».

Однако под чутким руководством своей няни Агнес Грей Байрон узнал и полюбил поэзию библейских псалмов. С ней же, а потом с ее сестрой Мэй он целиком прочитал некоторые книги Библии. «Я не устаю восхищаться этими священными книгами, – писал он впоследствии Джону Меррею, – и до того, как мне исполнилось восемь лет, успел прочитать их от корки до корки, в особенности Ветхий Завет, который я прочитал с удовольствием. Новый Завет оказался для меня сложен».

История Каина и Авеля рано завладела его воображением. В возрасте восьми лет он с восторгом читал «Смерть Авеля» Гесснера. Странная мысль, что он рожден для зла, еще более окрепла после прочтения готического романа Джона Мура «Зелуко», чей герой-злодей, ненавидевший все человечество, по велению Рока совершал злодеяния помимо своей воли.

Несомненно, Байрону удалось преодолеть излишнюю чувствительность по поводу своего физического недостатка, потому что он не только часто упоминал о своей хромоте, но и начал принимать участие в играх и бегать. Бравируя этим недостатком и желая подчеркнуть свою схожесть с другим мальчиком, страдавшим от подобного недуга, он говорил: «Посмотрите-ка, по Броуд-стрит ковыляют два косолапых мальчика».

Когда Байрон научился на равных общаться со своими одноклассниками, мать начала постоянно твердить ему о его превосходстве не только в качестве потомка Гордонов, но и как наследника пэров Байронов. Когда кто-то из гостей, желая польстить, сказал, что в будущем надеется читать речи Байрона в палате общин, мальчик гордо ответил: «Нет, если вы и будете читать мои речи, то это будут речи в палате лордов».

Сохранилось свидетельство о по крайней мере одном визите к прабабушке Байрона, Маргарет Дафф Гордон, в Банфе, вероятно во время летних каникул 1795 года, когда миссис Байрон заказала портрет сына художнику Джону Кею из Эдинбурга. В скромном ангельском личике семилетнего ребенка с вьющимися волосами до плеч, изображенного с луком и стрелами, невозможно распознать избалованного и проказливого мальчика.

Возможно, в том же году Байрон впервые встретил свою кузину Мэри Дафф. Годы спустя он напишет в своем дневнике: «Я помню все, что мы сказали друг другу, все наши проявления нежности, ее лицо, свое беспокойство, бессонные ночи, помню, как изводил служанку матери, чтобы она написала Мэри письмо от моего имени… Естественно, тогда я не имел никакого представления об интимных отношениях, и все же мои страдания и любовь к этой девочке были настолько сильны, что порой я начинаю сомневаться, был ли я настолько к кому-нибудь привязан в зрелые годы…»