Ещё в 1784 году Алексей Разумовский разошёлся с первой женой Варварой Петровной Шереметевой; мизантроп и вольтерьянец, он не выдержал её агрессивно назойливую набожность. В дальнейшем его подругой жизни стала дочь простого берейтора Мария Михайловна Соболевская, родившая ему десять детей — пять сыновей и пять дочерей. Об этой женщине почти ничего не известно, но союз оказался на редкость прочным и длился тридцать пять лет, до самой смерти Алексея Разумовского. Все дети получили фамилию Перовских по уже упомянутому селу Перово. Вряд ли этот, хотя юридически и не оформленный, брак можно считать неравным. Ведь о демократическом происхождении Разумовских все хорошо знали. Правда, когда встал вопрос о потомственном дворянстве детей, срочно были сфабрикованы документы о первом браке Соболевской с неким польским шляхтичем Перовским, якобы погибшим при штурме Варшавы войсками Суворова в 1794 году. Сама она до смерти по документам оставалась мешанкой.

Перовские оказались талантливой порослью. О старшем сыне Алексее (писателе Антонии Погорельском) разговор особый. Младшие братья Василий и Лев сделали блестящую карьеру и при Николае I поднялись на вершину правительственной пирамиды. Василий Перовский стал одним из крупнейших государственных деятелей николаевского времени; будучи оренбургским генерал-губернатором, он фактически подготовил русское завоевание Средней Азии. Из дочерей внимание привлекают младшие: Ольга Алексеевна и Анна Алексеевна.

Незаконные дочери высокопоставленных и родовитых отцов фактически были лишены возможности самим устраивать свою судьбу; им надлежало подчиняться воле родителей, приискивающих для них женихов. Ольга Алексеевна была выдана за артиллерийского офицера Михаила Жемчужникова; никто и не предполагал, что его ждёт блестящая карьера. Анне Алексеевне в мужья предназначался граф Константин Петрович Толстой, к чему она относилась безропотно. Если в немногочисленных биографических публикациях о поэте родство с Разумовскими всячески подчёркивается, то отец фактически остаётся в тени. Это объясняется тем, что в жизни своего сына он не играл почти никакой роли. Однако совершенно игнорировать его невозможно уже хотя бы потому, что он приходился родным братом знаменитому художнику Фёдору Петровичу Толстому. Так и с отцовской стороны поэт безусловно унаследовал творческие наклонности.

О «дяде Константине» подробно рассказывает в воспоминаниях его племянница Мария Фёдоровна Каменская (дочь художника):

«В те времена детей в корпусе принимали очень маленькими, и дядю отдали в малолетнее отделение пятилетним ребёнком. 17-ти лет он был уже выпушен офицером в какой-то Фридрихсгамский полк, и военная карьера его пошла быстро и счастливо. Несмотря на то, что дядя рассказывал мне про неё наиподробнейшим образом (не пропуская даже того, что был лучший танцор в их полку и что раз на балу сама шведская королева выбрала его себе кавалером и танцевала с ним), я всё-таки не стану следить шаг за шагом за всеми его отличиями и повышениями, а скажу прямо, что он делал шведскую кампанию и начало французской; верно, он был очень храбр, если получил золотую шпагу „За храбрость“, Анну 2-й степени и много ещё каких-то орденов и медалей. Такой необыкновенной св. Анны, какая была у дяди, я что-то после ни у кого не видывала: она была очень большая, и на четырёх концах креста, на месте теперешней эмали, сидели четыре продолговатые рубина, или стеклышка под рубин, и около них были и бриллианты… Очень нарядный был крест. Но он принес дяде несчастье, или, рассуждая по-военному — счастье. В сражении, за которое он его получил, дядя был ранен в левую ногу, не мог продолжать военную службу и 26-ти лет выпущен в отставку „с мундиром“… Наружностью он красив не был, но имел самое доброе, милое лицо; телом широк в костях, крепок и силён, в движениях быстр, тороплив, но неловок… Характером он был слаб и податлив… Но зато сердце имел самое доброе, мягкое и чистейшую душу. На всякое хорошее дело отзывался из первых, ласку и доброе слово ценил выше всего. Да, вполне прекраснейший человек был мой дядя Константин»[3].

Уже с первого взгляда было ясно, что жених и невеста — неровня. Молодая, миловидная и образованная девушка не могла найти ничего привлекательного в пожилом человеке, не блиставшем ни красотой, ни умом. Она сразу же сказала ему, что никогда его не полюбит и идёт замуж только по воле родителей. Константин Петрович Толстой надеялся со временем привязать к себе жену добротой и уступчивостью, но с самого начала потерпел поражение. Когда жених навещал Перовских, сразу же создавалась партия, и его сажали за ломберный стол, откуда он, страстный игрок, уже не поднимался до ухода. Невеста же уединялась в своей комнате с братом Алексеем якобы для чтения; они были чрезвычайно дружны. Настоящим предметом увлечения невесты был брат жениха — художник Фёдор Петрович, но он уже был женат и, кроме того, бросал неравнодушные взоры на другую сестру, Ольгу Перовскую.

Константин Петрович Толстой и Анна Алексеевна Перовская были обвенчаны в церкви Симеона и Анны на Моховой улице в Санкт-Петербурге. В положенное время через девять месяцев 24 августа 1817 года родился их сын, названный в честь деда Алексеем. Он был крещён в этой же церкви 15 сентября. Восприемниками стали действительный тайный советник граф Алексей Кириллович Разумовский и его сестра генеральша Екатерина Кирилловна Нарышкина. Уже через два месяца родители будущего поэта навсегда разошлись. Мать забрала младенца и уехала к брату Алексею в его имение Погорельцы Черниговской губернии. Это мало кого из окружающих удивило. Каменская вспоминает:

«Так как в делах между мужем и женою судьёю никто быть не может, то лучше об этом и замолчать.

Отец мой, однако ж, иногда высказывал своё мнение так:

— Брат Константин никогда и не должен был жениться на Анне Алексеевне: она слишком умна для него… Тут ладу и ожидать было трудно.

Анна Алексеевна со своей стороны часто говорила отцу моему:

— Отчего ты не женился на мне, Теодор? Я бы тебя очень любила…

— Да оттого, должно быть, что прежде тебя увидал другую Аннету, влюбился и женился на ней, — тоже шуточкой отвечал ей Фёдор Петрович»[4].

Однако столь быстрое крушение брака и ряд сопутствующих обстоятельств породили молву, будто подлинным отцом ребёнка является брат матери Алексей Перовский. Об этом говорили открыто. В одном из доносов в Третье отделение Фаддей Венедиктович Булгарин заметил, что «нравственность его (А. Перовского. — В. Н.) возбуждает ужас в добрых людях»[5].

Сплетням, по-видимому, верил даже Фёдор Петрович Толстой. В воспоминаниях он пишет, что вскоре после рождения сына Константину Петровичу Толстому открылась истина, а именно, что тесная дружба его жены с братом на самом деле есть «непозволительная между родными братом и сестрою связь»[6]. Он якобы оставил жене письмо и навсегда покинул дом; больше супруги не встречались.