Дом в Полотняном Заводе, построенный без особых архитектурных затей, размерами напоминал настоящий дворец. Афанасий Николаевич еще надстроил его, богато и на широкую ногу отделал внутри. Из описи обстановки того «богатого периода» гончаровской жизни ясно: владельцы ни в чем себе не отказывали. В комнатах стояла мебель, отделанная бронзой и инкрустацией, висели люстры фарфоровые и из венецианского стекла, дорогие сервизы и фамильное серебро с инициалами Афанасия Николаевича были подаваемы к столу хозяев и гостей.

Парк вокруг дворца был разбит на аристократический лад: гроты, беседки, статуи украшали его тенистые аллеи. В оранжереях выращивали заморские фрукты: ананасы на пирах были свои, не привозные. При конном заводе, где выводили породистых лошадей, при Афанасии Николаевиче был построен огромный великолепный, прямо-таки царский манеж, в котором устраивались конно-спортивные праздники. Толпы гостей съезжались на показы выездки лошадей, выдрессированных берейторами, которых приглашали из-за границы.

Пиры и празднества, продолжавшиеся иногда по месяцу и более, следовали один за другим. В доме управлялись до трехсот слуг и другой челяди. Зимой Гончаровы жили в Москве в собственном доме и вели такой же безрассудный образ жизни.

Афанасий Николаевич был женат на Надежде Платоновне, урожденной Мусиной-Пушкиной. Все затеи мужа еще покрывались доходами с заводов и имений (а их насчитывалось до 75), но серьезные испытания семье Гончаровых были уже при дверях. Тяжелый недуг обрушился на Надежду Платоновну: она сошла с ума. Вместо того чтобы остепениться, Афанасий Николаевич с юношеской необузданностью предался сладострастию. Его порывы более не сдерживались никем и ничем.

Когда очередная красавица-любовница совершенно завладевала его сердцем и волей, Афанасий Николаевич ничего не жалел для малейшей ее прихоти. Но посреди романа вдруг появлялась на горизонте другая, и он охладевал к первой. И тогда, чтобы сбыть ее с рук, отписывал ей дом в Москве или крупную вотчину, подкупал жениха для старой любовницы, одновременно пуская в ход все для обольщения новой. Чем намеченный предмет был или притворялся недоступней, тем сильнее разжигалась страсть, и соблазняющие жертвы принимали все более крупные размеры. Дома и имения если не раздаривались, то продавались за бесценок в минуту нужды. Из крупного оборотного капитала постоянно делались заимствования, что ослабило мощь фабрик. Очень скоро объемистые, из доморощенного полотна, туго набитые золотом мешки, которые челядь привыкла видеть в кабинете владельцев, исчезли.

У Афанасия Николаевича был единственный сын Николай. Еще совсем юношей он встретил в аристократических гостиных Наталью Ивановну Загряжскую, прославленную своей редкой красотой, и влюбился в нее со всей страстью первой любви. Брак их, суливший столько счастья, был скоро заключен к радости обеих семей. Но об этом «счастье» речь впереди.

Загряжские очень гордились как знатностью своего происхождения, так и влиянием при дворе. Дед Натальи Ивановны, Александр Артемьевич Загряжский, был женат на внучке последнего независимого гетмана Малороссии. При присоединении этого края к России царь Алексей Михайлович дал на прокормление знаменитому вождю запорожцев обширную волость под Москвой — село Ярополец Волоколамского уезда.

Дядя Натальи Ивановны, утонченный вельможа екатерининских времен, красавец, был женат на Наталье Кирилловне Разумовской, дочери гетмана. В начале XIX века она была известна всему великосветскому Петербургу оригинальностью своего ума и непреклонностью воли. Наталья Кирилловна была настоящим кладезем ценных исторических воспоминаний, из которого не уставал черпать Пушкин, породнившись с ней через Наталью Николаевну.

Несчастное происхождение Натальи Ивановны содержало зародыш тех страданий, которые принесла ей замужняя жизнь.

Отец ее Иван Загряжский, молодой блестящий офицер, служил в гвардии и среди распущенного общества был герой, отличаясь необузданными выходками, которые сходили ему с рук. Во избежание больших зол его женили на баронессе Строгановой — в надежде, что ее крупное состояние поправит расшатанные дела, а влияние умной добродетельной жены остепенит повесу. Ничуть не бывало. Свалившееся на него приданое только развязало руки: картежная игра превратилась в настоящую страсть. Через несколько лет совместной жизни Иван Загряжский отвез жену с детьми в принадлежащий ему Ярополец, поселил их в только что отстроенном под наблюдением Растрелли прекрасном дворце, а сам вернулся к веселой холостой жизни, лишь изредка и ненадолго навещая семью.

Тем временем полку Загряжского выпала продолжительная стоянка в Дерпте (нынешний Тарту), лифляндские бароны радушно встречали русских офицеров: балы и обеды не прекращались в окрестных замках. На одном из пиров у самого гордого, богатого и влиятельного барона Липгардта Загряжский увидел его красавицу-дочь, слывшую самой завидной невестой того края. Красавица Ульрика к тому времени была уже разведена со своим мужем бароном Морисом фон Поссе, имела от него малолетнюю дочь. Никакой интрижки быть не могло: Ульрика была воспитана в строгой нравственности, в другой вере, в недоступном кругу. Загряжский открыл наступление по всем правилам амурной науки. Опытный ловелас влюбил в себя молодую женщину и беззастенчиво обратился к отцу ее с официальным предложением. Ни один из его легкомысленных товарищей не проговорился о том, что Загряжский уже был женат.

Отказ тем не менее последовал — в вежливой, но категорической форме. Барон Липгардт закрыл Загряжскому доступ в свой дом, а дочери запретил даже думать об отверженном претенденте. Но Ульрика была из тех натур, которые, если любят, то до конца. Когда полк должен был выступить обратно в Петербург, молодая баронесса не смогла решиться на вечную разлуку и сдалась на милость победителя. Милость его была горше смерти. Баронесса бежала из своего дома, от отца. Подкупленный священник обвенчал ее в скромном православном храме с чужим мужем.

Навсегда покинув Дерпт после рокового шага, новобрачная написала отцу, умоляя его о прощении, описывая всю силу их обоюдной любви и терзания, причиненные ей его, отца, непреклонным решением. Барон даже не ответил на эту мольбу, а через приближенного уведомил, что баронесса Липгардт умерла для него и всей его родни, и потому дальнейшие извещения об опозоренной авантюристке будут совершенно излишни.

Барон Липгардт свое слово сдержал: отношения были прерваны раз и навсегда. Характерно в этом смысле письмо Натальи Николаевны своему второму мужу П. П. Ланскому от 29 июня 1819 года: «…В своем письме ты говоришь о некоем Любхарде и не подозревая, что это мой дядя. Его отец должен был быть братом моей бабки — баронессы Поссе, урожденной Любхард. Если встретишь где-нибудь по дороге фамилию Левис, напиши мне об этом потому, что это отпрыски сестры моей матери. В общем, ты и шагу не можешь сделать в Лифляндии, не встретив моих благородных родичей, которые не хотят нас признавать из-за бесчестья, какое им принесла моя бедная бабушка. Я все же хотела бы знать, жива ли тетушка Жаннет Левиc, я знаю, что у нее была большая семья. Может быть, случай представит тебе возможность с ними познакомиться».