С Божьей помощью дела поправились. Николай Афанасьевич без сожаления отказался от праздной московской жизни, переселился с семьей на Полотняный Завод и с неутомимой энергией принялся наводить порядок. Беззастенчивое растаскивание барского добра прекратилось, под зорким хозяйским оком снова заработали фабрики. За пять лет упорного труда Николаю Афанасьевичу удалось заделать отцовские прорехи. Сын высылал отцу большие суммы, удерживая его тем самым за границей. В 1811 году Николай Афанасьевич был награжден орденом Владимира IV степени «за приведение к должному устройству и усовершенствованию состояния в Калужской губернии фабрики полотняной и писчей бумаги».

Но наступил грозный 1812 год: наполеоновская война нарушила мир и равновесие Европы. Французы близко подошли к гончаровским владениям. В Полотняном Заводе некоторое время стоял со своим штабом фельдмаршал Кутузов. Комнаты, в которых он жил, сделались исторической реликвией и стали называться кутузовскими. Можно себе представить, сколько пищи для детской фантазии маленьких Гончаровых дал этот факт столь близкого соприкосновения судьбы Отечества с обычным течением времени родительского дома. Увы! Хранимый от французов, дом этот подвергся опустошительному нашествию собственного «иностранца». Афанасий Николаевич в самом начале войны сумел пробраться через границу и вернуться в Завод. Он привез с собой любовницу мадам Бабетт и стал требовать, чтобы ей оказывали все знаки внимания, положенные хозяйке дома. Этим событием чрезвычайно осложнились семейные отношения.

Ко всему прочему, старику показалось, что сын кичится перед ним своей деловитостью и умственным превосходством, и вместо признательности за поправку дел затаил к нему злобу. Нашлось немало приближенных к хозяину людей, которым хотелось бы вернуться к прежней безалаберной жизни. Они разжигали страсти, наушничая и раздувая недоброжелательство отца к сыну. Очень скоро от критики поведения Николая Афанасьевича перешли и к отмене его распоряжений. Какое-то время сын еще пытался удержать отца от бесхозяйственности и расточительства, но на открытый скандал не шел, однако в 1815 году Афанасий Николаевич полностью отстранил Николая Афанасьевича от дел.

Добрая душа Николая Афанасьевича доходила до отчаяния: он увидел, что его труды по восстановлению хозяйства разбиваются в прах в угоду мимолетному капризу отца (в одном из писем к нему он назвал себя «уничтоженной тварью»), но ничего нельзя было изменить. Огромная ответственность лежала на нем за судьбу уже собственных детей, которых к тому времени было шестеро: первенец и наследник майората Дмитрий, Екатерина, Иван, Александра, Наталья и новорожденный Сергей. Несмотря на то что первые годы после отстранения сына от дел Афанасий Николаевич выдавал его семье достаточное содержание — 40 тысяч рублей ежегодно, но Николай Афанасьевич теперь не мог обмануться, предчувствуя угрозу полного разорения. И его предчувствия, к сожалению, оправдались. После скоропостижной смерти Афанасия Николаевича в 1832 году оказалось, что он оставил в «наследство» своим потомкам полтора миллиона долга!

Обстоятельства жизни Николая Афанасьевича складывались так, чтобы беспощадно терзать напряженный ум и наболевшую душу, подготавливая взрыв рокового неизлечимого недуга, который, в свою очередь, не мог не отразиться на самочувствии всех членов его собственной семьи. Начало болезни Николая Афанасьевича относят к концу 1814 года. Сведения о недуге весьма противоречивы. Его считали «повредившимся в уме» — то ли вследствие падения с лошади, то ли благодаря наследственности со стороны матери. Скорее всего, он не был психически ненормальным. В юности мать не дала ему сделать военной карьеры, теперь, в его зрелые года, по воле отца оборвалась так прекрасно начавшаяся карьера преуспевающего промышленника. Надо полагать, что Николай Афанасьевич мог бы достичь высоких степеней на любом поприще, но разрыв с отцом послужил причиной к тому, что он запил. Жизнь надломилась.

Наталья Николаевна Гончарова родилась 27 августа 1812 года — на следующий день после Бородинского сражения. Ее семейство, спасаясь от французов, уже оставило Полотняный Завод и переселилось к близким родственникам Натальи Ивановны в богатое родовое поместье Загряжских Кариан, «в одно из лучших дворянских гнезд на Тамбовщине». Здесь и родился младенец женского пола и крещен в местной Знаменской церкви с именем Наталья.

После победоносного окончания Отечественной войны семья вернулась в Полотняный Завод. Однако болезнь Николая Афанасьевича вынудила семейство переехать в Москву, в собственный дом на Никитской. Родители не взяли с собой маленькую Наташу, потому что старик Гончаров сильно привязался к внучке и настоятельно требовал отдать девочку на его попечение. Наталья Ивановна скрепя сердце согласилась на это, чтобы хоть как-то приспособиться к новым обстоятельствам жизни. Молодая тридцатилетняя женщина вынуждена была взять на себя заботы о больном муже и малолетних детях.

Дед души не чаял в маленькой внучке. Наташа росла подобно сказочной принцессе в волшебном царстве. Зная отношение деда к ребенку, все прихлебатели и приживальщики Полотняного Завода старались угадать ее наималейшее желание. Самые дорогие и затейливые игрушки выписывались на смену тех, что не успели еще надоесть, от нарядов ломились сундуки, на каждом шагу предлагались разнообразные и изысканные лакомства, так что от них совершенно пропадал аппетит. Любимым развлечением в имении стало придумывать новые забавы для общей любимицы.

В одно мгновение все переменилось. На шестом году Наташу вернули в родное гнездо. Событие, связанное с переменой участи, навсегда врезалось в ее память. Стояла зима. Девочку, укутанную в драгоценную соболью шубку, на руках вынесли из возка и доставили прямо в гостиную. Братья и сестры с любопытством разглядывали забытое лицо. Мать сдержанно поцеловала девочку и, с неудовольствием оглядывая дорогой наряд, сказала: «Это преступление — приучать ребенка к неслыханной роскоши!» Нянюшкам было приказано строго: от всего привитого в дедовом доме ребенка без сожаления отучить. Не прошло и двух дней, как дорогая шуба, предмет общего восхищения детей, была изрезана на муфточки и палантинки для трех сестер.

Дедушкино баловство ничуть не испортило мягкого характера Наташи. Внезапная перемена отношения к ней взрослых не озлобила ее, она безропотно подчинилась суровому режиму, заведенному в доме, и выносила его гораздо легче своих сестер.

Надо сказать, что Наташа Гончарова никогда не переставала любить своего дедушку Афанасия Николаевича, хотя наверняка знала, что он — виновник разорения семьи, болезни отца, человек, уличенный во множестве других грехов. В шестнадцать лет она писала деду: «Любезный Дединька! Я воспользоваюсь сим случаем, дабы осведомиться о вашем здоровии и поблагодарить вас за милость, которую вы оказали нам, позволив нам провести лето в Ильицыно. Я очень жалею, любезный Дединька, что не имею щастия провести с вами несколько времени, подобно Митиньки. Но в надежде скоро вас видеть, целую ваши ручки и остаюсь навсегда ваша покорная внучка Наталья Гончарова». Поистине — трогательное признание.

Дедушка Афанасий Николаевич, видимо, сознавая свою вину перед сыном, старался поддерживать добрые отношения с внуками. Он посылал им небольшие подарки, приглашал иногда к себе. К старшему Дмитрию, наследнику майората, было особое благоволение: дед часто писал к нему и, бывало, присылал значительные суммы «для профессоров и наук». В письмах Афанасий Николаевич слово «деньги» всегда пишет с большой буквы в знак преклонения перед главным своим кумиром.