Отец женился на красивой девушке, но она оказалась больной и вскоре после свадьбы умерла. Три года он был вдовцом, потом вместе с матерью и сестрами вновь поселился в Милютинском переулке и вновь вошел в светское общество, особенно часто посещал он гостеприимный дом отставного бригадира Дмитрия Ивановича Киселева и Прасковьи Петровны, урожденной княжны Урусовой. В широкий круг друзей и родственников Киселевых входили князья Урусовы и Грузинские, а вместе с ними многочисленные представители московской и петербургской аристократии. Старший сын Киселевых – Павел Дмитриевич – служил в Кавалергардском полку, во время войн с Наполеоном, в 1807 и 1812–1815 годах, отличился, стал флигель-адъютантом императора Александра Первого, а после пожаров в Москве его семья получила место для строительства нового дома у Красных ворот. В семье Киселевых были и младшие сыновья, а главное – три сестры, в одну из них, Елизавету Дмитриевну, влюбился Алексей Михайлович и вскоре попросил у родителей ее руки. Елизавета Дмитриевна согласилась («По свидетельству всех, знавших ее в молодости, это было восхитительное создание: она привлекала к себе своею милой, симпатичной наружностью, обходительностью, веселой любезностью», – вспоминал Д.А. Милютин), а в семье возникли возражения: посчитали партию «неравной». Влюбленные были в отчаянии. Павел Дмитриевич написал сестре, что она должна была покориться воле родителей, Сергей Дмитриевич тотчас же взял отпуск в полку и приехал для разрешения этой драмы. Вскоре он добился согласия родителей, и 15 июня молодые были помолвлены, а 22 августа 1815 года состоялась свадьба. Несколько дней молодые жили в Москве, в Милютинском переулке, а потом надолго поселились в имении Титово, где было все для богатой барской жизни: «Конский завод, псовая охота, всякого рода мастерские, в том числе даже каретная, – все это содержалось на славу, и все это считалось необходимым для приличия, для поддержания достоинства и в особенности – для кредита. Чем хуже шли дела денежные, тем более нужно было прикрывать это наружным блеском обыденной жизни», – писал Милютин.

28 июня 1816 года в Москве родился Дмитрий Алексеевич Милютин, потом через два года Николай, в 1821 году – Владимир… Через несколько лет Елизавета Дмитриевна писала Павлу Дмитриевичу, что у нее шестеро детей, а содержать их нет средств. Павел Дмитриевич помогал и Алексею Михайловичу в карьере, и Елизавете Дмитриевне в средствах.

Алексей Михайлович занимался сельским хозяйством в своем имении, внимательно следил за суконной и ситцевой фабрикой, за винокуренным и конским заводами, вел переписку с кредиторами, с торговцами и деловыми людьми. Все время был в долгах, но его бурная деятельность позволяла ему брать кредиты и вести барский образ жизни, принимать гостей, вести псовую охоту, бывать в аристократических домах Москвы и Петербурга.

Большое внимание родители уделяли образованию детей. Дмитрий говорил на французском гораздо лучше, чем на русском. Родители и гувернер из Швейцарии мистер Валэ давали первые уроки Дмитрию, отец много занимался с ним русским языком и литературой, показывал ему различные опыты в своем физическом кабинете, где собралось много станков токарных, слесарных, он «изучал физику, механику и любил работать собственными руками». Дмитрий любил бывать в отцовском кабинете, где с каждым уроком расширялись его знания, его видение мира.

Когда Дмитрию исполнилось восемь лет, родители наняли нового гувернера Николая Заржицкого, тридцатилетнего поляка с обширными знаниями и тактичного педагога. Он хорошо знал математику, естественные науки, русский язык и русскую культуру, владел слесарными, токарными и переплетными орудиями труда.

За два года Дмитрий и Николай прочитали все двенадцать томов Карамзина, не только узнали историю России, но и овладели познаниями в русском языке, «мы незаметно и без тяжелого труда учились русской грамматике и стилистике». На уроках Заржицкого Дмитрий с помощью геометрии научился снимать план всего села Титова так, что вся топография села осталась в его памяти. Уроками французского, немецкого и английского занимались выходцы из этих стран. Были получше учителя, были похуже, вместо неотесанного венгерца начал преподавать немецкий язык «приличный поляк». Шестилетнюю Машу, единственную дочь Милютиных, удалось пристроить в Петербургский Екатерининский институт пансионеркой императрицы. Павел Дмитриевич обеспечивал Дмитрия, когда он поступил в Благородный пансион Московского университета, платил за обучение и содержание.

Попытки Алексея Михайловича расплатиться с долгами были безуспешными, он обратился к императору, к графу Закревскому, но неудачно. Наконец Алексей Михайлович в отчаянии написал письмо Павлу Дмитриевичу: «Каждому известно, что я ничего не сделал ни черного, ни бесчестного; что я не проиграл, не промотал имения, дошедшего ко мне не даром, не по наследству; но, будучи жертвою, быть может, планов, предпринятых не вовремя и не под силу, я заплатил за это настоящим моим положением, тогда как стоило бы только отклониться на одну черту от пути чести, чтобы сделаться богачом. В сей уверенности я всякому смотрю в глаза прямо, имея достаточно характера, чтобы быть равнодушным к мнению толпы!..» (То же. С. 84–85).

В Благородном пансионе Московского университета все увлекались литературным творчеством, издавали журналы, сборники, некоторые стихи и статьи преподаватели читали вслух в присутствии начальства. Одно время и Дмитрий Милютин редактировал рукописный журнал «Улей», в котором были опубликованы ранние стихи Лермонтова, только что окончившего пансион. Особенно увлекся литературным творчеством Николай Милютин, принимал участие в театральных постановках, сам пытался писать.

В пансионе Дмитрий и Николай познакомились и подружились с Сергеем Строевым, Арапетовым, двумя братьями Вырубовыми, Гордеевым, Марковым, Зверевым, Перовским, Константином Булгаковым…

В это время женился Сергей Дмитриевич Киселев на Елизавете Николаевне Ушаковой, а ее сестрой Екатериной Николаевной увлекся Александр Пушкин, друживший с Сергеем Киселевым, и Дмитрий не раз видел его у дяди.

В Москве 1830 года разразилась холера. Неожиданно для всех 29 сентября в Москву прибыл Николай Первый, он бывал в больницах, в разных административных заведениях, заехал и в университетский пансион. Его появление в пансионе встревожило и насторожило всех, не только начальство, но и студентов. Но все обошлось.

В шестом классе пансиона Дмитрий Милютин задумался о своей будущей профессии, открывались возможности получить быстро офицерские эполеты, но отец не посоветовал пока думать о будущей профессии, надо было успешно закончить шестой класс, последний класс в пансионе, целый год у него будет на раздумье, а там что будет. Отец был доволен успехами Дмитрия, а вот Николай беспокоил его, его взрывной, беспокойный характер, неудачные экзамены, наказания со стороны преподавателей вселяли тревогу в сердцах родителей. В одном из писем из Петербурга Алексей Михайлович прямо указывал, что Николая он отдаст в кадетский корпус, «где он, в отчуждении от родителей и родственников, будет готовиться не к жизни общественной, а к казарме».

Во время каникул пятнадцатилетний Дмитрий Милютин начал публиковать свои сочинения «Опыт литературного словаря», «Руководство к съемке планов» и переведенный им роман «Яка-рей У асу». Но поразило то, что журнал «Северная пчела» (1831. № 198) дал небольшую рецензию о съемке планов, посвященную своему благодетелю Павлу Дмитриевичу Киселеву, оплачивавшему его учебу в пансионе и содержание. Павел Дмитриевич, естественно на французском языке, поблагодарил племянника: «Я был бесконечно рад, мой дорогой племянник, получить Ваше письмо и приложенную к нему книгу. Ваше изложение науки, которую Вы еще не закончили изучать (напечатанное или нет), дает хорошее представление о Ваших способностях к труду. Поэтому я выражаю Вам свою искреннюю похвалу и призываю продолжать Ваши занятия с прежним рвением. От этого зависит Ваше будущее».