4 сентября Наталья Михайловна родила дочь, назвали ее Марией, восприемниками ее были брат Николай Алексеевич и сестра Авдулина Алексеевна.

Семья переехала в Петербург, где жена и родила, а Дмитрий Алексеевич вместе с императорским двором переехал в Гатчину, где и получил место в «кухонном каре», рядом с помещением военного министра. Из Гатчины в Петербург Дмитрий Алексеевич мог уезжать только в те дни, когда туда уезжал Василий Андреевич. Боль в пояснице и в ногах вроде бы утихла, но заболела дочь Ольга, а он не мог узнать о ее здоровье, успокоился только тогда, когда узнал, что малютка поправилась.

В Гатчине жизнь была устроена так, что гости и придворная челядь чаще всего встречались во время завтрака, обеда и на вечернем собрании в большом зале, по прозвищу «арсенал». Здесь происходили встречи, беседы, отсюда тянулись все слухи, сплетни, интриги, Милютина все это не интересовало, ему здесь было скучно, его по-прежнему тяготила придворная жизнь, их прогулки, беседы не интересовали его, мрачные мысли чаще всего возникали у него при анализе документов, поступавших из переписки с дипломатами, командирами корпусов, отвечавших за безопасность страны и неделимость ее территории. Особенно часто стали поступать реляции от князя Меншикова, сначала успокоительные, потом он писал только о неудачах. Милютину приходилось редактировать эти послания для печати. Сначала Меншиков писал о том, что неприятельские корабли высматривают место, где они бы могли высадить десант, 106 кораблей бродят по Черному морю, выискивая место высадки. Князь Горчаков из Вены дал сообщение о том, что неприятель высадился в Евпатории, десант двинулся в сторону Севастополя. 10 сентября в петербургских газетах появилось сообщение из Крыма о высадке десанта недалеко от Евпатории. «С приближением неприятеля, – говорилось в информации, – все жители удалились как из города, так и из окрестных селений. Князь Меншиков, не признав возможность атаковать высаженные войска на плоском берегу, обстреливаемом с флота, сосредоточил большую часть своих сил на выгодной позиции, в которой готовится встретить противника. В заключение он присовокупляет, что состоящие под его началом войска, одушевленные рвением и преданностью Престолу и Отечеству, с нетерпением ожидают минуты сразиться с неприятелем».

Император отдал приказ выйти из Дунайской армии дивизиям и направиться в Крым, по всему чувствовалось, что именно в Крыму начнутся настоящие сражения. 8 сентября 1854 года сражение действительно произошло близ реки, русские войска потерпели полное поражение, курьер, присланный Меншиковым, участник этих боев, так растерялся в присутствии императора, что ничего толком так и не сообщил. Николай Павлович, услышав такое обидное и резкое сообщение курьера, «выбранил его и послал выспаться».

Милютин дал корреспонденцию в газеты в весьма обтекаемых фразах, ничего конкретного так и не сказал, только потом узнав, что русские потеряли около 6 тысяч, союзники – больше 3 тысяч.

В октябре в Петербурге узнали, что Севастополь готовится к длительной осаде, неприятельские батареи открыли по городу сильнейший огонь, многие выбыли из строя, в том числе и мирные жители, погиб от обстрела и адмирал Корнилов, замечательный полководец и человек. Из последующих донесений становилось ясно, что Меншиков вряд ли долго будет отстаивать Севастополь, его донесения становились все более и более пессимистичными, что крайне раздражало Николая Павловича. Он решил послать своих сыновей Николая и Михаила в Севастополь для поддержания боевого духа своих войск. В его письмах князю Меншикову он все еще надеется нанести удар по неприятелю, «чтобы поддержать честь оружия нашего».

Василий Андреевич, пронализировав документы, сказал Милютину:

– В Крыму собралось около ста двадцати тысяч, туда пришли 10-я и 11-я дивизии, с такими силами вполне можно противостоять неприятелю… Как вы думаете, Дмитрий Алексеевич? Что вам подсказывают проанализированные вами документы?

– Войска-то войсками, государь наш с нашей помощью позаботился о Севастополе, сто семь тысяч войска да моряки с кораблей, действительно столько, как вы сказали, наберется. С такими силами действительно можно с успехом противостоять неприятелю, численность которой действительно несколько пониже нашей… Но разве только в этом дело? Ведь войсками надо уметь управлять, а у князя Меншикова нет даже штаба, мы послали замечательного полковника Попова, одного из лучших офицеров гвардейского Генерального штаба, он в Петербурге исполнял должность начальника штаба гвардейского резервного корпуса, он вполне был доволен своей работой в Петербурге, но его направили в Крым начальником штаба войск, в Крыму расположенных. Государь дал ему личные поручения, подал ему руку на прощание и благословил его на этот тяжкий путь. А князь Меншиков принял его весьма нелюбезно и даже не допустил его на должность, на которую он был назначен высочайшим приказом, Попов состоял то при князе Петре Дмитриевиче Горчакове, то при начальнике Севастопольского гарнизона генерале Моллере, то исполнял разные случайные поручения… Ну куда это годится? А вскоре он отправил его в Петербург… А ведь там, в Крыму, есть замечательные офицеры Генерального штаба, но князь Меншиков поручает им второстепенные задачи…

13 октября Меншиков, получив солидное подкрепление, надумал дать чуть ли не генеральное сражение союзникам. 24 октября состоялось Инкерманское сражение, кровопролитное для обеих сторон, у русских пало больше 3 тысяч, 109 офицеров, среди них были генералы и флигель-адъютанты его величества. И поражение потерпели только из-за нераспорядительности руководства, печального самообольщения, которым так страдал князь Меншиков. Печаль охватила и Петербург, может, впервые Николай Первый подумал, что во главе Севастопольской обороны поставил не того человека, тем более что Меншиков совсем пал духом и утратил способность защищать Севастополь. Николай Первый пытался подбодрить Меншикова: «Не унывай, любезный Меншиков. Начальствуя севастопольскими героями, имея в своем распоряжении 80 тысяч отличного войска, вновь доказавшего, что нет ему невозможного, лишь бы вели его как следует и куда должно […] такими молодцами было бы стыдно и думать о конечной неудаче. Скажи вновь всем, что я ими доволен и благодарю за прямо русский дух, который, надеюсь, никогда в них не изменится. Ежели удачи доселе не было, как мы смели ожидать, то Бог милостив, – она быть еще может. Бросить же Севастополь, покуда есть еще 80 тысяч в нем и под ним стоящих, еще живых, было бы постыдно и помышлять, значило бы забыть стыд и не быть русскими; потому этого и быть не может, и я не допускаю сего даже и в мыслях. Пасть с честью, но не сдавать и не бросать».

Пасть с честью, но не сдавать и не бросать – этот лозунг стал делом чести и геройства всей не только гатчинской публики, но и всего русского общества.

Отовсюду в министерство поступали сведения и информация с разных сторон России: на Дальний Восток напали шесть кораблей союзников, но встреченные залпами орудий союзники вскоре ушли от берегов Дальнего Востока; беспокоил и Кавказ, вернувшийся из отпуска Воронцов попросил Николая Первого освободить его от должности наместника кавказского и главнокомандующего Отдельным Кавказским корпусом, болезни не оставили ему покоя, семидесятидвухлетний фельдмаршал просто очень устал от напряжения, тем более война угрожала и Кавказу серьезными испытаниями, а он не был готов к этому; Милютин в своей записке указал на слабые места в обороне Балтийского побережья, рекомендовал создать два мощных центра: Кронштадт с Петербургом и Свеаборг с Гельсингфорсом, сосредоточив здесь войска, орудия и соорудив мощные оборонительные рубежи.