Временная квартира для Милютиных была небольшой, неуютной и довольно дорогой. Дмитрий Алексеевич остановился в гостинице «Демут», пока подыщут хорошую квартиру, за которую Военное министерство должно выплачивать три с половиной тысячи рублей ежегодно. И начались визиты к родственникам, друзьям, а главное – в новом качестве представиться военному министру Николаю Онуфриевичу Сухозанету, который принял его любезно, но холодно, зная, что Милютин прибыл по рекомендации князя Барятинского, друга императора. А ведь совсем недавно Дмитрий Милютин ушел из министерства писать свои исторические книги, а вот не успокоился, пришел, скорее всего, на его место… Какая уж тут любезность…

31 октября Дмитрий Алексеевич прибыл в Царское Село доложить императору о своем прибытии. Дежурный генерал, когда подошла очередь, пригласил его в царский кабинет.

– Ваше императорское величество, позвольте выразить вам свое глубочайшее соболезнование по случаю смерти вдовствующей императрицы Александры Федоровны, вашей матери, она была преданной Николаю Первому…

Александр Второй склонился в минутном молчании.

– Вы, генерал, представлялись военному министру? Как он встретил вас? Но это оставим на потом, а пока расскажите, как идут кавказские дела, что-то никак не успокоится князь Барятинский, опять что-то просит, а главное – ему не хватает средств…

– После того как мы взяли в плен Шамиля и его нукеров, перед нами развернулась широкая программа содружества с местным населением, ведь надо познать их быт, их нравы, их обычаи, не вмешиваясь в будничную жизнь, не вторгаясь со своими предложениями и не разрушая их вековой образ жизни, войти, как друзья, помогая им, вовлекая их в культурную жизнь России, а на все это нужны большие средства…

– Вы, Дмитрий Алексеевич, выступаете как адвокат кавказских дел, а вы уже товарищ военного министра, вы уже должны шире смотреть на военные дела России, у вас не только Кавказ, но и Дунай, Сибирь, вся Россия…

– Ваше императорское величество, князь очень просил оставить на Кавказе хотя бы 18-ю пехотную дивизию, хоть на некоторое время…

– Кавказ поглощает слишком много средств, а после Крымской войны мы никак не оправимся, нужна крайняя бережливость, – подчеркнул император.

– Но ведь кое-какие дела у нас там, на Кавказе, не закончены, лучше их сейчас закончить, лучше сейчас кое-что потратить и добиться цели – полного умиротворения края, чем, сокращая расходы, протянуть дело еще на многие годы и оставить без плодов сделанные уже затраты.

Прощаясь с императором, Милютин почувствовал, что император недоволен тем, что Кавказ еще требует расходов, вроде бы Шамиль побежден, восставшие разбиты, а Барятинский все требует и требует…

Всю дорогу до Петербурга Милютин думал о встрече с братом Николаем, который вот уже несколько лет был погружен в крестьянское дело, он писал письма, излагал кое-какие проблемы с с будущей отменой крепостного права, столько возникало вопросов, крупных, средних, мелких… Бывая здесь, в Петербурге, несколько командировочных дней, мотаясь по делам и решая разные проблемы, Милютин обратил внимание, что в общественной жизни появилось много нового, все что-то придумывали, старое рухнуло, отжило свой век, все кинулись что-то преобразовывать, стремились к чему-то новому, все прежнее ломали тут же, прежде чем обдумано новое. Возникало нечто хаотичное… Уже в 1857 году крестьянские волнения так напугали помещиков, что они не поехали летом в деревню, где чаще всего мирно проживали целыми семьями в уютных усадьбах. А потом, как только в ноябре 1857 года Александр Второй предписал генерал-губернатору В.И. Назимову, с которым Милютин виделся в Москве на университетских празднествах, образовать в своих губерниях комитеты представителей дворянства для того, чтобы определить свое отношение к реформе, какой ей быть, так сразу возник бурный поток различных предложений, коллективных записок, личных писем к императору, императрице, к великим князьям, которые тоже были склонны участвовать в реформаторской деятельности… Николай Алексеевич Милютин оказался в центре этой бурной деятельности по отмене крепостного права, возглавив самую радикальную группу участников борьбы за наиболее справедливое решение этого вопроса. Сначала составили записку о том, что делалось предшественниками императора Александра Второго, потом после обсуждения решили рассмотреть крестьянский вопрос в общем объеме и составить предварительные предложения. Выяснилось вскоре, что некоторые общественные деятели, профессора и писатели давно думают об этой отмене крепостного права крестьян, написали записки со своими предложениями, которые вызывают не только согласие с ними, но и откровенный спор по самым насущным вопросам… Члены Негласного комитета вроде бы изучили вопросы, но пришли к совершенно разным выводам. Написали записки лично императору, который пришел к выводу, что вопрос требует еще дополнительного изучения, тщательнейшей проработки, ведь столько толков, прямо разноречивых и противоположных, ходит вокруг этого вопроса. Нельзя спешить с этим… Как-то граф Киселев, дядя по матери, встретившись с Дмитрием Милютиным, рассказал ему о разговоре с императором в это время: «Крестьянский вопрос, – сказал император, – меня постоянно занимает. Надо довести его до конца. Я более, чем когда-либо, решился и никого не имею, кто помог бы мне в этом важном и неотложном деле». И сам же прокомментировал: «Вообще мне показалось, что государь совершенно решился продолжать дело освобождения крестьян, но его обременяют и докучают со всех сторон, представляя препятствия и опасения». Конечно, этот разговор с дядей Дмитрий Алексеевич передал Николаю, который работал товарищем министра внутренних дел графа Сергея Степановича Ланского, и он вместе с коллегами написал первую записку на имя императора «о постепенном стремлении к освобождению помещичьих крестьян». Император пошел по пути наименьшего сопротивления: он назначил комитет из старых служителей императорского двора – князь Орлов, граф Ланской, граф Адлерберг, граф Муравьев, граф Блудов, князь Долгоруков, князь Гагарин, барон Корф, генерал-адъютант Ростовцев… Что все они могли в то время? Они же сами владельцы крепостных душ, попробуй их отдели друг от друга… Это оказалось невозможно… Император тогда еще нашел способ продолжить это ответственное дело: назначил великого князя Константина Николаевича членом комитета, который хотя бы обозначил возможности движения по этому сложнейшему пути. Но в это время генерал-губернатор Назимов привез постановление дворянских представителей трех западных губерний – освободить крепостных крестьян, но без земли.

И началось… В первых же официальных бумагах от императора твердо говорилось о том, что отмена крепостного права в России – бесповоротно вопрос решенный, но как и каким образом – это дело дворянских собраний.

В Москве устроили торжественный обед по этому случаю, собрались ученые, писатели, промышленники, купцы. Катков, издатель журнала «Русский вестник», произнес приветственную речь в честь императора и его семьи, «Да почиет благословение Божие на царе нашем и на всех его начинаниях», в том же духе выступили Станкевич, Погодин, Бабст, Кокорев… Затем откликнулось нижегородское, московское дворянство, десятки, сотни писем хлынуло в Главный комитет по крестьянскому делу для рассмотрения постановлений и предположений о крепостном состоянии… Но император опять-таки в Главный комитет назначил яростных крепостников, которые просто тянули работу этого комитета, лишь великий князь Константин Николаевич да Николай Милютин работали честно, правдиво составляли записки о полном освобождении крестьян от крепостной зависимости, с землей, о повинностях и наделе, о полной их независимости от помещика… Вскоре комитет попал под начало ближайшего друга императора Якова Ивановича Ростовцева, управляющего всеми военно-учебными заведениями, генерал-адъютанта. Но и после этого прошло какое-то время прежде, чем Яков Иванович стал понимать, что хочет император… Хороший, добрый человек Яков Иванович, но в молодости совершил одну ошибку: будучи офицером гвардейского полка и членом Северного общества заговорщиков, выдал великому князю Николаю Павловичу чуть ли не весь состав общества да и в дальнейшем был очень чутким последователем императорской политики, скажут одно – сделает, скажут другое – тоже сделает… Хорошее качество для генерал-адъютанта, но здесь-то совсем другое – нужна своя собственная политика исследования вопроса. Вот почему он, как человек честный, убедил императора предоставить ему командировку в Германию, чтобы перенять опыт в решении этого сложнейшего государственного вопроса, а оттуда он писал императору письма со своими предложениями, сначала с одними, потом с другими, то писал письма охранительного, консервативного направления, то неуклонно шел к прогрессивному… Николай Алексеевич Милютин мало знал крестьянский быт и крестьянское хозяйство, но по уму и готовности к этому делу, по своим служебным и общественным связям вполне подходил к этой работе, да и ходатайство великой княгини Елены Павловны способствовало его назначению в члены комитета, а затем и председателем Хозяйственного отделения комитета. Да, Яков Иванович сделал свое дело, 6 февраля 1860 года скончался, оставив после себя записку с подведением итогов Редакционной комиссии прогрессивного направления… А потом назначен был продолжателем его дела граф Виктор Никитич Панин… И вот до чего же странный выбор императора в решении отмены крепостного права: Яков Иванович Ростовцев владел всего лишь сорока пятью душами, а граф Панин четырнадцатью тысячами душ… Но оба придворные, знающие мнение императора, сказавшего: «Если мы не отменим крепостное право сверху, то в ближайшее время возникнут такие условия, когда этот вопрос будет решен снизу… А это уже опасно…»