В какой уж раз за эти министерские годы Валуев подумал об отставке? Ничего не получалось у него с императором. Ни одно из его предложений не было принято, хотя император вроде бы соглашался с ним, предлагал на обсуждение то членов Государственного совета, то Главного комитета, то Совета министров, но каждый раз возникала полемика, продолжительные споры, а в итоге все его новаторские предложения ложились под сукно. Сколько записок он написал и вручил лично императору? Не счесть… Сколько потрачено времени зря, не лучше ли за это время написать стихи, которые то ли дело возникают в его голове, или написать что-либо прозаическое, сколько интересных появляется книг, как расцветает русская проза – Тургенев, Лев Толстой, Достоевский, Гончаров, который все время было занимается цензурой, вроде бы подчиняется ему, министру, а сам пишет романы, да еще какие… Но князь Гагарин, граф Муравьев, граф Панин, князь Долгоруков, а когда тот ушел в отставку, то появившийся на его месте появился граф Шувалов, военный министр Дмитрий Милютин, генерал Зеленый, все время стояли у него перед глазами, и каждый со своими резонами, каждый, выступая, опирался то на какой-нибудь императорский рескрипт, то давний закон, еще не отмененный, то просто нес какую-либо пустую тарабарщину, а все внимательно выслушивали и кивали… И соглашались или возражали – и так всегда за много лет…

Валуев вспомнил недавнее совещание у князя Гагарина, семидесятисемилетнего старика, на этом совещании обсуждался проект графа Панина, главноуправляющего Вторым отделением, проект, конечно, путаный и бестолковый, просидели три часа, пришли к выводу, что надо его отредактировать, сократить и перекроить, а главное – дополнить здравыми консервативными мыслями. А Валуев только что подготовил распоряжение о втором и третьем предупреждении «Московским ведомостям». Так что ничего и не получилось, граф Муравьев и генерал Зеленый горячо поддержали Каткова и «Московские ведомости», граф Панин решил отдать их в цензуру, а князь Гагарин предложил отменить закон о печати и придумать какой-нибудь манифест, воспрещающий всем и каждому говорить и писать об общественных делах. Нет, общее впечатление от этих заседаний безотрадное, генерал Зеленый – не муж Совета министров и вообще не министр, князь Гагарин и граф Панин – анахронизмы, а хуже всего то, что никто не заботится о благе России… А каков Федор Тютчев-то? На экстренном заседании Совета по печати Валуев сам председательствует и сразу объявил, что Совет созван для того, чтобы санкционировать легальными путями решение правительства закрыть «Московские ведомости». Все промолчали, кроме одного, Федора Тютчева, который тут же заявил, что ни с предложением министра, ни с решением Совета по печати он не может согласиться, встал и вышел из заседания, а дома тут же написал Валуеву просьбу об отставке. И как удивился Валуев, когда вслед за Тютчевым поднялся Иван Гончаров и сказал: «Федор Иванович, преклоняюсь перед вашей благородной решимостью и вполне вам сочувствую, но для меня служба – насущный хлеб старика». А ведь «старику», автору двух замечательных романов «Обыкновенная история» и «Обломов», всего-то на три года больше, чем ему самому. Чуть больше пятидесяти… И уже старик? «Но самое-то главное не в этом… Через несколько недель после нашего с императором решения о «Московских ведомостях» император принял Каткова в Москве и лично разрешил издавать «Московские ведомости», хоть и пришлось ему формально разрешить издание, но на деле выходит, что вопрос решен по предмету моего ведомства без меня и что решение состоялось не только по влиянию ее величества императрицы, но и при содействии министра народного просвещения графа Толстого, до которого дело прямо не относилось. Почему? Почему каждый может вмешиваться в мои дела? Император объяснил это очень просто: «Во-первых, на милость нет образца; я его простил. Во-вторых, мне принадлежит право миловать. Я сказал Каткову то и то. Я твою власть вполне поддержал…» Что можно сделать в этом случае? Ничего! Я вышел из кабинета недовольный всем, что повседневно видел, с тем фаталистическим настроением мысли, которое увольняет от всякой логики… А иногда бывало и так: сегодня закладка часовни, завтра похороны Муравьева, послезавтра казнь Каракозова… И собираются люди, участвуют в процедурах, видел лица задумчивые и множество лиц с выражением глазеющего тупоумия, видел лица царедворчески и нецаредворчески умиленные, и во всем этом есть что-то как бы надломанное… Страшно то, что наше правительство не опирается ни на одно нравственное начало и не действует ни одною нравственною силою. Уважение к свободе совести, к личной свободе, к праву собственности, к чувству приличий нам совершенно чуждо. Мы только проповедуем нравственные темы, которые считаем для себя полезными, но нисколько не стесняемся отступать от них на деле, коль скоро признаем это сколько-нибудь выгодным, как император поступил с Катковым, только он может миловать, вот и помиловал… Мы – смесь Тохтамышей с герцогами Альба, Иеремией Бентамом. Мы должны внушать чувство отвращения к нам всей Европе. И мы толкуем о величии России и о православии! Кто в нашем правительстве может действительно считаться профессональным министром? Может быть, только военный министр Дмитрий Милютин? Столько задумал преобразований, но одному ему не справиться…»

Валуев еще раз хотел обратиться с просьбой к императору об отставке, но тут пришли плохие новости из нескольких губерний о наступающем голоде. Неурожай поразил многие губернии, Смоленская, Новгородская и другие губернии докладывали о голоде, приходили невеселые вести к императору, посыпались бедственные сообщения о неурожае и в Министерство внутренних дел, поступали известия в газеты и журналы, но Валуев мало на них обращал внимания, только недоумевающе улыбался и говорил, что все это раздутые крики тревоги и никакой угрозы голода он не чувствует. Но общество почувствовало настоящую тревогу. Козлов, адъютант цесаревича, доложил ему, что России грозит большая беда. Цесаревич Александр предложил организовать благотворительный фонд в пользу голодающих. Дела закрутились так, что Валуеву ни о какой отставке и думать не приходилось…

23 января 1868 года Валуев получил рескрипт императора и императрицы по созданию временной комиссии по борьбе с голодом, адресованный цесаревичу: «Поручая Вашему Императорскому Высочеству почетное председательство в оной, нам отрадно видеть в искренности и теплоте принимаемого вами сердечного в этом деле участия залог успешного достижения предполагаемой благотворительной цели».

В Аничковом дворце, где господствовал цесаревич, начал свою работу благотворительный фонд. Князь Мещерский в «Русском инвалиде» написал воззвание к русскому населению оказывать помощь голодающим. Цесаревич пригласил председателя губернской земской управы Качалова стать его помощником по устройству всех этих хозяйственных дел. К временной комиссии был назначен и генерал-адъютант Зиновьев, а главное – череповецкий купец Милютин, хорошо знакомый с хлебной торговлей.

Вскоре был выработан план закупок хлеба – дарового хлеба не бывает, так надо и крестьянам объяснить, мы закупаем хлеб, временно помогаем вам хлебом, а вы в дальнейшем своей работой оплачиваете этот хлеб, а продаем мы этот хлеб по обычной торговой цене. Но как это сделать, чтобы не взвинтить цены на хлеб, вновь не попасть в руки спекулянтов? В строжайшей тайне Качалов и Милютин скупали хлеб в огромных количествах, получив от государства миллион рублей (цесаревич сам поехал к императору и выпросил этот миллион с тем, чтобы осенью этот миллион отдать в казну). Череповецкий купец Милютин и совершил все эти покупки, и только спустя какое-то время богатые хлеботорговцы поняли суть дела.