Правда, не все дети лорда Дерби были таковы. Его единственная дочь Эмма решила выйти замуж за брата графа Шрусбери У. Толбота, который происходил из знатного рода и одно время был личным секретарём Дерби. Этот брак вызвал резкий протест со стороны отца невесты, поскольку будущий муж наделал много долгов и был несостоятельным должником. Он даже запретил в своей семье говорить на эту тему, но всё же смягчился и вручил дочери чек на пять тысяч фунтов. Ещё более он успокоился, когда понял, что его действия не вызывают особого осуждения в свете. Младший сын Фредерик собирался жениться на дочери графа Кларендона, но она вышла замуж за священника. В конце концов он женился на другой дочери графа, Констанс. Их сын 17 граф Дерби играл важную роль в начале XX века, был личным другом короля Георга V.

В 1858 году возник очередной правительственный кризис. Лорд Палмерстон, желая угодить французскому императору, хотел провести закон о возможности высылки эмигрантов из страны, если они подозреваются в заговоре против главы иностранного государства. Это вызвало бурные протесты. Тори и радикалы объединились, и премьер-министр обвинил, по всей видимости, безосновательно, лорда Дерби в происках и интригах, следствием которых и стало его, Палмерстона, падение. Об этом он без обиняков написал королеве. Виктория вновь послала за Дерби. Он явился во дворец и сказал, что едва ли сможет сформировать правительство, так как две трети палаты общин против него. Однако королева настаивала, и он согласился. Покидал дворец со смешанным чувством. С одной стороны, ему было приятно, не мог он и не осознавать, что его партия, долгое время пребывавшая в оппозиции, будет деморализована в еще большей степени, если не получит хоть малую толику плодов победы над Палмерстоном, в которой она сыграла немалую роль. С другой стороны, он хотел быть реальным, а не номинальным главой министерства, чтобы там не говорили, поэтому козни Палмерстона смущали его — в условиях отсутствия большинства в нижней палате шансы на долгое премьерство были более, чем призрачными. Второй кабинет просуществовал более полутора лет и был лучше подготовлен в профессиональном смысле. На его долю выпало решение индийского вопроса. В этой стране вспыхнуло восстание сипаев, которое удалось ликвидировать с большим трудом. Кабинет Дерби провёл акт об управлении Индией, по которому Ост-Индская компания ликвидировалась и страна переходила под непосредственное управление британской короны. Эти меры содействовали улучшению руководством крупнейшей колонии Англии. Впоследствии Индия не знала таких злоупотреблений и такого восстания.

По инициативе Дизраэли и лорда Стэнли был предложен проект новой парламентской реформы, который снижал имущественный ценз и несколько расширял круг избирателей, особенно в сельской местности. Дерби не был готов к этой уступке демократии, но сказал, что лучше её все же провести, о чём и сообщил в палате лордов. Он только советовал своему коллеге Дизраэли и своему сыну быть осторожнее, постараться убрать «все несовершенства и дефекты»[102]. Либералы не могли отвергнуть проект, который был одним из главных их лозунгов. Один из их лидеров, Герберт, писал, что если Дерби выступит с идеей всеобщего избирательного права, то тогда Палмерстон и Рассел будут отстаивать избирательное право для детей и женщин[103]. Поэтому они пошли по другому пути. Закон просто заболтали. Затем прошли досрочные выборы, на которых тори не получили большинства и вскоре были вынуждены пересесть на скамьи оппозиции — правительство потерпело поражение при голосовании программной речи большинством всего 13 членов парламента. На прощальной аудиенции у королевы граф Дерби получил высший орден и выхлопотал для своего заместителя Дизраэли пенсию, поскольку он сильно нуждался в деньгах, а королева в то время ещё недолюбливала «этого выскочку».

Первая половина 1860-х годы были «эрой Палмерстона», когда он практически безраздельно управлял страной имея не только прочное большинство и широкую поддержку общественного мнения. Лорд Дерби оценивал шансы возвращения к власти как очень невысокие. Он считал, что едва ли это возможно, пока жив нынешний премьер-министр, а прожить он может ещё долго. Так, он писал в 24 февраля 1865 года королеве: «Чисто консервативное правительство ныне невозможно, во всяком случае до смерти Палмерстона — сам он никогда не уйдёт в отставку»[104]. Здоровье самого лидера тори, напротив, внушало опасения. Приступы подагры стали всё более частыми и осложнялись другими болезнями. Один из его врачей писал, что лорд Дерби болел так часто, что мог быть назван инвалидом. Некоторые приступы подагры длились до двадцати четырёх часов. Он всерьёз подумывал об уходе из политики и всё больше передавал управление партией в руки своего верного заместителя. Он занимался литературой и благотворительностью. Следствием Гражданской войны в США стало сокращение поставок хлопка в Англию, что привело к росту безработицы и нищеты. Исследование этого вопроса самим графом и его сыном повергли их в ужас. Дерби признавался, что эмоционально очень потрясён. По инициативе Дерби было создано более 140 комитетов помощи бедным и Центральный фонд, сам он пожертвовал колоссальную по тем времена сумму — 12 тысяч фунтов. Он считал нужным посвящать этому делу хотя бы один день в неделю. Вместе с тем, Дерби был убеждён, что эта помощь должна исходить из частных рук, а не от государства. «Необходимо убедить богатых думать об их обязанностях пред бедными, — говорил он в речи в 1863 году, — это должно показать бедным, что богатые не забыли о них совсем»[105].

В те же годы он занимается своими любимыми античными классиками. В 1864 году Дерби перевел на английский язык белым стихом «Илиаду», которая имела хорошие отзывы. «Таймс» опубликовала благожелательную рецензию. Первое издание было раскуплено в течение недели, всего перевод выдержал 9 английских и 5 американских изданий. Булвер-Литтон отметил точность передачи значений греческих слов и звучность Гомерова стиля. Он писал, что прочёл перевод с восхищением. Его рецензия была одной из самых восторженных[106]. Перевод был отмечен в Оксфордском университете особой наградой.

Поскольку сам автор являлся канцлером университета — должность номинального главы пожизненна и очень почётна, — признание заслуг со стороны коллег доставило ему удовольствие. Дерби чрезвычайно гордился этими достижениями, хотя его перевод не стал классическим и общеупотребительным. Как канцлер университета он смог добиться почётной степени для Дизраэли. Можно отметить, что существовавшие между ними разногласия были давно преодолены, и он готовил свою партию к тому, что лидер тори в палате общин будет его преемником в качестве лидера всей партии, хотя многие хотели бы видеть в этой роли сына