При увольнении Ермолова от службы ему было назначено около 14 тысяч рублей бумажками пенсиона; графиня Анна Алексеевна Орлова-Чесменская, узнав о том, сказала, что она почла бы себя счастливою, если бы Ермолов взял в свое распоряжение одно из ее богатых поместий. Так как все вообще пенсионы были значительно увеличены, то Ермолову, ничего не получавшему от отца своего, было еще прибавлено, вследствие ходатайства графа Дибича, около 14 тысяч рублей бумажками.

Прибыв в Москву, Ермолов посетил во фраке Дворянское собрание; приезд этого генерала, столь несправедливо и безрассудно удаленного со служебного поприща, произвел необыкновенное впечатление на публику; многие дамы и кавалеры вскочили на стулья и столы, чтобы лучше рассмотреть Ермолова, который остановился в смущении у входа в залу. Жандармские власти тотчас донесли в Петербург, будто Ермолов, остановившись насупротив портрета государя, грозно посмотрел на него!!!

Сестра его, Анна Петровна, вышла замуж за некоего А.А. Павлова, вполне замечательного по своему уму и вполне презренного по свойствам души. Хотя Ермолов на основании духовной отца своего обязан был выделить сестре своей лишь */ часть имения, но, имея намерение дать ей гораздо большую часть, он поручил одному из своих приятелей заняться разделом. Медленность, с которой этот раздел совершался, внушила Павлову мысль, воспользовавшись известным неблаговолением государя к Ермолову, подать прошение его величеству с приложением нескольких писем Ермолова, писанных им когда-то в либеральном духе. Хотя последовал указ о принуждении Ермолова ускорить раздел, но он, в справедливом негодовании на презренный поступок своего зятя и сестры, объявил, что никакая сила не заставит его выделить часть, большую того, что было ей назначено покойным их родителем. Ермолов получил в наследство около 280 тысяч рублей бумажками.

Ермолов имел сначала намерение воспитать своих сыновей за границею, но вследствие вновь появившегося в 1834 году указа и настояния великого князя Михаила Павловича он поместил их в артиллерийское училище.

На одном бале у князя Дмитрия Владимировича Голицына государь имел с Ермоловым следующий разговор:

Г. Как хороша Скрыпицына! Как стройна!

Е. Да, государь, она как стебель лилии.

Г. О! Да ты поэт, как брат твой Денис. Как жаль, что этот человек служит урывками! С его средствами и дарованиями, чем бы он не был! Писал ли ты когда-нибудь стихи?

Е. Никогда, государь, не мог прибрать ни одной рифмы и ни с одним стихом не умел сладить.

Г. А Денис пишет ли стихи?

Е. Редко теперь – он занимается серьозными сочинениями.

Г. Я этого не знал; может быть, урывками, так же, как служит?

Е. Нет, государь, весьма постоянно, можно сказать, как трудолюбивейший комментатор.

Г. К чему он не способен когда захочет, с его способностями и дарованием? Он, однако, прежде писал неприличные стихи.

Е. Правда, государь; быв гусаром, он славил и пил вино и оттого прослыл пьяницею, а он такой же пьяница, как я.

Г. Это я знаю; жаль, что он урывками служит. Он был бы полезен и для всех и для себя и пошел бы далеко.