Помилован и возвращен из Костромы Ермолов был уже Александром I в 1801 году. Впоследствии Алексей Петрович признается, что арест и ссылка пошли ему на пользу: «С моею бурною, кипучею натурой вряд ли мне удалось бы совладать с собой, если бы в ранней молодости мне не был бы дан жестокий урок. Во время моего заключения, когда я слышал над своей головой плескавшиеся невские волны, я научился размышлять». Но если в жизни он демонстративно подчеркивал свою лояльность режиму и незаинтересованность в политической карьере, если в нем и появились известная скрытность, осторожность и умение лавировать, то на характере его юмора сие никак не отразилось. Вот что сказал об этом Н.С. Лесков: «Начальство не любило Ермолова за независимый, гордый характер, за резкость, с которою он высказывал свои мнения; чем выше было лицо, с которым приходилось иметь дело Ермолову, тем сношения с ним были резче, а колкости ядовитее». А великий князь Константин Павлович бросил: «Он очень остёр, и весьма часто до дерзости».

Получив в командование конно-артиллерийскую роту в Вильне, Алексей Петрович надерзил самому всесильному графу А.А. Аракчееву, бывшему тогда генерал-инспектором всей артиллерии. При проверке роты тот измучил солдат и офицеров бесконечными придирками, когда же в конце выразил удовлетворение содержанием в роте лошадей, Ермолов парировал: «Жаль, ваше сиятельство, то в армии репутация офицеров часто зависит от скотов». Временщик долго не мог простить остряку-подполковнику такого сарказма и всячески препятствовал его дальнейшему карьерному росту. «Мне остается, – говорил тогда Ермолов, – или выйти в отставку, или ожидать войны, чтобы с конца своей шпаги добыть себе все мною потерянное». Забегая вперед, скажем, что Аракчеев со временем смирится с дерзостью обидчика и даже начнет покровительствовать ему. И виной тому выдающийся военный талант Ермолова, не воздать должное коему было уже просто невозможно. Граф будет потом откровенно льстить нашему герою: «Когда вы будете произведены в фельдмаршалы, не откажитесь принять меня в начальники главного штаба вашего». Отношение же Алексея Петровича к Аракчееву ничуть не переменилось в лучшую сторону. В павловское царствование он звал Аракчеева «Бутов клоп», в александровское – «Змей, что на Литейной живет». Но более всего досталось руководимым Аракчеевым военным поселениям с их жесткой регламентацией жизни, муштрой и палочной дисциплиной. Ермолов говорил, что там «плети все решают», и извещал своего друга, графа А.А. Закревского, что если подобное замыслят на Кавказе, то пусть вместе с приказом посылают ему увольнение. «Мои поселения на Кавказе гораздо лучше Ваших, – пояснял он в письме, – моим придется разводить виноград и сарачинское пшено, а на долю Ваших придется разведение клюквы». Интересно, что слова «клюква» и «развесистая клюква» как имя нарицательное для всякого рода нелепости и чепухи приписывается Б.Ф. Гейеру (сатирическая пьеса «Любовь русского казака») и датируется 1910 годом. Но не в таком же ли значении употребил здесь это слово Ермолов? Но надо сказать, Алексей Петрович отнюдь не отличался злопамятством: когда Аракчеев был уже низвержен, он принял живое участие в судьбе его сына, сосланного Николаем I на Кавказ за беспробудное пьянство…

«Господствующей страстью была служба, и я не мог не знать, что только ею одною могу достигнуть средств несколько приятного существования», – скажет Ермолов. Истый патриот, он находил упоение в боях за свое Отечество. В 1805 году, с началом Русско-австро-французской войны, рота Ермолова вошла в состав армии М.И. Кутузова и заслужила высокую оценку своими действиями в кампании. За мужество и распорядительность в баталии под Аустерлицем Алексей Петрович получил чин полковника. В Русско-прусско-французской войне 1806−1807 годов он проявил себя доблестным артиллерийским командиром, отличившись в сражениях под Голымином, Морунгеном, Гугштадтом. В бою же под Прейсиш-Эйлау Ермолов отослал лошадей и передки орудий в тыл, заявив солдатам, что «об отступлении и помышлять не должно». Под Гейльсбергом в ответ на замечание, что французы близко и пора открывать огонь, ответил: «Я буду стрелять, когда различу белокурых от черноволосых». В сражении под Фридландом он, проявляя чудеса храбрости, устремлялся в самое пекло битвы. За подвиги он был награжден тремя орденами и золотой шпагой. В 1809 году Алексей Петрович получает чин генерал-майора и назначение инспектором конно-артиллерийских рот.

Но в 1811 году его перевели в Петербург командиром гвардейской артиллерийской бригады. Ермолов службу в гвардии называл «парадной» и не очень ее жаловал. Случилось так, что накануне нового назначения наш герой сломал руку, и это дало ему повод для иронии: «Я стал сберегать руку, принадлежащую гвардии. До того менее я заботился об армейской голове моей». Рассказывают, как на смотре он как бы ненароком ронял перед фронтом платок, а солдаты в нелепо узких мундирах с превеликим трудом тщились нагнуться и поднять его. Сим своеобразным способом он показывал августейшему начальству непригодность такой амуниции в условиях войны, недопустимость парадомании и показухи.

В военных Ермолова более всего раздражали отсутствие самостоятельной мысли, творческой инициативы, слепое исполнение приказов вышестоящих. Однажды Александр I спросил об одном генерале: «Каков он в сражениях?» – «Застенчив!» – ответил Ермолов. В другой раз говорили о военном, который не в точности исполнил приказание и этим повредил делу. «Помилуйте, я хорошо его знал, – возразил Алексей Петрович. – Да он, при отменной храбрости, был такой человек, что приснись ему во сне, что он чем-нибудь ослушался начальства, он тут же во сне с испуга бы и умер». Тупого аккуратиста, флигель-адъютанта Л. фон Вольцогена он прозвал «вольгецогеном» (нем.: «хорошо воспитанный») и «тяжелым немецким педантом».

Вообще его отношение к иностранцам заслуживает отдельного разговора. Ермолов, по его словам, «сроднился с толпой», а потому знал: «Если успехи не довольно решительны, не совсем согласны с ожиданием, первое свойство, которое приписывает русский солдат начальнику иноземцу, есть измена, и он не избегает недоверчивости, негодования и самой ненависти». В то же время он видел, что «властитель слабый и лукавый» Александр I буквально окружил себя немцами, которых возвел на самые высокие должности. И Алексей Петрович, похоже, полемизирует с царем, когда в своих «Записках» порицает «доверенность, которой весьма легко предаемся мы в отношении к иноземцам, готовы будучи почитать способности их всегда превосходными». А однажды, когда император спросил Алексея Петровича о желаемой награде, тот невозмутимо ответил: «Произведите меня в немцы, государь!» Подобное настроение найдет потом выражение в стихотворении П.А. Вяземского «Русский бог»:

Рассказывают, что как-то Ермолов ездил на главную квартиру Барклая-де-Толли, где правителем канцелярии был некто Безродный. «Ну что, каково там?» – спрашивали его по возвращении. «Плохо, – отвечал Алексей Петрович, – все немцы, чисто немцы. Я нашел там одного русского, да и тот Безродный». А вот поступок просто вызывающий. Ермолов явился в штаб Витгенштейна. Толпа генералов окружала главнокомандующего: Блюхер, Берг, Йорк, Клейст, Клюкс, Цайс, Винценгенроде, Сакен, Мантейфель, Корф. Немцы на русской службе громко галдели на голштинском, швабском, берлинском и прочих диалектах. Ермолов вышел на середину зала и зычно спросил: «Господа! Здесь кто-нибудь говорит по-русски?» Но русскость для Ермолова вовсе не определялась химическим составом крови. Для него это понятие не этническое, а скорее культурное. Он благоговел, например, перед своим наставником по Благородному пансиону профессором-немцем И.А. Геймом – автором трудов по истории отечественной науки и просвещения и русско-немецко-французских словарей. А другого немца, но славянофила по убеждению Вильгельма Карловича Кюхельбекера он настоятельно предлагает переименовать в Василия Карповича Хлебопекаря. По его мнению, так складнее, а не то противоречие получается!