За три недели до оставления старой русской столицы Ермолов предвидел такую возможность и убеждал царя: «Москва не далека, драться надобно! Россиянин каждый умереть умеет!.. Если никто уже в случае поражения армии не приспеет к защите Москвы, с падением столицы не разрушаются все государственные способы. Не всё Москва в себе заключает! Есть средства неисчерпаемые, есть способы всё обратить на гибель врагов Отечества нашего, завиствующих могуществу и славе нашего народа».

На Бородинском поле Алексей Петрович фактически выполнял обязанности начальника штаба главнокомандующего. В один из моментов сражения Кутузов послал его на левый фланг русской армии, чтобы заменить раненого Багратиона. Но, проезжая мимо Курганной высоты, Ермолов увидел, что она взята французами и центр русской позиции вот-вот рухнет. Собрав отступавших, Алексей Петрович повёл их в штыковую атаку. О её результате Барклай де Толли докладывал Кутузову следующее: «Начальник главного штаба генерал-майор Ермолов с свойственною ему решительностью, взяв один только 3-й батальон Уфимского полка, остановил бегущих и толпою в образе колонны ударил в штыки. Неприятель защищался жестоко: батареи его делали страшное опустошение, но ничто не устояло. 3-й батальон Уфимского полка и 18-й егерский полк бросились прямо на батарею, 19-й и 40-й егерские — по левую сторону оной, и в четверть часа наказана дерзость неприятеля. Батарея во власти нашей, вся высота и поле оной покрыты телами… Бригадный генерал Бонами был один из снискавших пощаду, а неприятель преследован был гораздо далее батареи. Генерал-майор Ермолов удержал оную с малыми силами до прибытия 24-й дивизии, которой я велел сменить расстроенную неприятельской атакой 26-ю дивизию».

А. П. Ермолов

По словам одного из участников сражения, «это была скорее бойня, нежели бой, дрались только холодным оружием». Блестящая атака Курганной высоты вернула русским этот важнейший пункт, дала возможность восстановить положение в центре и выиграть время для подхода подкреплений как к Курганной высоте, так и к Семёновским флешам. Военный деятель Н. Н. Муравьёв-Карсский говорил, что «сим подвигом Ермолов спас всю армию».

Барклай де Толли просил главнокомандующего удостоить Алексея Петровича ордена Святого Георгия 2-го класса. Но эта награда была пожалована самому командующему 1-й армией, поэтому Ермолов получил лишь знаки Святой Анны I степени.

В последние дни Отечественной войны Алексей Петрович был назначен начальником артиллерии русской армии. В заграничном походе 1813 года он прославился в сражении под Кульмом. После ранения А. И. Остермана-Толстого, командовавшего отдельным корпусом, Ермолов заменил его и одержал блестящую победу, которая решила исход всей кампании. За это сражение Остерман-Толстой был награждён орденом Святого Георгия 2-го класса, что считал не совсем справедливым и говорил:

— Этот орден должен был принадлежать не мне, а Ермолову, который принимал важное участие в битве и окончил её с такою славой.

При вступлении в Париж царь остался недоволен выправкой солдат одного из полков и приказал посадить трёх штаб-офицеров на гауптвахту, занятую в тот день англичанами. Это возмутило Ермолова, который говорил, что если офицеры заслужили наказание, то их приличнее арестовать в собственных казармах, а не срамить в глазах чужеземцев.

— Таким образом, — говорил он, — нельзя приобрести любви и расположения войск.

Недовольный Александр повторил приказ. Ермолов ослушался и уехал в театр; встретив там великого князя Николая Павловича, сказал ему:

— Я имел несчастье подвергнуться гневу его величества. Государь властен посадить нас в крепость, сослать в Сибирь, но он не должен ронять храбрую армию в глазах чужестранцев. Гренадеры прибыли сюда не для парадов, но для спасения Отечества и Европы.

Царю, конечно, доложили об упрямстве Ермолова, и он отступил: приказал держать арестованных офицеров в трёх комнатах Елисейского дворца, своей временной резиденции.

В 1815 году Ермолов получил пост командующего отдельным Грузинским (позднее Кавказским) корпусом и одновременно чрезвычайного и полномочного посла в Иране. В то время, когда в Центральной России процветали муштра солдат и наказание их палками, Алексей Петрович запретил изнурять войска фронтовыми учениями. Он разрешил носить полушубки вместо шинелей и папахи вместо киверов, а вместо громоздких ранцев — холщовые мешки; деятельно занимался устройством госпиталей и учебных учреждений. При нём начались систематические работы по прокладке в крае дорог.

Подчинённые любили Ермолова. Он был строг, но никогда не позволял себе хамства и грубостей. «Я люблю видеть сего Ахилла в гневе, — говорил генерал Марин, — из уст которого никогда не вырывается ничего оскорбительного для провинившегося».

Деяния Ермолова на Кавказе отмечал А. С. Пушкин. 24 сентября 1820 года он писал брату Льву: «Кавказский край, знойная граница Азии, любопытен во всех отношениях. Ермолов наполнил его своим именем и благотворным гением. Дикие черкесы напуганы: древняя дерзость их исчезает. Дороги становятся час от часу безопаснее, многочисленные конвои — излишними. Должно надеяться, что эта завоёванная сторона скоро сблизит нас с персиянами безопасною торговлею, не будет нам преградою в будущих войнах».

В эпилоге поэмы «Кавказский пленник», перечисляя завоевателей этого края, Александр Сергеевич упомянул и Ермолова:

Впервые грянул битвы гром

И грохот русских барабанов,

И в сече, с дерзостным челом,

Явился пылкий Цицианов;

Тебя я воспою, герой,

О Котляревский, бич Кавказа!

Куда ни мчался ты грозой —

Твой ход, как чёрная зараза,

Губил, ничтожил племена…

Ты днесь покинул саблю мести,

Тебя не радует война;

Скучая миром, в язвах чести,

Вкушаешь праздный ты покой

И тишину домашних долов…

Но се — Восток подъемлет вой!..

Поникни снежною главой,

Смирись, Кавказ: идёт Ермолов! (4, 130)

Персидская война на Кавказе сменилась Русско-турецкой (1828–1829), но завершить её Алексею Петровичу не пришлось. После восстания декабристов его отстранили от командования Кавказским корпусом, так как была обнаружена его связь с «мятежниками»: государственными преступниками оказались бывшие адъютанты генерала — Павел Граббе, Михаил Фонвизин и ряд других офицеров. В протоколах Следственного комитета по делу декабристов появилась следующая запись: «Генералу Ермолову хотя неизвестно существование тайного общества, но он покровительствовал оному посредством приближённых лиц, которые суть члены того общества».

25 ноября 1827 года Алексей Петрович был уволен в отставку «по домашним обстоятельствам» с мундиром и пенсионом полного жалованья.

Удаление с Кавказа военачальника, едва достигшего пятидесяти лет и бывшего в полном расцвете своих способностей, произвело неприятное впечатление на русское общество, в котором он был популярен. Даже осторожный И. А. Крылов отозвался на это событие баснями «Конь» и «Булат». В первой из них говорится о прекрасном испытанном в боях коне, который достался: