В Закавказье вторглись персы, заняли Ленкорань и Карабах и шли к Тифлису, и Паскевич отправился на Кавказский фронт. Главнокомандующим Кавказским корпусом был давний недоброжелатель Паскевича Ермолов. Александр I Ермолова не любил, но не за его «революционные» взгляды, а «за самоуправные поступки, за то, что войска были распущены, в дурном состоянии, без дисциплины, и за то, что в корпусе воровство было необыкновенное; люди не удовлетворены за несколько лет, во всем нуждались, материальная часть находилась вся в запущении».

По приказу Николая I Паскевичу поручалось командование войсками, но под главным начальством Ермолова. Такое неестественное положение не могло не породить между ними столкновений. Одно спасение – служить и воевать! 14 сентября произошло сражение под Елисаветполем, в котором персы были совершенно разбиты. Паскевич награждается золотой шпагой с бриллиантами с надписью «За поражение персиян при Елисаветполе».

Ермолов не решался вторгнуться в Эриванское ханство, как предлагал Паскевич, и за неимением достаточного продовольствия занялся изгнанием мятежных ханов из Ширванской и Кубинской областей, а войско Паскевича сумело перейти вброд р. Аракс и возвратило около 600 семейств, угнанных персами.

Отношения между Ермоловым и Паскевичем обострились до полной невозможности совместного служения. Каждый из них составил и послал в Главный штаб свои предложения о предстоящей кампании. Вскоре в Тифлисе было получено высочайшее согласие на план кампании, представленный Ермоловым. В Тифлис прибыл Дибич, «уполномоченный действовать, как обстоятельства потребуют». Дибич, согласно высочайшей инструкции, имел полномочия на устранение Ермолова от управления краем и от командования кавказскими войсками. Но Дибич принял сторону Ермолова. По мнению Дибича, Паскевич слишком доверчив, вовсе не знаком с гражданским управлением края; удачные же его военные действия не давали права предполагать в нем способности стать во главе армии. Вместе с тем Дибич представил государю составленный вместе с Ермоловым план военных действий, по которому предполагалось занять Эриванскую область с ее крепостями и Нахичевань, направляясь двумя дорогами: Талышинской и чрез Вашабарань. Паскевич в составлении этого плана не участвовал. Но, несмотря на все донесения Дибича, государь 28 марта 1827 г. назначил Паскевича командовать отдельным Кавказским корпусом и управлять Кавказским краем.

Паскевич перешел р. Аракс, занял Нахичевань и, обложив защищавшую этот город крепость Аббас-Абад, разбил при Джеван-Булане персов, спешивших на выручку крепости, которой Паскевич и овладел, за что 7 июля 1827 г. награжден орденом Св. Владимира I степени.

Двинувшись после этого к Эривани, Паскевич овладел крепостью Сардарь-Абад, находившейся на его пути, перешел реку Зангу и 5 октября после упорной обороны овладел Эриванью, за что удостоился получить орден Св. Георгия II степени. Таким образом, две богатейшие области Закавказья были покорены в три месяца. Известие о покорении Эривани подействовало удручающе на персов: они не решались защищаться и сдавались русским войскам при одном их приближении.

11 октября 1827 г. Паскевич овладел Тавризом, со взятием этого города заняли и весь Иранский Азербайджан. В 1828 г. были заняты Урмия, Мараги и Ардебиль. Паскевич 7 января двинулся к Тегерану и навел этим такой ужас на персидский двор, что им были высланы уполномоченные с полным согласием на все мирные предложения. 10 февраля 1828 г. в деревне Туркманчае заключен мир с Персией, по которому Персия уступала России ханства Эриванское и Нахичеванское и обязывалась уплатить 20 млн руб. военной контрибуции. За это Паскевича возвели в графское достоинство с именованием Эриванского и он получил из контрибуции 1 млн руб. ассигнациями.

Вскоре началась война с Турцией. По общему плану военных действий Паскевич для отвлечения сил турок от главного театра войны на Балканском полуострове должен был напасть на азиатские их владения. Лично командуя войсками, он выступил 14 июня 1828 г. из Гумров к Карсу, под стенами его разбил турецкую кавалерию и затем, осадив эту крепость (цитадель), принудил ее сдаться. После штурма в войсках началась чума, прекращенная быстрыми и энергичными распоряжениями Паскевича, который, совершив трудный переход чрез высокий Чатырдагский хребет, подошел к крепости Ахалкалаки и взял ее штурмом 23 июля, после чего сдалась и близлежащая крепость Хертвис. Тем временем другим отрядом войск была взята крепость Поти. Паскевич, удостоенный лестного рескрипта государя и назначенный шефом Ширванского пехотного полка, двинулся от Ахалкалаки к крепости Ахалцых и, разбив многочисленную турецкую кавалерию, пришедшую ей на помощь, начал ее осаду. В это время подошла турецкая армия в 30 000 человек и стала в укрепленной позиции в трех верстах от города. После упорного сражения, продолжавшегося целый день, 9 августа эта армию турок разбили, а затем 15 августа начали штурм Ахалцыха, который сдался. Паскевича наградили орденом Св. Андрея Первозванного, а Ширванский пехотный полк назвали его именем. Пользуясь ужасом, наведенным на турок, Паскевич занял крепости Ацхур, Ардаган, Баязет и Диадин и направил часть войска для отдыха в Грузию. Назначенный новый турецкий главнокомандующий Салех-Паша Мандайский в феврале 1829 г. решился отнять Ахалцых, а потому, обложив его, неоднократно штурмовал эту крепость. Паскевич послал Бурцова и Муравьева с отрядами освободить Ахалцых, что и было ими исполнено, а сам, ввиду значительных приготовлений турок к новой кампании, стал между Карсом и Ардаганом, чтобы действовать по усмотрению прямо на Эрзерум. Турки же сосредоточивались на Саганлугском хребте, через который идет дорога из Карса в Эрзерум. После незначительных стычек 20 июля Паскевич овладел лагерем турок и совершенно рассеял их войска, 25 июля подошел к Эрзеруму – столице Анатолии, и потребовал ее сдачи. Несогласие на это турок заставило Паскевича овладеть укрепленной высотой Топ-Даг, после чего Эрзерум сдался. Паскевич, только что награжденный алмазными знаками ордена Св. Андрея Первозванного за поражение турок, за покорение Эрзерума был пожалован орденом Св. Георгия I степени.

Тем временем горные племена лазов покусились вытеснить наши войска из крепости Байбурта. Паскевич лично двинулся против них и рассеял их совершенно. После этого он делал небольшие экспедиции в разные стороны от Эрзерума для изгнания неприятельских отрядов. В день заключения Андрианопольского мира (22 сентября 1829 г.) на пожалованного в звание генерал-фельдмаршала Паскевича высочайше возложили покорение горских народов, населявших Кавказские горы.

Он начал действия против лезгин в 1830 г., принудил их дать присягу на подданство и заложил крепость при Закатальском ущелье. Направившись затем на северную сторону Кавказа, он постепенно теснил горцев за Кубанью, возводил укрепления в земле шапсугов и абазехов, овладел тесниной Гагры, занял Соук-су и Пицундскую бухту, а затем переправился на левый берег Кубани, ниже Екатеринодара, где рассеял шапсугов.

Паскевич обращал особенное внимание на нужды края и на благосостояние жителей; он заботился о приведении в известность казенного имущества всякого рода, исправлении всех укреплений, искоренении по возможности всех вопиющих злоупотреблений в сферах суда и администрации в этом отдаленном крае. Он составил положение об управлении армяно-грегорианской церковью, о преобразовании благородного училища в Тифлисе в гимназию. По его представлению там же учреждены Институт благородных девиц, Тифлисская публичная библиотека и газета «Тифлисские ведомости». В его же управление окончательно присоединена к Российской империи в 1828 г. Гурия. Климат Кавказа неблагоприятно влиял на здоровье Паскевича, в конце 1830 г. он занемог и просил государя вызвать его с Кавказа.