Другой характерной для Византии составляющей идеи священной войны были религиозные изображения. Иконы играли в жизни империи все более заметную роль, и теперь Ираклий использовал их и для целей ведения войны. Уже в 610 году, когда он отплывал из Карфагена, направляясь в Константинополь, чтобы свергнуть Фоку, на носу его корабля была икона Богородицы. Теперь же, готовясь выступить против персов, он взял с собой на битву икону Спасителя, якобы не рукотворную, а обретенную чудесным образом. Видимо, это был образ Христа из Камулианы, привезенный в Константинополь в 574 году. Тут Ираклий и Церковь действовали сообща. Когда ситуация стала критической, патриарх Сергий распорядился, чтобы на всех воротах в стенах Константинополя было сделано изображение Богородицы с младенцем на руках. Вероятно, списаны эти образы были с иконы «Одигитрия» («Указующая Путь»), названной так потому, что на ней Богоматерь указывает на путь спасения, а именно на Иисуса. Считалось, что икона была написана евангелистом Лукой и что это реальный прижизненный портрет Богородицы и Иисуса. По преданию икона была привезена из Палестины в Константинополь в V веке. Теперь же она заняла свое место на стенах города вместе с его защитниками.

Когда подготовка завершилась, весной 624 года Ираклий отправился на Восток. Возможно, персы ожидали, что император первым делом попытается вернуть часть утраченных территорий в Сирии. Если так, то их армия ждала там Ираклия долго и безрезультатно: он так и не пришел. Вместо этого византийская армия двинулась на восток через Малую Азию и далее на север, в Армению, которая давно была спорной территорией, поделенной между двумя империями. Оттуда византийцы повернули на юг и вышли к незащищенным северным границам самой Персии. Известие об этом прозвучало для Хосрова II как гром среди ясного неба: он призвал свои войска вернуться и защитить родную землю. Однако пока персидская армия находилась в пути, никто не мог помешать Ираклию захватывать и уничтожать персидские города один за другим. Когда его армия подошла к священному для зороастрийцев городу Шиз, Хосров был уже недалеко со значительными силами, но, услышав о приближении Ираклия, решил уйти, избежав сражения. Таким образом, византийские войска смогли войти в город, не встретив сопротивления, и отомстили за разрушение церквей в Иерусалиме, уничтожив храм, где горел священный огонь. Кампания оказалась настолько успешной, что с приближением зимы Ираклий не стал выводить войска на византийскую территорию в Малой Азии, а решил остаться в Армении. Следующей весной византийцы возобновили военные действия. На этот раз персы были готовы, и на перехват войска Ираклия отправились две крупные армии. После долгого преследования по пересеченной местности Ираклий вступил с ними в бой там, где сам счел нужным, и разбил их одну за другой, захватив золотой щит и доспехи одного из полководцев, который бросил их, убегая с поля боя. После этого византийской армии ничто не мешало возобновить свой победный марш по Персии.

В отчаянии Хосров и его военачальники придумали, как заставить Ираклия уйти: они решили действовать его методами и ударить прямо по Константинополю, чтобы вынудить императора вернуться на защиту столицы. К аварам были отправлены посланники с призывом нарушить перемирие и также пойти на штурм византийской столицы. Аварского кагана не пришлось долго уговаривать, поскольку он уже несколько раз нарушал соглашение, а воспользоваться ослабленным состоянием империи было слишком соблазнительно. Поэтому, когда весной 626 года Хосров направил своего полководца Шахрвараза с большими силами в Малую Азию, авары и их союзники славяне тоже выступили в поход. В начале июня персы подошли к Босфору, а вскоре после этого, на другой стороне пролива, у стен Константинополя оказались и передовые отряды аваров. Союзники могли видеть друг друга и общаться, подавая сигналы огнем. Когда ловушка захлопнулась, в городе воцарилось мрачное настроение. В мае на улицах и в Святой Софии происходили массовые беспорядки и протесты против высоких цен на продовольствие, а к Ираклию отправили гонцов с вестью об опасности, грозящей столице.

Но, несмотря на расчеты Хосрова, это не заставило императора прервать военную кампанию в Персии и вернуться на запад. Вместо этого он отправил треть своего войска на защиту Константинополя, в то время как остальные остались на востоке. Кроме того, он заключил союз с местным тюркским племенем, хазарами, и теперь уже двойное вторжение в Персию продолжилось, несмотря на угрозу в тылу. Константинополь был предоставлен сам себе. Ираклий никогда бы не пошел на такой смелый шаг, если бы не знал, как трудно будет аварам и персам захватить город: для этого им нужно было переправиться через Босфор, а потом взять штурмом оборонительные стены. Возможно, аварский каган мало представлял, насколько хорошо защищен Константинополь, раз он решил, что его войско с осадными машинами сумеет быстро войти в город. К концу июля перед стенами Константинополя были установлены 12 осадных башен и многочисленные катапульты, и начался штурм. Два дня шли жестокие бои. Но аварам не удалось продвинуться, поскольку камни, выброшенные их катапультами, ничего не могли сделать стенам, построенным из массивных блоков известняка. Количеством нападающие сильно превосходили защитников города, но стены были построены таким образом, что штурмовать их, используя осадные башни, было очень трудно. Строители укреплений создали неприступную трехуровневую систему обороны. Главная внутренняя стена имела около 12 метров в высоту. В нее были встроены 96 башен, из которых византийцы стреляли в аваров из баллист и катапульт. Перед ней стояла наружная стена, чуть ниже и с 92 башнями, с которых по аварам тоже стреляли. И наконец, перед стеной был широкий, облицованный кирпичом ров, от 15 до 20 метров в ширину и 5–7 метров в глубину, а со стороны города вдоль него шло еще и ограждение из дерева и кирпича. Противник должен был переправиться через ров и перелезть через заграждение, и все это под обстрелом, ведущимся с наружной и внутренней стен. Но даже если ему удалось бы сделать это и захватить внешнюю стену, он оказался бы в ловушке, коридоре пятиметровой ширины, отделявшем внешнюю стену от внутренней.

Аварам удалось подогнать часть своих осадных башен близко к наружной стене, заполнив некоторые участки рва, но дальше этого дело не пошло. Моряки, покинувшие свои корабли в гавани, чтобы присоединиться к защитникам города, прислонили к зубчатой стене мачту, к которой была привязана лодка, наполненная горючим веществом. Его подожгли, а затем мачту повернули так, чтобы горящее вещество вылилось на осадную башню аваров, и та загорелась. Видя, что его замыслы сорвались, каган прибег к запугиванию, направив своих посланников с требованием сдать город, если жители хотят сохранить свои жизни и имущество. В противном случае он грозился бросить в бой персов, которые все еще ждали в Халкидоне, на другом берегу Босфора. Византийцы, вероятно, были бы рады перемирию и заплатили бы аварам большую дань, но пойти на полную капитуляцию они не могли. Переговоры сорвались, и осада продолжилась.

Теперь аварскому кагану нужно было выполнить свою угрозу и ввести в бой персов, но сказать это было легче, чем сделать. Две армии разделял Босфор, а флота, чтобы доставить армию союзников на этот берег, не было. Однако авары привезли с собой множество лодок-долбленок. Они были довольно примитивными, но каждая могла доставить с азиатского берега двоих-троих мужчин. Ранним августовским утром эти лодки были спущены в неспокойные воды Босфора и взяли курс на Халкидон. Но как только они отошли от берега, византийский флот из 70 кораблей вышел из бухты Золотой Рог и с легкостью затопил их, а гребцы-славяне либо погибли от стрел, либо утонули. Те же из них, кому удалось доплыть до берега, были убиты по приказу кагана, который пришел в ярость от этого провала. В результате больше всех пострадали славяне, и потому они решили, что с них достаточно. Они начали снимать свой лагерь, выступив таким образом против своих аварских хозяев. Видя, что его силы истощаются, каган вынужден был последовать их примеру, хотя, уходя, его всадники разграбили и сожгли несколько церквей в окрестностях города. Соответственно, персам теперь тоже не было смысла оставаться, и они начали отступать на восток. К середине августа осада закончилась.