Чего не знали Ираклий и его советники, так это того, что, пока они противостояли персам и занимались теологическими спорами, в никому не известном уголке Аравийского полуострова стремительно развивались судьбоносные события. Весной 627 года, в то время как Ираклий планировал окончательное вторжение в Персию, подходил к концу очередной раунд бесконечных арабских племенных войн. Племя курайшитов из Мекки осадило город Медину. Защитников города, которые численностью сильно превосходили нападавших, возглавлял Мухаммед, сам по рождению курайшит, бежавший из Мекки за пять лет до того из-за своих монотеистических религиозных взглядов. Осада закончилась неудачей. Защитникам удалось сорвать нападение, прокопав сеть траншей вдоль стен, что заставило мекканцев отказаться от своей затеи. Благодаря этой победе известность Мухаммеда среди арабских племен начала расти. Одно за другим они принимали его религиозное учение, которое позже получило название «ислам». К моменту своей смерти в 632 году Мухаммед успел добиться беспрецедентного политического и религиозного единства на всем Аравийском полуострове. И именно это единство в большей степени, чем ислам, представляло серьезную угрозу для соседних государств. Приняв мусульманство, арабы не стали более воинственны. Они всегда жили войной, и ислам не изменил этого. Но он положил конец длившимся веками межплеменным конфликтам и помог создать общее государство. Это единство удалось сохранить и после смерти Мухаммеда, когда его преемником был избран Абу Бакр, первый халиф. И следовательно, вторжение 633 года, которое прошло для Константинополя почти незамеченным, было не обычным набегом одного из племен, но предвестником полномасштабного вторжения.

Осознание серьезности этой проблемы приходило очень медленно. Если арабы вторглись в пределы империи в конце 633 года, то реакция последовала лишь в начале следующего года, когда имперский наместник по имени Сергий пришел с небольшим войском, чтобы изгнать их.

Однако арабы не бежали, как обычно, увозя свою добычу, а остались и дали бой. Сергий был убит, многие из его людей, оставшихся в живых, попали в плен и были угнаны в Аравию. Это было поражение, но не настолько серьезное, чтобы в Константинополе тревожно зазвонили колокола. Находясь в Эдессе, на севере Сирии, Ираклий решил отправить в этой район своего брата Феодора, чтобы тот решил проблему. Когда же Феодор также потерпел сокрушительное поражение, император заменил его полководцем по имени Ваан. Эта замена заставила перемениться и фортуну, и арабы были отброшены и понесли большие потери. Ираклий, вероятно, решил, что угроза отведена, и засобирался обратно в Константинополь.

Однако вывод оказался преждевременным: в начале 636 года арабская армия, невиданная по численности, вошла на территорию империи. Ваан сразу понял, что это полномасштабное вторжение, а не обычный набег, и попросил прислать подкрепление. К нему отправили императорскую армию. Объединившись, два войска представляли собой грозную силу, хотя ее и не возглавлял лично покоритель Ниневии. Византийцы и арабы сошлись в долине реки Ярмук и в течение нескольких недель между ними происходили лишь мелкие стычки. Преимущество было, несомненно, за византийцами, которые имели более многочисленную армию и воевали на своей земле, но недели шли, а постоянные проблемы не позволяли им нанести решительный удар. Погода была против них: ветер дул со стороны арабов, швыряя им в лица песок. В рядах византийской армии начался разброд. В ее составе, как всегда, было много союзников-арабов. И хотя в прошлом они всегда охотно сражались с другими арабами, но на этот раз союзникам недоплатили и некоторые из них стали переходить на сторону мусульман. И ко всему, как и Велизарию, Ваану приходилось терпеть постоянные клеветнические слухи, распространявшиеся и при дворе императора, и в его лагере, о том, что он якобы хочет захватить трон. Но в конце концов ничто из этого не привело бы византийцев к поражению. Все решил умный ход арабского полководца, который сделал вид, что уводит свои войска, а ночью вернулся, окружил византийцев и захватил мост, по которому они могли бы уйти. Понимая, что они в ловушке, византийские войска запаниковали и потеряли сплоченность. Теснимые со всех сторон, византийцы гибли тысячами, в то время как арабы упрочивали свое преимущество. В результате, как и при Адрианополе в 378 году, армия была полностью уничтожена. Лишь немногие сумели вырваться из окружения. Одним ударом арабы сломили сопротивление византийцев. Из долины реки Ярмук мусульмане двинулись на Дамаск, который открыл им свои ворота без боя.

Кажется почти невероятным, что Ираклий, который проявил такую энергию и мужество в борьбе с персами всего несколько лет назад, теперь пребывал в бездействии и лишь наблюдал за происходящим. Он не участвовал в битве при Ярмуке, находясь в это время далеко в Антиохии. А после падения Дамаска, вместо того чтобы попытаться спасти ситуацию, покинул Сирию и отправился на запад. С собою он увез Крест Господень, возвращенный персами в 628 году, тем самым словно открыто признав, что теперь все кончено. На этот раз его возвращение в Константинополь разительно отличалось от возвращения с войны с персами. Когда Ираклий прибыл в Иерию, его не встречали ликующие толпы и лишь один корабль ждал его, чтобы незаметно переправить через Босфор в Большой константинопольский дворец. Но Ираклий отказался вступать на его борт и остался во дворце в Иерии. Известие о странном поведении императора повергло чиновников и видных горожан в беспокойство, и от них прибыли делегации с просьбами к императору приехать в столицу и вернуться к своим обязанностям. Но все было бесполезно. Император оставался непреклонен. Он отправил в Константинополь своих сыновей Константина и Ираклеона, чтобы те присутствовали вместо него на церковных празднествах и на ипподроме, настаивая на том, чтобы потом они вернулись в Иерию.

Не скоро стало ясно, что стоит за апатией императора. Оказалось, что у него развился панический страх воды. И для того, чтобы Ираклий попал в столицу, нужно было предпринять нечто экстраординарное. Вместо корабля, который мог бы перевезти его на другой берег, был собран большой флот. Суда поставили на якорь бок о бок, чтобы образовался мост через пролив. Сверху настелили доски, сотни кустов и других растений выкопали с корнем и посадили в горшки, которые расставили по обе стороны прохода. Когда все было готово, императора убедили сесть на коня и въехать на мост. Листва растений закрывала вид на море. И только тогда Ираклий наконец прибыл в Константинополь.

Тем временем ситуация в Сирии становилась все хуже. Сельская местность находилась в основном под контролем арабов, а города, потеряв надежду на помощь от императора, сдавались им один за другим. Иерусалим был окружен, но горожане, опасаясь повторения событий 614 года, держались в течение двух лет. Выход из этого безнадежного положения нашел городский патриарх, который начал переговоры с халифом Омаром. В обмен на обещания, что христиан и их святыни не тронут, городские ворота наконец открыли, и победоносный халиф въехал в них на белом верблюде. Это произошло в феврале 638 года. В следующем году пала Антиохия, вслед за ней Эдесса и Дара. В начале 640 года арабский полководец Амр ибн аль-Ас вторгся в Египет и подошел ко второму по значимости городу империи Александрии. Патриарх и префект города Кир, как и патриарх Иерусалима, надеялся, что византийская армия придет к нему на помощь, но этого не случилось, и ему пришлось вступать в переговоры с арабами. В ноябре 641 года он заключил с ними перемирие на один год, пообещав по истечении этого срока сдать город. А затем в Константинополь были отправлены срочные донесения с просьбой к императору скорее прислать помощь.