В конце концов Иоанн де Бриенн, устав от всех этих стычек и последовавших за ними столкновений между итальянцами и французами, покинул Дамьетту (29 марта 1220 г.), чтобы заняться, с одной стороны, делами Армении — на трон которой он претендовал как муж Эстефании, дочери царя Льва — и, с другой, Сирии, где его беспокоили интриги королевы Иерусалимской. И особенно важно, что крестовый поход разорил этого несчастного государя. В 1219 г. он не смог выплатить в срок 200 марок генуэзцу Лукино Корсали, который предоставил ему заем. Затем он выпрашивал денег: после взятия Дамьетты магистр Тевтонского ордена Герман фон Зальца уступил ему половину своей добычи — в 1221 г. Иоанн пожалует этому самому ордену всю добычу, принадлежащую королю (половину) в том случае, если он лично не будет участвовать в битве. И положение Святой Земли стало катастрофическим: в письме от 1 октября 1220 г. прелаты откровенно взывали к Филиппу-Августу о помощи. Набеги Аль-Муаззама привели к тому, что владения христиан свелись лишь к городам Акре и Тиру и нескольким фруктовым садам, разбитым в тени их крепостных стен. Тир почти наполовину обезлюдел, рыцари, буржуа и мелкий люд бежали в Армению или на Кипр, чтобы не разориться. Что же касается короля, который все свои средства тратил на издержки армии, то у него не осталось больше ничего. Доходы от двух королевских городов, Акры и Тира, предназначались, и на долгое время, заимодавцам, и отныне ему нельзя было занимать. К тому же поступления от Акры и Тира часто сводились к нулю: купцы и паломники, вместо того, чтобы пристать в этих портах, направлялись к Дамьетте. Наконец, снимая с Иоанна де Бриенна обвинения в том, что он забросил крестовый поход, прелаты писали: «ведь бедность стала главной причиной того, что король, движимый необходимостью, был вынужден покинуть армию и вернуться в Акру».

Игнорируя трагическое положение Святой Земли, легат продолжал отказываться от любых переговоров с мусульманами. Теперь те предлагали восстановить франкские колонии в границах 1186 г. (без Крака и Монреаля), однако Пелагий мечтал только о завоевании Египта. Он полностью взял на себя руководство крестовым походом, а отъезд Иоанна де Бриенна развязал ему руки. «Из Дамьетты, где он устроился, он обращался с крестоносцами, как настоящий тиран. Он запрещал им увозить с собой при отплытии что бы то ни было, даже свое собственное имущество, и не только из порта Дамьетты, но и из Акры, противодействуя всякому отъезду латинян, если пассажиры не имели пропуска, скрепленного его кольцом, и обрушивал отлучения на тех, кто противился его административным установлениям». В течение полутора лет армия оставалась недвижимой в Дамьетте: несмотря на свою «самонадеяность», Пелагий прекрасно понимал, что даже нечего и мечтать о завоевании Египта с той армией, которая была в его распоряжении. Он ждал ответ от тех, кого он считал своими союзниками, Чингиз-хана, превращенного в «царя Давида», и грузин, и возможно, даже правителей Нубии и Абиссинии; но особенно он надеялся на прибытие самого императора, Фридриха II Гогенштауфена, чья высадка считалась неминуемой. Но Фридрих так и не появился, хотя и послал — было бы несправедливым это умалчивать — довольно крупные подкрепления.

К несчастью, эта бездеятельность была на руку мусульманам: воспользовавшись самоуверенностью легата, они смогли направить пиратскую эскадру на маршруты франкской навигации. Франкская армия была деморализована, и множество перебежчиков переходило в сарацинский лагерь — Св. Франциск Ассизский, идущий проповедовать христианскую веру Аль-Камилю (который оказал ему необычайно благосклонный прием), был в какой-то — миг принят, и Пелагием и Эйюбидами, за кандидата в вероотступники. Аль-Камиль призвал на помощь своих братьев из Сирии и Месопотамии и предпринял против постоянной измены местных христиан, мелькитов и коптов — чья связь с Пелагием несомненна — энергичные меры. В то время как мусульмане оскверняли их церкви — в особенности кафедральный собор Св. Марка в Александрии — египетское правительство обременило их многочисленными налогами и поборами, вменяя им постой мусульманских войск и установив за ними строгий контроль. Это были настоящие гонения, вынудившие некоторых коптов бежать в Эфиопию. Сам Александрийский патриарх (без сомнения, тот самый Николай, который вел переписку с папой с 1209 г. и так живо интересовался участью пленных христиан) был брошен в узилище, когда франкская армия пошатнулась, и был освобожден только после заключения мира (1221 г.). Наконец, поскольку Египет не имел другой защиты, кроме нескольких пограничных укреплений Синая и Филистии и самих портов, султан в спешке возвел на юго-восточной точке Дельты крепость, которую нарекли пророческим именем «Победоносная» (Аль-Мансура): ей предстоит дважды спасти Египет.

Устав ждать императора и, возможно, волнуясь из-за новостей из Египта, Пелагий мгновенно решил, получив подкрепление в пять сотен немецких рыцарей, перейти ко второй фазе завоевания — захвату Каира. Не уведомив Иоанна де Бриенна, которого едва успели предупредить — он подоспел 7 июля 1221 г. — и не обращая внимания на безнадежные увещевания короля, которого страшила малочисленность франков и изъяны в подготовке кампании, Пелагий приказал наступать. Поход оказался настолько же катастрофическим, насколько коротким: 24 июля франки наткнулись на крепость Мансура: мусульмане разрушили плотины, оставив франкскую армию на дамбе в кольце болот и без продовольствия, тогда как тыл ей преграждал эйюбидский отряд. 26 августа крестоносцы захотели вернуться в Дамьетту по трупам стоявших на их пути мусульманских солдат. Но начался сильный разлив Нила, и войско, тащившееся в грязи посреди покрытой водой долины, практически находилось на краю гибели. Иоанн де Бриенн, снова став предводителем экспедиции, едва смог добиться капитуляции. Более и речи не шло о возвращении Сирии: сдача Дамьетты была условием освобождения окруженной армии (капитуляция под Барамуном, 30 августа 1221 г.).

Однако эгоизм итальянцев, для которых Дамьетта уже стала колонией, чуть было не обрек всю армию на плен. Наконец, с подоспевшими немецкими подкреплениями — большая эскадра под командованием графа Мальты, но по-прежнему без Фридриха II — они надеялись захватить город, чтобы помешать его передаче в руки мусульман. Посреди кровавых столкновений, они попытались разграбить дома тамплиеров и госпитальеров — один тамплиер и другой рыцарь были убиты, когда защищали вклады, доверенные великому ордену банкиров, и также погиб один воин из Тевтонского ордена — и королевскую резиденцию. Тем не менее удалось остановить этот мятежный порыв, и 7 сентября Дамьетта вновь стал мусульманским портом. Крестоносцы отчалили.

В течение этого крестового похода участь латинского Востока стала еще печальней. В надежде добиться как можно больше легат Пелагий упустил возможность вновь заполучить Иерусалимское королевство без боя. Не удалось даже удержать Дамьетту; но куда хуже было то, что предельное усилие по организации крестового похода обескровило латинское королевство. Плачевная картина, каковую представляла собой Святая Земля, вырисовывается в письме от 1 октября 1220 г. Иерусалимский король, который никогда не был особенно богат, теперь полностью разорился. Ему удалось добиться перемирия на восемь лет от мусульман, которые также истощили свои силы за четыре долгих года, что длилась война. Но Иоанну де Бриенну не суждено было извлечь выгоду из этого обстоятельства. Сразу же после того, как дела в Сирии были улажены, королю пришлось покинуть свое королевство в сентябре-октябре 1222 г., чтобы пожаловаться Западу на свою нищету. И его путешествие станет косвенной причиной грядущих несчастий франкской Сирии.