К февралю 1204 года, когда гарнизон из двухсот человек не испытывал недостатка в провизии, Филипп приготовился к штурму. Активно засыпались рвы, окружающие замок, осадные машины и саперы были приведены в действия, по мере того как возобновились ожесточенные бои. Когда рухнула одна из башен у несущей стены, Лейси приказал своим людям сжечь внешний двор, а перед этим отступить через перекидной мостик в средний двор замка. Французы ворвались во внешний двор и сразу принялись выискивать в новой линии обороны англичан слабые места. И вскоре отыскали одно из них. В этом месте недавно надстроили часовню, а внизу добавили уборные (Гийом Бретонский осуждает подобное расположение таких помещений, считая, что оно «противоречит религии», однако не исключено, что верхняя пристройка все же выполняла роль хранилища).

Есть две версии дальнейших событий. Наиболее вероятная из них состоит в том, что француз по имени Петр Богис, подсаженный на плечи товарища, смог пробраться внутрь замка через неохраняемое окошко часовни. Согласно более популярной версии, он взобрался по канализационному стоку. Затем Петр сбросил веревку, по которой наверх смогли взобраться и другие воины. Последовали шум, паника, и гарнизону пришлось отступить в наиболее укрепленную часть замка — донжон на внутреннем дворе. Центральная часть замка была окружена стенами с семнадцатью D-образными башнями с выпуклыми контрфорсами толщиной в восемь футов. Но даже такая защита не могла долго устоять перед непоколебимым упорством Филиппа II. В результате методичных подкопов и бомбардировки с помощью огромного камнемета один из участков стены обрушился. Французские солдаты бросились в образовавшуюся брешь. Англичане сражались отчаянно и храбро, но противник намного превосходил их числом. Так Филипп Август захватил самый красивый и могучий замок Ричарда Львиное Сердце. Прошло совсем немного времени, и под его властью оказалась вся Нормандия.

Роджер Вендоверский отмечает, что Лейси с солдатами совершил последнюю дерзкую вылазку, однако, нанеся большой урон французам, все же вынужден был сдаться ввиду их большого числа. Однако трудно представить, чтобы гарнизонные лошади выжили в течение шестимесячной осады и не пошли под нож. Анонимный летописец из Бетюна утверждает, что лошадей действительно съели, и что гарнизону все равно пришлось сдаться по причине отсутствия провизии.

Какова же оказалась участь гарнизона? Законы осадной войны позволяли осаждающим предавать защитников смерти прямо на месте. Но вместо этого их заковали в цепи и увели. Судьба Рожера де Лейси оказалась несколько иной. Неизвестный из Бетюна пишет, что в течение осады Лейси заявил, что никогда не сдаст замок, даже если его выволокут оттуда за ноги. Однако его героическая оборона и в самом деле так завершилась. Лейси заковали в цепи и потом держали в плену под честное слово, прежде чем он был освобожден за выкуп. Осада Шато-Гайара стала тяжелым испытанием, во время схваток погибло немало воинов. И все-таки кровавой бойни, которая часто сопутствует успешному штурму, не произошло. С точки зрения солдат, все предприятие, видимо, хорошо укладывалось в рамки рыцарских идеалов войны. Но самое трудное в осаде выпало отнюдь не на долю солдат. Тяжело пришлось кое-кому из мирных жителей, которые выбрали замок в качестве своего убежища. В здании муниципалитета Пти-Андели висит огромное полотно кисти художника XIX века Фрэнсиса Таттеграна. Картина называется Les Bouches Inutiles («Бесполезные рты») и изображает ужасные страдания этих людей. То, что произошло, — это мрачный эпизод, которому большинство историков почти не уделяет внимания.

Рожер де Лейси впоследствии пожалел о своем решении допустить в свой замок беженцев из города. Город и без того был переполнен людьми, сбежавшимися со всей округи. Гарнизон замка был хорошо обеспечен провизией, но ее катастофически не хватало для количества от 1400 до 2200 человек. Лейси раньше считал, что запасов достаточно, чтобы выдержать годовую осаду. Численности гарнизона вполне хватало для эффективной обороны относительно небольшого периметра замка, поэтому огромное число беженцев только мешало защитникам, к тому же они быстро опустошали запасы продуктов. Английское освободительное войско не смогло отогнать французов, к тому же король Иоанн прислал письмо, в котором не обещал новой помощи. Поэтому Лейси пришлось готовиться к длительной блокаде.

В один из дней в ноябре Лейси велел вывести из замка около пятисот наиболее пожилых и слабых мирных жителей из замка. Французы сжалились над несчастными и дали им возможность пройти. Несколько дней спустя сцена повторилась, и количество выпущенных было примерно такое же. Французы снова предоставили им беспрепятственный проход. Городские жители уже столкнулись с тем, что их дома оказались заняты французскими поселенцами и наемниками, им уже нечего было защищать, и теперь они превратились в испуганных беженцев. На тот момент сам король Филипп у осажденного Шато-Гайара отсутствовал — занимаясь делами государственной важности, он находился в другом месте. Когда он узнал о происходящем в Шато-Гайаре, то отправил суровый приказ незамедлительно прекратить любой выход населения из замка. Щадить не разрешалось никого, независимо от возраста, пола или состояния здоровья. Французы больше не пропускали через свои боевые порядки никого из жителей, и те вынуждены были возвращаться обратно в крепость. Филиппу помогало присутствие «бесполезных ртов» в замке, он хотел, чтобы там поскорее закончились все припасы. Последняя партия некомбатантов, высланных Лейси, состояла, по меньшей мере, из четырехсот человек, а может быть, их число доходило и до тысячи. Когда они вышли из замка, то рассчитывали присоединиться к своим семьям и соседям-горожанам, избавив себя от тягот осады. Но они жестоко ошибались. По мнению Гийома Бретонского, Лейси знал, что отправляет этих людей на верную смерть.

И, действительно, французы не расступились перед ними, а встретили ливнем стрел. Они выполняли приказ своего монарха. Перепуганные беженцы бросились обратно к замку, однако ворота его оказались наглухо заперты. По словам Гийома Бретонского, отчаянные просьбы и мольбы несчастных впустить их обратно натолкнулись лишь на угрозы со стороны стражников у ворот: «Мы не знаем вас. Идите прочь и поищите себе другое убежище, вам запрещено открывать ворота». Потом гарнизон принялся стрелять из луков и забрасывать камнями тех, кого совсем недавно защищал. В смятении и ужасе от такого жестокого поворота событий несчастные вынуждены были спрятаться среди расщелин и скал, с трудом укрывшись от стрел и камнеметных снарядов, которыми нападающие и обороняющиеся обстреливали позиции друг друга. Ни одна из сторон — ни англичане, ни французы — не проявила снисхождения, бросив жителей на произвол судьбы. Им пришлось пытаться выживать в условиях сырости и холода трех долгих зимних месяцев. Вот где проявился настоящий ужас осады Шато-Гайара.

Гийом Бретонский испытывает отвращение к тому, как англичане смогли обречь собственный народ на такое «жалкое и горестное существование». Изможденные холодом и голодом беженцы вынуждены были довольствоваться дикими травами и пить речную воду, чтобы хоть как-то продержаться. Гийом пишет, что их мучительные страдания продолжалась двенадцать недель. Курица, которая случайно забрела на один из каменистых склонов, тут же была поймана. За нее разгорелась драка, после чего она была съедена полностью, включая кости и перья. Беженцам также удалось изловить и съесть нескольких собак, выбежавших из замка. Кожу с животных они сдирали голыми руками. (Видимо, Лейси пожалел объедков для собак. Так или иначе животные были весьма изможденными.) Когда закончилось собачье мясо, несчастные съели даже шкуры. Родившегося ребенка голодные и обезумевшие люди схватили, разодрали на части и с жадностью съели. Вильгельм пишет, что все чувства — стыд, страх, уважение — были подавлены в борьбе за выживание в этой преисподней, где «многие ни жили, ни умирали; они не были способны ни держаться за жизнь, ни окончательно потерять ее». Фактически свыше половины беженцев, оказавшихся на ничейной территории, умерли от голода, холода и лишений.