Комплекс строений Угумона лучше всего представить себе как три прямоугольника, наложенные один на другой. Самый большой прямоугольник – яблоневый сад, огороженный канавой и кустарником. Французы, атаковавшие с юга, могли попасть в сад, но тут перед ними оказывался второй, более грозный прямоугольник – обнесенный стеной регулярный парк. Вероятно, когда-то этот парк был гордостью Угумона – прекрасным местечком с цветочными клумбами и дорожками под сенью грабов и вишневых деревьев. Однако для полковника Макдонелла было важнее, что регулярный парк с запада защищали здания, а с юга и востока – кирпичная стена свыше двух метров высотой. Он соорудил у стены площадки, чтобы солдаты могли стрелять через верх, а в самой стене устроил бойницы. Третий прямоугольник – здания к западу от сада, по-настоящему грозная твердыня. Здания стояли бок о бок, так что представляли собой сплошную каменную стену. С южной стороны на атакующих французов смотрели дом садовника и кладовая, а между ними – большие ворота с аркой, запертые и забаррикадированные. В стенах этих зданий также проделали бойницы, как и в зданиях, смотревших на запад, из которых главным был большой амбар. С противоположной стороны прямоугольника находились коровник и конюшня, упиравшиеся в регулярный парк. А в центре прямоугольника располагался сам шато – внушительный, благоустроенный дом с высокими окнами, из которых простреливались крыши остальных строений. Возле дома стояла небольшая часовня. Главный двор находился между амбаром и коровником, а главный вход в комплекс располагался с северной стороны этого двора. Это – те самые северные ворота, с которыми связан один из самых знаменитых моментов этого сражения.

Вдоль большого амбара проходила дорога, отделяя здания за стеной от маленького огорода, защищенного забором и кустарником. По словам подполковника Александра Вудфорда из Колдстримского полка, весь этот комплекс садов, парков, оград, кирпичных стен и каменных зданий прекрасно подходил для оборонительных действий.

Когда французы выбрались из дубового леса, перед ними возник внушительный ряд строений и стен. Сразу перед собой они увидели дом садовника, окна которого плюнули мушкетным огнем, а справа виднелось 200 метров кирпичной стены регулярного парка. От края леса до стены было около 27 метров, и именно на этом пространстве гибли и получали ранения солдаты Жерома. Одним из первых пал генерал Бодюэн, командующий 1-й бригадой Жерома. Множество германских солдат, защищавших лес, теперь присоединилось к гарнизону в стенах Угумона, и один из них, рядовой Йоханн Леонхард, сражался у бойницы в садовой стене:

Германо-голландские войска, защищавшие лес, были вынуждены отойти в комплекс зданий. Поскольку со стороны леса попасть внутрь они не могли, им приходилось бежать вокруг стены. Их необъяснимая спешка послужила поводом для обвинения в панике и бегстве. Некоторые британские офицеры с презрением писали, что голландцы сбежали, но свидетели указывают, что они присоединились к гвардейцам в регулярном парке и находились в осаде, пока французы отчаянно штурмовали стену. Солдаты Жерома много раз шли в атаку и много раз их отбрасывали мушкетным огнем из бойниц в стене и с верхних этажей зданий. Один из немецких солдат, оказавшихся в этой осаде, писал, что огонь был убийственным, а на коротком расстоянии мушкеты били точно. Густой пороховой дым окутал здания и верхушки деревьев. Французы, отчаянно пытаясь захватить укрепление, бросили на нее еще одну пехотную бригаду. Это было непростительно. Артиллерии, чтобы разбить стены, у французов не было, не взяли они и лестниц, чтобы залезть на стены, но все-таки продолжали атаковать. Один французский пехотинец вспоминает, что «мертвые, умирающие и раненные складывались в горы». Подполковник Фрэнсис Хоум из 3-го гвардейского Королевского шотландского полка назвал безмерной бойню перед стеной. Он рассказывал, что раненые, лежавшие в этих кучах, постоянно просили его «приказать… стрелять в них, чтобы прекратить их мучения». Также в верхнюю часть леса била батарея из шести британских мортир, разнося в щепки дубы шрапнелью и осколками бомб, что увеличивало масштаб побоища.

Теперь более 9000 французских пехотинцев старались выбить с фермы людей Макдонелла. Не в силах перебраться через стену парка, французы попытались окружить здания, отправив людей справа и слева. Шато оказался в тяжелом положении, но с гребня подоспело подкрепление. Не с центра позиции Веллингтона, как надеялся Наполеон, но от гвардейских батальонов, расположенных сразу за шато. Часть этого подкрепления Веллингтон отправил лично со словами: «Туда, парни, ловите момент, и чтобы я вас больше не видел». Две роты колдстримцев бросились вниз с холма с примкнутыми штыками, смели французов с левого фланга и присоединились к защитникам в стенах фермы. Позже подоспели новые роты, пока, по словам подполковника Хоума, «в Угумоне и вокруг него не собрался целый 3-й полк и еще 8 рот колдстримцев. Количество солдат единовременно собравшихся в Угумоне, не превышало 1200 человек, включая и уцелевших стрелков из Нассау. И эти 1200 человек задерживали по меньшей мере 9000 французов».

Рядовой гвардеец Мэтью Клей, несъедобным завтраком которого стал обгорелый кусок свиной головы, был одним из защитников маленького, обсаженного кустарником огорода, находившегося через дорогу от большого амбара. Огород служил неважной оборонительной позицией против огромного числа французов, которые теперь штурмовали Угумон, так что защитникам приказали вернуться за стены, но Клей и еще один гвардеец, «очень стойкий и неустрашимый старый солдат», умудрились отстать от роты во время этого короткого отступления. Им пришлось остаться за стенами, где они перестреливались с врагом.

Через несколько минут Клей заметил, что ворота во двор фермы открыты, и оба гвардейца поспешили скрыться за ними, но смогли это сделать, лишь перебравшись через нескольких убитых французов: