Предательство Генриха в 1052 г. привело Вильгельма в смятение, так как он остался без сильных союзников. Ни Фландрия, ни Булонь, ни Понтье, насколько нам известно, не оказывали ему никакого содействия — Булонь предоставляла приют беженцам из Нормандии, а графы Понтье активно помогали нормандским мятежникам. Сложившуюся ситуацию сложно объяснить, но следует помнить, что графы всех этих северных земель были также и вассалами Генриха, а Балдуин был его зятем. Феодальные отношения всегда оставляли свободу для маневра. В любом случае, после 1053 г. Балдуин был полностью поглощен своим очередным восстанием против германского императора. Однако Вильгельм защищался от врагов если не с легкостью, то, по крайней мере, вполне уверенно. Нападения извне очень часто носили карательный и грабительский характер, но, благодаря тому, что большая часть Нормандии хранила верность своему герцогу, а также потому, что Вильгельм всегда мог собрать сильное войско, врагам никогда не удавалось достичь своей цели и посеять серьезную смуту. Однако в то же время Вильгельм, вероятно, осознавал, что на кону стоят его жизнь и его земли.

Во-первых, возникла угроза потерять нормандские владения за Сеной. Во время осады Донфрона дядя Вильгельма, Гильом Аркский, граф Талу, предал племянника и поднял мятеж. При этом ему, вероятно, удалось заручиться, по крайней мере, сочувствием своего брата Можера, архиепископа Руанского. Нужно сказать, что оба феодала уже успели воспользоваться несовершеннолетием Вильгельма, чтобы укрепить свою власть. Вильгельм Аркский, например, женился на сестре своего северного соседа, Ангеррана де Понтье, и, вполне возможно, вознамерился превратить свой феод в пограничное княжество наподобие Беллема. Альянс герцога с Фландрией, видимо, и послужил причиной его мятежа. Граф Талу, должно быть, посчитал, что ему грозит опасность быть раздавленным двумя союзными державами. Есть сведения, что против этого союза выступал и Можер. Восстание несло тем большую угрозу, что земли Гильома Аркского граничили с доменом французских монархов, так что королю Генриху, при желании, существенно облегчалось вторжение в Нормандию.

В 1053 г. Вильгельм осадил Арк, и несмотря на то что в октябре Генриху удалось прорвать окружение, пополнив гарнизон солдатами и подвезя припасы, крепость в конце концов была взята, когда люди стали умирать от голода. Во время боя был убит один из влиятельных противников герцога — граф Понтье. После падения Арка Вильгельм предложил дяде свои условия, которые тот, по всей видимости, не принял, предпочтя удалиться в изгнание в Булонское графство. В 1054 г. (или, возможно, в 1055 г.) герцог добился низложения другого своего дяди, архиепископа Можера, после чего сослал его на остров Гернси.

Внезапное нападение Генриха в 1053 г. преследовало лишь разведывательные цели. А уже в следующем году король начал крупномасштабное вторжение во главе феодальной армии, в которую входили отряды из герцогства Аквитанского и графства Бургундского, а также, возможно, анжуйцы под командованием Жоффруа Мартелла. Генрих разделил свои войска на две части. Сам он через графство Эвре отправился в поход на Руан. Вильгельм решил принять вызов. Вторая армия, под началом Эда, младшего брата короля, вместе с Ги, графом Понтье, ставшим преемником своего брата после его гибели под Арком, продвигалась на север от Сены, но у Мортемера была разбита армией Роберта, графа д'Э, и других северных баронов. Среди знатных пленников оказался Ги, граф Понтье. Когда Вильгельм уведомил Генриха об этой победе, король отступил. Благодаря захвату пленников Вильгельм извлек из этой кампании двойную выгоду: во-первых, граф Понтье стал его вассалом, и, таким образом, герцог снова распространил свое влияние на области, граничащие с Фландрией, а во-вторых, король, видимо, пообещал ему сохранять нейтралитет в случае нападения Вильгельма на Анжу.

В период между 1054 и 1060 гг. Вильгельм вел военные действия против Анжу с переменным успехом. В ответ на его вторжение в Мэн, которое он провел в 1054 г., король Генрих и Жоффруа Анжуйский в 1057 г. напали на Нормандию, причем это нападение носило гораздо более опасный характер, так как их войска продвинулись далеко в глубь нормандских владений. Они вторглись с юга в область Иемуа, прошли через все герцогство и разорили прибрежную область к западу от реки Орн. По-видимому, Вильгельму пришлось остаться безучастным наблюдателем вражеских бесчинств. Однако когда армию захватчиков, переправлявшуюся через реку Див у Варавиля, застиг врасплох прилив, Вильгельм атаковал ее отрезанный от основных сил арьергард и полностью его разгромил. Последовавшая за этим война то затихала, то разгоралась, не принося решающего успеха ни одной из сторон. Очевидно, что до 1060 г., когда умерли и граф Анжуйский, и король Франции, Вильгельм оборонял свои владения, и поэтому они пострадали больше, чем земли его противников. Однако, по всей видимости, это не мешало ему систематически расправляться со своими внутренними врагами — членами собственной семьи. Примерно в 1056 г. он устранил своего родственника — Гильома Герлана, графа Мортенского, — обвинив его в подготовке мятежа и вынудив бежать в Апулию, а на его место назначил своего сводного брата Роберта. Другого родственника — Вильгельма Бюсака, второго сына графа Э, — он изгнал, заставив его искать убежища во Франции. Герцог не устраивал кровавых расправ, однако ему удалось избавиться от немалого количества своих старших родственников.

Смерть в 1060 г. двух наиболее могущественных внешних противников стала поворотной точкой в судьбе герцога Вильгельма. Наследник Генриха I, Филипп I, был еще ребенком, и ему назначили опекуна — тестя Вильгельма, Балдуина Фландрского. В 1060 г. Вильгельм принес оммаж своему новому сюзерену в городе Дре, расположенном недалеко от границы между Нормандией и Францией, и до совершеннолетия Филиппа между ними сохранялся мир. Анжуйское графство перешло к племяннику Жоффруа Мартелла — Жоффруа Бородатому, слабому правителю, с которым вскоре вступил в борьбу за власть стал соперничать его брат Фульк Глотка (Rechinus). Вильгельму представилась благоприятная возможность осуществить свои давно вынашиваемые планы относительно Мэна, на который Вильгельм, по словам Гильома де Пуатье, обладал столь же законными правами, как и на Англию. Таким образом, дипломатическая сторона присоединения Мэна напоминает покорение Англии: в обоих случаях герцог терпеливо дожидался удобного случая для военного вторжения, исподволь стремясь придать как можно больше веса и легитимности своим притязаниям.

Чтобы подготовить для этого почву, Вильгельм и его советники создали легенду, будто в незапамятные времена король Франции даровал графам Нормандии сюзеренитет над Мэном и они якобы действительно им когда-то владели. На самом же деле — по крайней мере, с 1025 г. — анжуйцы установили над графством строгий и эффективный контроль. Как нам уже известно, в 1051 г. Вильгельм радушно принял у себя изгнанников — графиню Мэнскую и ее детей Герберта II и Маргариту. Он принял от Герберта оммаж и, как только у него самого появились дети, обручил с Гербертом одну из своих дочерей, а с Маргаритой — своего сына и наследника Роберта, по прозвищу Коротконогий. Как сообщается, Герберт признал Вильгельма своим наследником, если он умрет, не оставив потомства. Утверждают, что Герберт подтвердил это свое решение на смертном одре. Таким образом, до смерти Герберта в 1062 г. Вильгельм мог вмешиваться в дела Мэна от имени своего вассала. После этого Вильгельм оказался в двойственной роли наследника Герберта и опекуна Маргариты. Это привело к неизбежным осложнениям. После смерти Герберта появился еще один претендент — Готье III, граф Вексенский, племянник Эдуарда Исповедника и муж Биоты Мэнской, тети покойного графа. Заметим, что Готье был возможным претендентом и на английский трон. Вильгельму пришлось также столкнуться с враждебностью, правда пассивной, со стороны графа Анжуйского и с недовольством Жоффруа, графа Майеннского, который предпочел бы сохранять статус-кво и не был в восторге от усиления соседа. В 1063 г. Вильгельм, опустошив Мэн, добился капитуляции Ле-Мана, столицы графства, а затем, спалив город Майенн, захватил Майеннский замок. Готье Вексенский и его жена были взяты в плен и заключены в тюрьму в Фалезе. По словам Ордерика Виталия, Вильгельм впоследствии приказал их отравить, но это утверждение бездоказательно, хотя точно известно, что они умерли в заточении. Кроме того, поскольку Маргарита Мэнская скончалась примерно тогда же, когда герцог вторгся в графство, — причем провести церковную церемонию ее бракосочетания с Робертом Коротконогим так и не успели, — прямая линия графского рода оборвалась, и Вильгельм принял титул графа Мэнского.