Вскоре после битвы Роберт Фриз и король Филипп заключили мир. Новым графом Фландрским стал брат Матильды, но Вильгельм, видимо, был оскорблен убийством своего сенешаля и друга в битве при Касселе, поэтому в отношениях между двумя дворами никакой приязни впоследствии не наблюдалось. Кроме того, Роберт, который проявлял интерес прежде всего к своим имперским фьефам и стремился распространить свою власть на восток, предпочитал доверять защиту Фландрии своему сюзерену — королю Франции, а не своему зятю — герцогу Нормандскому. Союз графа и французского короля был скреплен браком между Филиппом и падчерицей Роберта — Бертой Голландской, а свое враждебное отношение к Вильгельму граф открыто выразил тем, что выдал свою старшую дочь замуж за Кнута II Датского, претендента на английский престол. Ситуация напоминала недавнее прошлое, а именно 1075 г., когда датскому флоту перед вторжением в Англию было разрешено стать на якорь у берегов Фландрии.

В начале 1072 г. Вильгельму удалось все же выкроить время, чтобы посетить Нормандию впервые после 1067 г., и, скорее всего, его сопровождал Одо Байеский. Он созвал всех своих баронов из герцогства и из графства Мэн, принял от них оммаж, а затем вернулся в Англию, чтобы вторгнуться в Шотландию. В начале 1073 г. Вильгельм, освободившись наконец от бремени наиболее насущных английских проблем, снова возвратился в Нормандию, чтобы усмирить беспорядки в Мэне. Нормандская власть в графстве не пользовалась популярностью, и это создавало благоприятную почву для заговоров. Влиятельные бароны, такие как Жоффруа Майеннский, плели интриги в своих интересах, а жители Ле-Мана решили создать коммуну. Всеобщее настроение склонялось в пользу того, чтобы правителем снова стал какой-нибудь местный граф, но в последний момент политическая необходимость вынудила мятежников обратиться к графу Анжуйскому. В период между 1068 и 1072 гг. Герзента, сестра Гуго IV, последнего графа Мэнского, вместе с мужем Адзо II, маркизом д'Эсте в Венеции, заявили о правах своего младшего сына. Однако в 1072 г. Жоффруа Анжуйский воспользовался беспорядками и овладел Ле-Маном. В начале следующего года Вильгельм выступил в Мэн с большой англо-нормандской армией и довольно легко подавил этот неприкрытый мятеж. Однако поскольку и Анжу, и Франция, а иногда и Бретань занимали враждебную позицию, власть Вильгельма над Мэном пошатнулась, и до конца его правления это графство постоянно становилось очагом заговоров и мятежей, поддерживаемых и подстрекаемых графом Анжуйским.

Филипп Французский стремился любыми способами досадить Вильгельму. В 1074 г. из Фландрии в Шотландию вернулся Эдгар Этелинг и был с почестями принят своим зятем, Малькольмом. Однако Малькольм не был готов его приютить, поэтому порешили на том, что принц примет предложение Филиппа укрыться в Монтрейском замке, расположенном на границе между графствами Булонь и Понтье. Эдгар отправился во Францию, но из-за шторма вынужден был вернуться в Шотландию, и на этот раз Малькольм посоветовал ему заключить с Вильгельмом мир. Принц проехал через всю Англию и отплыл в Нормандию. Король принял его весьма учтиво, и Эдгар оставался с ним до 1086 г., когда решил попытать счастья в Апулии. Кстати, в этом же году его сестра Кристина постриглась в монахини в аббатстве Ромси.

Вильгельм вернулся в Англию перед Рождеством 1075 г., чтобы вынести приговор восставшим эрлам и их сторонникам, а уже весной снова возвратился на континент, намереваясь покарать Ральфа де Гаэля, бежавшего в Бретань. С согласия графа Хоэля V Вильгельм напал на город Доль, где обосновался Ральф, однако здесь его ждала одна из самых крупных неудач в жизни. Когда король Филипп выступил к Долю на помощь графу, получив, вероятно, подкрепление от анжуйских и аквитанских войск, Вильгельму пришлось отступать так стремительно, что он оставил все боевое снаряжение своей армии, потерпев тем самым убыток, как было подсчитано, в 15 тыс. фунтов. Это серьезное поражение должным образом отметили английские хронисты. Эрл Ральф остался полновластным сеньором Гаэля. В 1077 г. Вильгельм все же заключил краткосрочное перемирие с Филиппом, а также, видимо, и с Фульком Анжуйским.

В 1077 г. Вильгельму было под пятьдесят, а его дети уже становились взрослыми. Он сам был еще полон энергии, проводя все свое время на охоте или в походах. Из современников единственное описание его внешности дает один анонимный автор — вероятно, монах из Кана, — написавший о смерти короля. К сожалению, оно состоит всего из нескольких предложений, да еще и взятых из последних глав книги Эйнхарда «Жизнь Карла Великого». Адаптируя текст, летописец опустил все яркие детали, приведенные Эйнхардом, вставил фразу о полноте Вильгельма и изменил всего одно слово. Голос Карла описывается как clara (звонкий тенор), а голос Вильгельма — как rauca (грубый бас). Эта поправка, вероятно, была сделана намеренно, однако остается неясным, основывалась ли она на знании фактов или на том мнении, что голос и любые черты характера зависят от внешности. На самом деле трудно сказать, насколько можно верить этому плагиату и верить ли ему вообще. За его достоверность ручаться нельзя, однако вот эти строки (заимствования из Эйнхарда даны курсивом): «Вильгельм был несколько выше среднего роста, а телом крепок и слегка дороден. Хотя в последние годы он был склонен к полноте, это не было связано с чревоугодием. В действительности он был умерен в еде и особенно в потреблении крепких напитков, питая отвращение к пьянству, касалось ли это его самого или других. Он легко произносил речи и хорошо владел языком. Его голос был груб, но не в такой мере, как это можно было ожидать при его внешности».

Поколение спустя Уильям Мальмсберийский, снова вторя Эйнхарду, добавляет к этому портрету еще несколько деталей. Его сведения относительно роста короля совпадают с Канским анонимом, но он более откровенно говорит о его тучности. Брюхо у Вильгельма так выпирало, что не только не позволяло ему сохранять величественный вид — не важно, стоял ли король или сидел, — но и способствовало его гибели, так как, по свидетельствам некоторых людей, во время разграбления Манта его конь споткнулся и он сильно повредил живот о луку седла. Хронист также рассказывает, что еще до событий в Манте король Филипп шутил, что Вильгельм напоминает беременную женщину, которая вот-вот разродится. Уильям Мальмсберийский соглашается, что король был здоровым и сильным человеком с мощными плечами и руками, а также пишет, что у него был лук — возможно, арбалет, — который, кроме него, больше никто не мог натянуть, а он мог это сделать даже ногами, скача галопом на лошади. Летописец добавляет, что у короля было злое лицо и большая плешь спереди. Кроме того, он приводит бытовавшие в то время мнения, а также рассказы о сексуальной жизни Вильгельма, и приходит к выводу, что король действительно был высоконравственным человеком.

Если Вильгельм и Матильда поженились в 1052 г., то к 1077 г. некоторым из их детей было уже за двадцать, причем Роберту, вероятно, было 24 года, так как в 1063 г., когда умерла его невеста Маргарита Мэнская, он почти достиг возраста, в котором по церковному праву можно заключать брак. Второго сына, Ричарда, вероятно, уже не было в живых — он погиб в результате несчастного случая на охоте в Новом Лесу возле Винчестера, не достигнув возраста посвящения в рыцари (Генрих, кстати, прошел этот обряд в 18 лет). Вильгельм Рыжий, должно быть, был ненамного младше Роберта и Ричарда. Самому младшему сыну, Генриху, шел девятый год. Должно быть, некоторые из дочерей также достигли брачного возраста или же были близки к этому. Однако очередность рождения сыновей и дочерей нигде не задокументирована.