Ральф Невилл женился на Джоанне Бофорт, в четырехугольной крепости возвышался двухэтажный замок с несколькими роскошными покоями для проживания лорда и леди. Особый интерес для графини Бофорт во время ее пребывания в Миддлхэме представляла личная Солнечная палата, расположенная рядом с Большим залом и славившаяся большим окном с видом на живописную долину — местом, залитым солнцем, где она могла отдыхать среди своих дам в летние дни. В элегантно обставленном помещении также находилась уборная и большой камин для отопления зимой. Солнечная палата была изолированным, но удобным местом для отдыха от суеты замковой жизни.

Замок Ричмонд с его норманнской крепостью, возвышающейся на сто футов над рекой Суэйл, находился примерно в десяти милях к северу от Миддлхэма и стал для Невиллов еще одной резиденцией, которую они могли посетить, разъезжая по своим обширным владениям. В отличие от других крепостей Уэстморленда, Ричмонд не был частью наследства Невиллов, а был щедрым подарком Генриха IV, который 20 октября 1399 года пожаловал его Невиллу "за его труды и расходы на благо королевства" вместе с лордством Ричмонд[262]. Лордство и замок Шериф Хаттон находились южнее других владений Невиллов, всего в десяти милях от Йорка, что было удобно для любых дел в самом северном крупном городе королевства или его окрестностях. Вскоре после вступления во владение замком супруги заказали сложный фриз для юго-восточной сторожевой башни, на котором были изображены четыре резных щита: на трех — герб Ральфа Невилла, а на четвертом — герб его жены. Это было вечное напоминание об их присутствии в этом уголке Йоркшира.

Хотя нет оснований полагать, что леди Джоанна была не просто покорной супругой своего мужа, предпочитавшей сосредоточиться на семейных делах, она не избежала получения дарений от короля на свое собственное имя. Например, 12 августа 1403 года Джоанна получила опеку над Джоном Клиффордом, несовершеннолетним сыном и наследником умершего Томаса де Клиффорда, 6-го барона Клиффорда и номинального главы знатного камбрийского рода, хорошо известного Невиллам[263]. В качестве невесты для молодого Клиффорда была выбрана Елизавета Перси, дочь Генри "Хотспура", и это был благоразумный выбор, поскольку он устранил наследницу Перси с примесью крови Мортимеров с рынка невест и сделал ее родственницей Невиллов.

Возможно, самым значительным и далеко идущим последствием брака Джоанны Бофорт и Ральфа Невилла стало передача владений Невиллов детям Ральфа и Джоанны. Передача владений детям второй жены была династически разумной стратегией графа, который многое выиграл от брака с единокровной сестрой короля, и после узаконивания Джоанны в 1397 году не было никаких препятствий для будущего продвижения его детей, которые через свою мать были правнуками Эдуарда III.

Это спорное решение было принято вскоре после свадьбы пары, еще до появления на свет их старшего сына, Ричарда Невилла, родившегося около 1400 года. То, что граф принял такое решение, еще до рождения своего будущего наследника, говорит о том, что Уэстморленд был намерен отстаивать интересы своей второй семьи, а не первой, основываясь исключительно на их кровном родстве. Как позже выяснилось, Ричард оказался более чем способным человеком и, безусловно, оправдал решение своего отца, но во время изменения очередности наследования граф Уэстморленд еще не мог этого предвидеть. Дети Джоанны Бофорт и графа во многом были обязаны своим высоким положением матери, но осознавали они это или нет, неясно.

Процесс передачи владений был оправданным, хотя и сомнительным с моральной точки зрения, так как многие земли, принадлежавшие Уэстморленду, были ранее переданы верным членам его свиты, а затем возвращены графу. Это, однако, потребовало внесения одного ключевого изменения в документы. В новом положение говорилось, что земли Уэстморленда должны были находиться в совместном владении с его женой и переходить к наследникам, которые у них были. В случае если граф умрет первым, что на деле и произошло, земли не должны были автоматически перейти к его законному наследнику, а оставались в руках его второй жены.

Ранний пример такой перемены произошел 5 февраля 1398 года, когда граф подарил свой эссекский манор Клаверинг Ричарду Клитеро, Джону Даррелу и Джону Виттону, которые сразу же вернули собственность "графу и Джоанне, его жене, и наследникам графа"[264]. 6 ноября 1404 года было выдано разрешение на передачу двум служилым людям Уэстморленда, Томасу Грину и Джону Мортону, замка и поместья Шериф Хаттон, а также пятидесяти двух жилых домов, шестидесяти четырех бовате (мера земли равная примерно пятнадцати акров каждый), двенадцати акров лугов, десяти — леса и 200 акров пастбищ, расположенных вокруг деревень Ист Лиллинг, Вест Лиллинг и Корнборо. Как и в случае с Клаверингом, пожалование также позволяло вернуть земли и замок графу с оговоркой, что они будут принадлежать "Джоанне, его жене, и наследникам мужского пола с уделами его первым наследникам"[265].

Очевидно, что такая передача владений было спорным вопросом, и те, кто был лишен наследства в результате действий графа, относились к нему с большим презрением. Первая семья Уэстморленда, а именно дети, которых он имел от Маргариты Стаффорд, по понятным причинам были огорчены таким развитием событий. Их отец собрал значительные земли на севере, которые простирались от Йоркшира до Нортумберленда и от Дарема до Камбрии, и предполагалось, что все они перейдут в руки его старшего сына от Маргариты, его тезки Ральфа. Хотя младший Ральф оставался наследником графства Уэстморленд, которое передавалось только старшему законному наследнику мужского пола, он больше не мог владеть замками Рэби, Шериф Хаттон, Ричмонд и Миддлхэм. Это был горький удар по старшему потомству рода Невиллов, и он, безусловно, свидетельствовал о безжалостности графа. Независимо от того, мог ли он предвидеть это или нет, благосклонность Уэстморленда к Бофортам привела к жестокому разрыву между его детьми от двух матерей, который постепенно вылился в открытый конфликт, всего через десять лет после смерти графа.

Безжалостная или нет, но мотивация решения Уэстморленда была прагматичной — он просто надеялся на то, что его дети, Бофорты-Невиллы, достигнут более значимых высот, чем можно было ожидать от Стаффордов-Невиллов. Большая часть влияния графа на севере, которое в основном было обусловлено постоянным накоплением пожалований и земель за счет его соперников в этом регионе, пришла благодаря его браку с Джоанной Бофорт. Ральф Невилл, несомненно, был искусным администратором, а также регулярно проявлял себя как хороший военачальник в опасном пограничном  с Шотландией районе, но продвижение по службе в средневековье часто зависело от влиятельных связей — а их у его второй жены было в избытке.

Для Джоанны ситуация была менее сложной: будущее ее детей имело первостепенное значение, и тот факт, что их пылкая дочь Сесилия стала матерью королей Эдуарда IV и Ричарда III, подтверждает правильность их решения. Однако, по иронии судьбы, именно внуки графини от Ричарда Йорка и Сесилии несли основную ответственность за уничтожение рода Бофортов во время Войны Роз.

К 1413 году, когда племянник Джоанны Бофорт взошел на трон под именем Генриха V, граф Уэстморленд