Значительное место в жизни Якова занимали личные пристрастия, которые принесли ему немало недоброжелателей и отразились в политической сфере. Как уже говорилось, в 1659 году он тайно обручился с Анной Хайд (1638–1671), дочерью Эдварда Хайда, графа Кларендона. Воспитанная в англиканской вере, она, возвратившись в Англию, по некоторым сведениям сразу перешла в католицизм (по другим данным — перед самой смертью, в 1671 году). 3 сентября 1660 года герцог Йоркский обвенчался с ней в Лондоне, хотя Карл II и многие при дворе и в парламенте не одобряли этот брак — и не только по причине нового вероисповедания невесты. Дело в том, что репутация Анны была подмочена. До Якова у не отличавшейся особой красотой, но исключительно притягательной и стильной фрейлины уже было двое возлюбленных, и к тому же к моменту венчания она находилась на восьмом месяце беременности. Яков и Анна не стеснялись своей любви и нередко целовались на публике, что тогда считалось неприличным. Рожденный вскоре после свадьбы их сын умер маленьким. Вообще же у герцога и герцогини Йоркских родилось восемь детей, шестеро из которых скончались в детстве. Выжили лишь две дочери — Мария (1662–1694), впоследствии ставшая женой Вильгельма III Оранского, и Анна (1665–1713), вышедшая замуж за датского принца Георга. Хотя позже герцог Йоркский официально перешел в католицизм, по настоянию короля Анна и Мария воспитывались в англиканской вере. Сэмюэл Пипс замечал, что Яков обожал своих детей настолько, что «играл с ними как обычный отец», забыв о печати, которую членство в королевской семье обычно накладывает на общение с детьми.[252] Анна посвятила свою жизнь супругу, который, прежде чем принять какое-либо решение, обычно советовался с ней. Тем не менее он, как и брат-король, был неравнодушен к женскому полу и имел фавориток.

Герцог Йоркский обожал свою первую жену и любил вторую, постоянно чувствовал вину за то, что не был верен обоим, и наказанием за это впоследствии объяснял свое изгнание из Англии. В молодости он имел приятную наружность, но красивым назвать его было нельзя. С годами его кожа приобрела болезненный желтоватый оттенок. В отличие от отца, Яков, как и Карл, был высок, около 180 сантиметров ростом, но — по мнению настроенных против него авторов-современников — не отличался изяществом и королевской статью. Карл II насмешливо утверждал, что фаворитки Якова больше являлись его исповедницами, что не помешало ему как-то сказать французскому послу: «Я не верю, что существует где-нибудь два таких человека, которые любят женщин больше, чем вы или я, но мой брат любит их больше».[253]

Чувствительный и кающийся, мрачный и отважный, Яков Стюарт представлял собой контраст по сравнению с Карлом, чья терпимость увеличивалась в соответствии с ростом его пороков. В том, что касается женщин, он обладал весьма неразборчивым вкусом. Как выразилась одна из его фавориток, Кетрин Седли (1657–1717), дочь баронета Чарльза Седли, «невозможно почувствовать, что он видит в любой из нас. Если бы мы были все уродливы и кто-нибудь из нас имел при этом ум, он не смог бы понять, кто это».

В 1668 году внимание Якова привлекла двадцатилетняя фрейлина герцогини Йоркской Арабелла Черчилль. Если художник Лели не очень покривил душой, она была яркой блондинкой, обладательницей голубых с поволокой глаз и чувственных губ. Ее родным братом был не кто иной, как Джон Черчилль, будущий герцог Мальборо (1650–1722), которому она вольно или невольно помогла сделать карьеру. Поэтому биографы Мальборо дружно отмечают, что Черчилли, как и другие герцогские фамилии, обязаны своим первоначальным взлетом падению женщины. Романтическая история, попавшая на страницы книг о знаменитом английском полководце и политике, такова. Арабелла Черчилль была, на взгляд окружающих, девушкой бесцветной и не пользовалась успехом у кавалеров; она была высока и, если исходить из канонов того времени, слишком худа. Но однажды во время верховой прогулки ее лошадь понесла, и девушка упала, потеряв сознание. Она лежала в весьма небрежной позе, и прибывший первым ей на помощь герцог Йоркский растерялся, увидев формы изумительной красоты. Подоспевшая свита также была поражена этим открытием. Очнувшись, ничуть не пострадавшая Арабелла сумела воспользоваться произведенным впечатлением, и Яков не на шутку в нее влюбился.

В результате молодая фрейлина попала в постель будущего английского короля, и связь их имела весьма длительное продолжение. Арабелла родила Якову четырех детей — двух сыновей, Джеймса и Генри, и двух дочерей, Генриетту и Арабеллу. Все они носили фамилию Фитцджеймс, с приставкой «фитц», традиционной для внебрачных детей знати. Один из них — Джеймс Фитцджеймс, будущий герцог Бервик (1670–1734), после Славной революции 1688 года последовал за отцом в изгнание во Францию и впоследствии сделал блестящую карьеру при дворе Людовика XIV, став одним из выдающихся маршалов Франции в годы войны за Испанское наследство. По иронии истории племянник и его дядя — герцог Мальборо оказались в разных политических лагерях.[254]

В 1671 году Анна Хайд умерла, и Карл разрешил Якову жениться на католичке — дочери моденского герцога Альфонсо IV пятнадцатилетней Марии (1658–1718). 20 сентября 1673 года Яков и Мария заключили так называемый прокси-брак (процедура бракосочетания была проведена в отсутствие одного брачующихся) по католическому обряду, а 21 ноября, когда Мария прибыла в Англию, оксфордский епископ Натаниэль Грей повторил церемонию по англиканскому образцу. Многие в Англии тогда полагали, что новая жена герцога Йоркского — агент Папы Римского. Ситуация повторялась, что было недобрым знаком, — такие же настроения имели место при Карле I Стюарте, когда он женился на французской принцессе. Именно Мария в самый ответственный момент жизни Якова подарит ему долгожданного сына. Но хотя вторая жена была двадцатью годами моложе мужа, она тоже, несмотря на молодость и красоту, имела причину жаловаться на его непостоянство. Особенно сильную страсть Яков испытывал к Кетрин Седли, и только после восшествия на престол, когда королева стала устраивать ему постоянные сцены, он с огромным трудом разорвал эту связь.[255]

Должность лорд-адмирала плюс доходы от почтового ведомства и винных тарифов, отданные ему Карлом после утверждения на троне, давали Якову возможность содержать собственный двор. Кроме того, в 1664 году король подарил брату территорию в Северной Америке между реками Дэлавер и Коннектикут. Правда, часть колонии Яков отдал в собственность Джорджу Картерету и Джону Беркли. Последовавшее за этим завоевание англичанами территории Новых Нидерландов и ее главного порта Нового Амстердама привело к образованию нового штата и города, названных в честь Якова Нью-Йорком. Находившийся в 240 километрах к северу от реки Гудзон форт Оранж был также переименован в честь Якова — в Олбани. Колониальная политика герцога Йоркского была направлена на основание новых поселений, освоение природных богатств Новой Англии, усиление контроля метрополии и ликвидацию самоуправления колоний, но параллельно и на установление в колониях веротерпимости. В Нью-Йорке, где основную массу населения составляли пуритане, была издана его декларация, провозглашавшая свободу совести. Все эти меры словно предваряли его политическую линию в качестве будущего монарха Англии. Яков также возглавлял Королевскую Африканскую компанию и компанию по работорговле. В 1683 году он стал управляющим Компании Гудзонова залива, но на деле принимал мало участия в управлении ею.[256] Герцога Йоркского отвлекали дела и мысли, связанные с политикой, религией и его положением как наследника трона.