Неприятности брата вызвали напряжение во взаимоотношениях Лукреции с мужем. Альфонсо не нравилось то, что она поддерживает Чезаре. Эрколе полагал, что как правитель Романьи Чезаре не так опасен Ферраре, как мощная Венеция, Альфонсо же вел себя осторожнее и через посла делла Пинья заигрывал с Венецией. По свидетельству Санудо, 21 октября Альфонсо пожаловался Пинье, что венецианская синьория «относится к нему плохо, и он не знает почему. Уж не потому ли, что Лукреция послала людей на помощь Валентинуа? Что до него, то сам он не дал Чезаре ни одного чентезимо…» Посол заключает, что «было бы неплохо действовать вместе с доном Альфонсо. раз он испытывает вражду к Валентинуа…» Эрколе, стараясь изо всех сил войти в доверие к новому папе, отправил к нему 3 ноября на коронацию Ипполито и Ферранте, папского крестника.

Как бы сильно ни отличалось отношение к Чезаре (не исключено, что Альфонсо вел с венецианцами закулисную игру), какое бы сильное отвращение ни испытывал Альфонсо к литературному окружению Лукреции, физически его тянуло к жене — с первого года их брака и до самой ее смерти. Лукреция почти постоянно была беременна, и желание сделать ее беременной превратилось у Альфонсо едва ли не в одержимость. Чем больше у человека было детей, тем выше оценивалась его потенция. У деда Альфонсо, Никколо III, было столько детей, законных и внебрачных, что официальные составители генеалогического древа, дойдя до шестнадцати, сдались, добавив после шестнадцатого, Бальдассаре: «…и много других внебрачных». У Эрколе было восемь детей. 17 ноября Проспери доложил Изабелле, что, по слухам, Лукреция из-за новой беременности чувствует себя неважно. То, что это так и есть, подтвердилось в конце месяца. Прошел год с тех пор, как она родила мертвую девочку. Тогда Альфонсо пообещал ей ещё ребенка. Она очень на это надеялась, однако на следующий год у нее случился выкидыш. Единственное письменное свидетельство этому содержится в сентябрьском письме от 1505 года, присланном ей Бембо. Там говорится о «сильном разочаровании и напрасных надеждах прошлого года».

Тем временем дела Чезаре в Риме шли из рук вон плохо. Юлий II был воинственным папой с большими амбициями. Как и Александр, он намеревался взять папское государство под свой контроль и расширить свое влияние там, куда не успели добраться Александр и Чезаре. На Чезаре он смотрел как на расходное средство, от которого избавится, как только с его помощью добьется своей цели. Несколько месяцев играл папа с Валентинуа в кошки-мышки: он хотел, чтобы тот сдал ему последние свои крепости в Романье. 1 декабря пришло известие, что кавалерийские отряды Микелотто взяты в плен возле Ареццо. По свидетельству Макиавелли, сообщение это привело папу в восторг: «Ему казалось, что, взяв в плен этого человека, он раскроет все грабежи, кражу церковного имущества и другие злодеяния последних одиннадцати лет, совершенные в Риме против Господа и человека». На радостях Юлий сказал Макиавелли, что с нетерпением ожидает разговора с Микелотто, хочется «узнать о его фокусах: в дальнейшем это поможет ему лучше управлять Церковью». Расстроенный Чезаре пообещал передать Юлию некоторые свои крепости в Романье. Тем не менее, когда папский представитель явился в Чезену, братья Рамирес, кастеляны, состоявшие на службе у Чезаре, избили гонца и повесили его на стене замка, после чего послали папе издевательское письмо. Юлий рассвирепел и 20 декабря заключил Чезаре в башню Борджиа, в ту самую комнату, в которой Микелотто три года назад убил Альфонсо Бисельи.

В начале января 1504 года Чезаре получил еще один удар: по дороге в Феррару захватили две его повозки с имуществом. Одна повозка следовала из Чезены, другая — из Рима. В повозке из Чезены было много добра из комнат Александра, взятого Микелотто в день смерти понтифика. Там была инкрустированная драгоценными камнями каминная доска из базилики Святого Петра, запрестольные образа, золотые чаши и драгоценные камни, восемьдесят огромных жемчужин и «кот из золота с двумя великолепными бриллиантами вместо глаз». Переправляли эти вещи от имени Ипполито, а это доказывает, что под влиянием Лукреции Эсте до сих пор готовы были помогать Чезаре. Ипполито и Лукреция делали это активно, как явствует из апрельского письма 1504 года, адресованного Ипполито, но упоминающего Лукрецию. Автор письма — Хуан Артес, командир галер Чезаре. В качестве «хорошей новости» Артес сообщил, что достигнуто соглашение, в результате которого кастеляны Валентинуа передадут папскому представителю его крепости, после чего Чезаре выпустят из Остии и он беспрепятственно приедет в Неаполь. В Неаполе Чезаре, и сам большой обманщик, оказался жертвой двойного предательства. Менее всего ожидал этого Валентинуа от «великого капитана», Гонсальво Кордовского. 26 мая, накануне отбытия корабля в Тоскану, Чезаре пришел проститься и был арестован капитаном, хотя до сих пор в отношении к нему Шнсальво не было и намека на подобное развитие событий. Чезаре стал жертвой международной интриги между папой и королевской четой Испании. Папа боялся выпущенного на свободу Валентинуа, а короли всячески угождали папе, желая добиться от него двух вещей: во-первых, разрешения на брак Катерины Арагонской с братом покойного ее мужа, будущим английским королем Генрихом VIII, а во-вторых, инвеституры на Неаполитанское королевство. Кроме того, имеются сведения, что вдова Хуана Гандийского, убежденная в том, что Чезаре убил ее мужа, лично обратилась к королю Испании с просьбой вернуть Валентинуа и казнить за его совершенное им преступление. В августе Чезаре лишился последней своей собственности в Романье. и преданный ему кастелян, Гонсаль-во де Мирафуэнтес, выехал из крепости Форли с поднятым вверх копьем. С этого момента Чезаре потерял все, ибо в Форли хранилось у него добро, награбленное в Урбино, включая и знаменитую библиотеку. Со слезами на глазах Гвидобальдо вернул себе утраченную собственность, а папские агенты схватили остальное имущество. Несколько дней спустя арестованного Чезаре переправили на корабле в Испанию.

Лукреция сокрушалась о судьбе брата. Эрколе написал ей письмо, из которого видно, какую симпатию завоевала у него невестка: «Не печальтесь, мы любим Вас искренно и нежно, как родную дочь, а потому не оставим его. Мы хотим быть ему добрым отцом и хорошим братом». Тем не менее Эрколе мало что мог сделать, разве что «уповать на Господа нашего, который не бросает тех, кто в Него верит».

И в самом деле, когда пришло письмо Артеса, понапрасну ее обнадежившее, Лукреции не к кому было обратиться, кроме свекра, состояние здоровья которого сильно ухудшилось. 13 апреля Альфонсо уехал в продолжительное путешествие по европейским дворам. За это время он посетил Париж, в Брюсселе познакомился с будущим Карлом V, а в Англии его «обласкал» король Генрих VII. Ипполито успел поссориться и с отцом, и с понтификом. Гонец, прибывший к Ипполито, привез ему распоряжение папы, чтобы он передал некоторые свои феодальные владения другому лицу. Ипполито рассвирепел и избил несчастного гонца. Когда возмущенный Эрколе приказал ему написать папе письмо с извинениями, тот в грубой форме отказался и был сослан в Мантую, после чего отец и сын обменялись сердитыми письмами. «Поскольку ты был дерзок и неблагодарен, не удивляйся, что мы выслали тебя из нашего государства. Мы думаем, что такое поведение не дает тебе права быть подле нас», — так 24 апреля ответил Эрколе на оскорбительное письмо сына. В тот же день по реке По прибыл Франческо Гонзага, с тем чтобы примирить Эрколе и Ипполито. Вмешательство его оказалось успешным, и кардинал успел к устраиваемым каждый год в Ферраре скачкам в честь святого Георгия. Лошадь Изабеллы выиграла в тот раз первый приз — Палио.