Незадолго до этого дофина постигло личное горе. В октябре 1360 года в течение двух недель умерли его единственные дети, малолетние дочери Иоанна и Бонна. Возможно, они умерли от чумы, но это доподлинно неизвестно. После того дофин и сам заболел, в результате чего у него выпали почти все волосы, а сам он «высох, как палка». Симптомы указывали на отравление мышьяком, и стали распространяться слухи, что дофина отравили по указке Карла Наваррского. Еще в апреле 1359 года, когда англичане подошли к Реймсу, Карл, опасаясь, что королем Франции может стать Эдуард, замыслил взойти на престол. По разработанному им плану, вооруженным отрядам надлежало войти в Париж, захватить Лувр, убить дофина и членов его Совета, а затем занять в столице ключевые позиции. Но этот заговор, как и многие другие замыслы Карла Наваррского, не удался, а узнавший о заговоре дофин прервал с Карлом все отношения, и последнему осталось, как обычно, плести новые, не приносившие ему успеха интриги.

Судьба французских заложников зависела не только от выкупа Иоанна, но и от передачи англичанам земель в соответствии с заключенным в Бретиньи договором. По словам одного хрониста, французы слишком легко заключили мир, не подумав о людях, живущих на территориях, передаваемых неприятелю. Узнав об условиях мира, заключенного с англичанами, жители Ла-Рошели стали умолять короля не отдавать их под владычество иноземцев, сообщив, что отдадут половину своего достояния, если не окажутся под управлением англичан. «Мы можем согласиться на власть англичан словами, — говорили жители Ла-Рошели, — но сердцем и душой — никогда». Жители Каора жаловались на то, что король превратил их в сирот. Небольшой городок Сен-Ром-де-Тарн отказался впустить английских чиновников, хотя на следующий день все же послал делегацию к иноземцам — принести клятву верности английскому королю.

Большинство французов ненавидело англичан. Одним из ярых противников иноземцев был Ангерран Рангуа, в свое время командовавший французами, совершившими нападение на Уинчесли. Он жил в Аббевиле, переходившем в управление англичанам, но Рангуа наотрез отказался признать власть чужеземцев. Тогда его доставили в Англию, на время посадили в тюрьму, а затем привезли к дуврским утесам, где перед ним поставили выбор: или присягнуть на верность английскому королю или быть сброшенным вниз, на скалы. Рангуа сам бросился с утеса.

Между тем освобождение французских заложников постоянно задерживалось из-за несвоевременных выплат в счет выкупа короля и медленной передачи французских земель в управление англичанам. Также предполагалось, что некоторых французских заложников заменят другие люди, но желавших отправиться на чужбину нашлось немного, а те, кто все-таки согласился, не устроили Эдуарда по своему социальному положению. Наконец в ноябре 1362 года четверо потерявших терпение самых знатных заложников — сыновья короля, Людовик и Иоанн, а также герцоги Орлеанский и де Бурбон, ожидавшие, что их освободят годом раньше — заключили собственный договор с Эдуардом, согласно которому обязались заплатить английскому королю двести тысяч флоринов и передать ему земли, принадлежавшие герцогу Орлеанскому, в обмен на свою свободу и свободу еще четырех заложников. Согласно этому договору, им следовало находиться в Кале до выполнения оговоренных условий, дав при этом честное слово, что они не сбегут раньше времени. Однако для вступления в силу договора требовалось согласие Иоанна, но французский король поставил обязательное условие: в число выпускаемых на свободу заложников должны войти граф д’Алансон, граф Овернский и сир де Куси. Теперь уже запротестовал Эдуард: люди, названные Иоанном II, были знатнее тех, кого вместе с четырьмя высокопоставленными французами собирались выпустить на свободу. Завязалась долгая, ни к чему не приводившая переписка, и в конце концов Иоанн, удалившийся в Авиньон, потерял к этим переговорам какой бы то ни было интерес и устранился от них. Когда все-таки сыновья короля Людовик и Иоанн, а также герцоги Орлеанский и де Бурбон возвратились на родину, а Ангерран де Куси остался в заложниках, к нему вскоре проявили особый целенаправленный интерес английский король и его дочь Изабелла.

Затем произошло немыслимое, поразительное событие: король Иоанн, для возвращения которого из неволи его страна многим пожертвовала, неожиданно добровольно вернулся в Англию. Мотивы его поступка по сю пору невыяснены, поэтому остановимся на событиях, предшествовавших невероятному решению французского короля. Вернувшись на трон, Иоанн сделал попытку покончить с разбойничьими отрядами, терроризировавшими Центральную Францию. К выполнению этой задачи он привлек «протоиерея» Арно де Серволя, а также выделил отряд из двухсот рыцарей и четырехсот лучников под командованием графа де Танкарвиля и прославленного Жака де Бурбона, графа де ла Марша, правнука Людовика Святого, который в сражении при Креси спас жизнь королю Филиппу VI.

В апреле 1362 года, вопреки мнению Арно де Серволя, де Танкарвиль и Жак де Бурбон приказали своему войску атаковать расположившийся на высоте у Бринье, городка близ Лиона, большой разбойничий отряд. Разбойники встретили нападавших градом камней, пробивавших доспехи рыцарей и валивших с ног лошадей. Отбив атаку, разбойники сами перешли в наступление, орудуя короткими пиками, и разбили противника наголову. Жак де Бурбон, его старший сын и племянник погибли на поле боя, а де Танкарвиль попал в плен. После этого Лион обзавелся пушками, укрепил крепостные стены и стал выставлять на них караульных. Сельская местность осталась во власти непобежденных разбойников.

После этой огорчительной неудачи Иоанн отправился в Авиньон, где пробыл около года. Но еще до этой поездки он пришел к мысли организовать крестовый поход — предприятие, от которого двумя десятилетиями ранее пришлось отказаться в связи с начавшейся войной с англичанами. Хотя Иоанн не мог ни защитить собственную страну, ни внести за себя надлежащий выкуп, ни освободить из неволи несколько десятков заложников, находившихся в Англии вместо него, он решил привести в исполнение невыполненный обет своего отца, поклявшегося отправиться в крестовый поход. Фруассар полагал, что Иоанн надеялся этим предприятием удалить из страны разбойников, которые, как он посчитал, вольются в ряды крестоносцев, но «держал сие намерение при себе». Но Иоанн мог руководствоваться и другими мотивами. Возможно, он полагал, что крестовый поход — подходящее предприятие для «христианнейшего короля», а может быть, считал, что участием в крестовом походе искупит свое недавнее унижение. Могло быть и иначе: во Франции царил хаос, и Иоанн просто искал предлог, чтобы покинуть страну.

У Иоанна был еще один замысел: присоединить к французскому королевству Прованс с входившим в него Авиньоном. Для этого он намеревался жениться на Иоанне, королеве Неаполитанского королевства, имевшей на Прованс наследственные права. К тому времени она второй раз овдовела и, как поговаривали, свое второе вдовство устроила собственными руками. Однако в связи с тем, что Неаполь был папским фьефом, замужество Иоанны должно было быть одобрено папой. Считалось, что француз Иннокентий VI возражать не станет.

Однако в сентябре 1362 года, когда Иоанн был на пути в Авиньон, Иннокентий неожиданно умер. Урбан V, его преемник, хотя тоже был французом, посчитал, что вхождение Прованса во французское королевство является угрозой папской самостоятельности, и согласия на новый брак Иоанны не дал. А вот новый крестовый поход Урбан V одобрил, тем более что его проведение поддержал номинальный король Иерусалима и король Кипра Пьер де Лузиньян, прибывший в Авиньон для устроения дел.