Из Ниццы Джема повезли в глубь страны, из замка в замок на юго-востоке Франции, его тюремщики, мотивированные значительной ежегодной суммой, которую они получали от султана в качестве гарантии заключения. Мехмед посылал различных агентов, чтобы те проверяли местонахождение его брата и сообщали, чем он занят. Одним из них был моряк по имени Барак, который в 1486 году путешествовал из Стамбула через итальянскую границу во Францию — опасная поездка, во время которой он был ограблен. Он прибыл в Геную, откуда его повезли в Турин на встречу с Карлом, герцогом Савойским, который встречался с Джемом прежде и пытался помочь ему бежать. Сначала герцог отнесся к Бараку с подозрением, но согласился дать проводника, если Барак сможет оплатить расходы. Барак не смог занять достаточно денег и сел на корабль, идущий из Генуи, намереваясь вернуться в Стамбул. Сойдя на берег в Рапалло, к югу от Генуи, он подслушал важный разговор, возможно в таверне: рыцари собираются переправить Джема в Италию. Это побудило Барака вернуться в Геную, где он ухитрился занять достаточно денег, необходимых для продолжения поисков, и с предоставленным герцогом проводником отправился из Турина на запад; они перешли Альпы через перевал Монт-Сени, следуя сообщениям местных информаторов о том, что видели «турок», пока не достигли отдаленной крепости Бурганёф в центральной Франции, примерно в 40 километрах от Абюссона, родины Пьера де Обюссона, Великого гроссмейстера рыцарей-иоаннитов. Как сообщил Барак допрашивавшим его по возвращении в Стамбул:

Так близко он подобрался к Джему. Дальнейшей помощи от Карла Савойского, который должен был разобраться с восстанием на собственных землях, не последовало, и, похоже, агент Баязида Барак был вынужден вернуться в Стамбул.

Подстрекаемый матерью Джема Чичек-хатун, которая после отъезда сына осталась в Египте, мамлюкский султан Вахид-бей в первые месяцы правления Баязида периодически переписывался с рыцарями Родоса о возможности посылки Джема обратно в Каир, но ему всегда отказывали. Он участил свои попытки после 1485 года, когда мамлюки воевали с османами, а в 1487–1488 годах обратился к французскому королю Карлу VIII через посредничество Лоренцо Медичи и предложил 100 000 золотых дукатов за возвращение Джема в Каир. Но к тому времени уже шли переговоры, о которых удалось подслушать Бараку: папа Иннокентий VIII пытался убедить короля Карла, что для христианского мира будет лучше, если Джема передадут ему. В марте 1489 года Джем прибыл в Рим, в Ватикан, ему было 29 лет.

Заполучив Джема, папа начал собирать силы для похода против Баязида и осенью 1489 года отправил посла к Вахид-бею, чтобы начать переговоры о помощи мамлюков. Вахид-бей, все еще надеясь, что Джем вернется под его опеку, пообещал Иннокентию, что бывшее королевство крестоносцев Иерусалим может быть восстановлено, если папа пришлет Джема в Египет. Но в 1490 году умер Матиаш Корвин, который годами пытался взять Джема под свою защиту сам по себе или от лица Вахид-бея, и началась новая дипломатическая игра. Баязид и папа обменялись послами, и в конечном итоге было достигнуто соглашение, такое же, как между рыцарями Родоса и Баязидом. Папа пообещал быть сторожем Джему и не использовать его против Баязида, за это он должен был ежегодно получать сумму в 40 000 золотых дукатов и получить христианские реликвии, наприаер наконечник копья, пронзившего бок Христа во время распятия, которые хранились в Стамбуле со времен «Завоевания». Сделка была заключена, при изрядном дефиците доверия с обеих сторон.

Шли годы пребывания Джема в плену, полные тоски. В неприступной крепости, в Бурганёфе, которая сохранилась до наших дней, жизнь в ссылке, в окружении лишь нескольких слуг, стала тяготить его, и интерес к продолжению вражды с братом ослабел. После того как он прибыл в Рим, значительные суммы тратились на его содержание, но Джем ничего не хотел так сильно, как вернуться на родину или хотя бы, писал он, прожить остаток жизни в Иране, арабских странах или Индии. Несмотря на туманную перспективу крестового похода, он не смог, как сказал папе, отказаться от своей веры, «даже ради власти над миром». В письмах, доставлявшихся Баязиду из Рима, Джем выражал свое сильнейшее желание покинуть тюрьму и, видимо, был вполне искренен, когда писал, что готов забыть о разногласиях между ними и поклясться в верности брату.

Будучи пленником в Риме, Джем, возможно слышал о драме, разыгравшейся вдалеке от его родины, отзвук которой докатился и до Стамбула. 2 января 1492 года город Гранада в Андалузии на юге Испании, резиденции исламской династии Насридов, сдался армиям Фердинанда Арагонского и Изабеллы Кастильской; месяц спустя в Риме была проведена пышная церемония, чтобы отпраздновать испанскую победу. Память о падении Константинополя была еще свежа в умах христианского мира, а победа над «маврами» приветствовалась как реванш за множество бед, пережитых по вине османов. Султан Мехмед II принял делегацию андалузских мусульман, искавших его защиты, в 1477 году, за год до официального начала действия испанской инквизиции, а Баязид предоставил им убежище после падения Гранады. Хотя никто не принуждал делать выбор до 1501 года, многие приняли его предложение, и в течение нескольких лет три большие церкви в Фессалониках были превращены в мечети, в которых проходили службы для тех, кто принял османское убежище. После многих превратностей судьбы остатки андалузской мусульманской общины были вытеснены с Иберийского полуострова между 1609 и 1614 годами.

Евреям из Испании, называемым сефардами, повезло меньше. Они находились под давлением задолго до начала инквизиции, и многие обратились в католичество. Тем не менее инквизиция не доверяла искренности новообращенных, и многие не выдержали испытания и были убиты. Исповедовавшие иудаизм были высланы из страны в 1492 году и эмигрировали в Португалию, Францию и другие европейские страны. Многие отправились жить в Османскую империю, где встретились с грекоговорящими евреями, называвшимися романиотами, и немецкими евреями, называвшимися ашкенази, также высланными из своих стран. Как сообщают, султан Баязид приветствовал испанских евреев следующим высказыванием: «Можно ли назвать такого короля [т. е. Фердинанда] мудрым и благоразумным? Он обедняет свою страну и делает богаче мою империю». Самая многочисленная волна еврейской иммиграции на османские земли имела место между 1492 и 1512 годами и была вызвана преследованиями, которые в этот период распространились по всей Европе. Баязид хотел, чтобы беженцы сосредоточивались в провинциальных центрах, и вскоре общины сефардов были во многих городах империи. Однако их появление не приветствовалось в Стамбуле, и новые синагоги в столице были закрыты, а известных евреев поощряли к принятию ислама.