Участники крестового похода планировали достичь Святой земли, а по дороге расчистить путь, который шел по Малой Азии (нужно сказать, что император полностью поддерживал выполнение этой вторичной для крестоносцев задачи). Поэтому Стефан Блуаский предложил двигаться по дороге, проходившей через Дорилей и Конью, которой в свое время воспользовались участники Первого крестового похода. Раймунд с ним согласился, так как это предложение вполне соответствовало инструкциям, полученным им от Алексея. Однако у ломбардцев, составлявших основу войска, было другое мнение. Они считали своим героем Боэмунда, и только он, по их мнению, был единственным полководцем, способным вести их к победе. Сам Боэмунд в это время находился в плену у эмира из династии Данишмендидов в его замке в Никсаре, расположенном далеко на северо-востоке Анатолии. Ломбардцы настаивали, что в первую очередь следует освободить Боэмунда. Раймунд и Стефан пытались спорить, но тщетно. О том, что Раймунд завидует Боэмунду, знали слишком многие; к тому же, несмотря на все его качества, он ни разу не проявил себя как сильный военный лидер, а репутация Стефана была испорчена воспоминанием о проявленной им трусости. Миланский архиепископ и Альберто де Бьяндрате поддержали ломбардцев, в итоге сумевших добиться своего. Выйдя из Никомедии, войско повернуло на восток и направилось в сторону Анкары. Большая часть этой территории находилась во власти византийцев, благодаря чему крестоносцы по пути могли спокойно раздобыть пищу. В самой Анкаре управлял султан из династии Сельджукидов Кылыч-Арслан, но, прибыв туда 23 июня, крестоносцы увидели, что город плохо укреплен, и взяли его приступом. Затем Анкару передали во власть императора, сделав таким образом очень правильный шаг.

Покинув Анкару, крестоносцы отправились на северо-восток по пути, который вел в Гангру в Южной Пафлагонии, собираясь выйти на большую дорогу в сторону Амасьи и Никсара. Уже по пути в Гангру у крестоносцев начались проблемы. Кылыч-Арслан отступал, двигаясь перед ними и опустошая при этом области, по которым шел, вследствие чего участникам похода не удавалось найти для себя пищу. Тем временем о приближающемся войске узнал Малик Гази из династии Данишмендидов. Он поспешил возобновить союз с Кылыч-Арсланом и уговорил правителя Алеппо Ридвана прислать с юга подкрепление. В начале июля крестоносцы достигли Гангры, но там их встретили полностью готовые к бою сельджуки. Крепость действительно оказалась неприступной. Разграбив окрестности и забрав столько еды, сколько можно было унести, крестоносцы были вынуждены уйти. Они были вымотаны, их мучило чувство голода, да и июльскую жару на Анатолийском нагорье вынести непросто. Охваченные разочарованием, они прислушались к словам графа Раймунда, посоветовавшего им отступить на север, к Кастамону, а оттуда — в один из византийских городов на побережье Черного моря. Это отступление должно было спасти войско от неизбежного уничтожения. Раймунд, несомненно, думал, что император простит его за непослушание, ведь он планировал на обратном пути захватить два города: Анкару и Кастамону — и передать их Алексею. Не случайно последний из этих двух городов носил название Castra Comnenon — именно оттуда происходила правившая в Византии династия.

Крестоносцы двигались в сторону Кастамону медленно, терпя по пути многочисленные лишения. Воды не хватало, а турки уничтожили весь урожай. К тому же турки быстро двигались по шедшим параллельно дорогам и нападали то на авангард, то на арьергард крестоносцев. Не успели они уйти на более или менее приличное расстояние, как внезапно авангард войска христиан, состоявший из 700 ломбардцев, подвергся атаке. Охваченные паникой ломбардские рыцари бежали, лишив таким образом защиты пехоту. Стефан Бургундский с трудом сумел сплотить авангард и оттеснить противника. На протяжении нескольких последовавших за этим дней Раймунд, командовавший арьергардом, был вынужден отбивать постоянные нападения турок. Армии вскоре пришлось двигаться сплоченными рядами, из-за чего ее предводители лишились возможности отправлять фуражиров на поиски еды и разведчиков для изучения обстановки.

К тому времени как крестоносцы добрались до окрестностей Кастамону, полководцам стало ясно, что спастись можно только одним способом — двигаться прямо в сторону побережья. Но ломбардцы снова отказались прислушиваться к голосу разума. Возможно, они винили во всех своих проблемах Раймунда, выбравшего неправильную дорогу до Кастамону. Может, ломбардцы думали, будто, когда они покинут территорию, контролируемую сельджуками, и окажутся во владениях Данишмендидов, все станет гораздо проще. Не желая отказываться от своей блажи, они настаивали на необходимости снова повернуть на восток. Военачальникам пришлось согласиться с этим решением, ибо они понимали: если их небольшие отряды отделятся от основной части войска, то вряд ли сумеют выжить. Крестоносцы двинулись вдоль реки Галис на территорию, находившуюся под властью эмира из династии Данишмендидов. Беспричинно разграбив христианскую деревню, оказавшуюся у них на пути, участники похода дошли до города Мерсивана, расположенного посередине пути между рекой и Амасьей. Там коннетабль Конрад попал в засаду и лишился нескольких сотен солдат из своего отряда. Теперь стало ясно, что Данишмендиды и их союзники стягивают силы, готовясь к атаке. Раймунд также стал готовить войско христиан к сражению.

Когда началась битва, турки прибегли к своей излюбленной тактике. Их лучники внезапно бросились на врага, выпустили стрелы, а затем снова отступили. При этом тотчас же с другой стороны появились новые стрелки. Крестоносцам не дали возможности перейти к бою врукопашную, так как в нем они могли воспользоваться своими преимуществами — физической силой и более качественным оружием. Вскоре у ломбардцев сдали нервы. Они во главе с Альберто де Бьяндрате в панике бежали с поля боя, оставив на произвол судьбы женщин и священнослужителей. За ними почти сразу последовали наемники-печенеги, решившие не дожидаться неизбежного конца. Сражавшийся с ними Раймунд в какой-то момент понял, что остался один. Ему удалось вместе со своими телохранителями отойти к небольшому скалистому уступу, где он держал оборону до тех пор, пока его не спасли Стефан Блуаский и Стефан Бургундский. Франкские рыцари и германские солдаты под предводительством Конрада храбро сражались на протяжении всей второй половины дня, но противник постепенно оттеснял их к лагерю. К ночи Раймунд понял, что с него достаточно. Под прикрытием темноты он бежал в сопровождении своего телохранителя, бывшего родом из Прованса, и отряда византийцев, двигаясь в сторону побережья. Узнав о его бегстве, другие участники похода сложили оружие. Остатки армии крестоносцев стали спасаться бегством еще до рассвета, оставив туркам лагерь и сопровождавших их людей, не участвовавших в сражении.

Турки остановились, чтобы разделаться с женщинами и стариками, оставшимися в лагере, а затем погнались за беглецами. Скрыться от них сумели только рыцари, ехавшие верхом. Турки догнали и почти полностью перебили пехотинцев. Все ломбардцы, упорство которых привело к беде, за исключением своих предводителей, были уничтожены. Погибло четыре пятых войска крестоносцев. В руках турок оказались многочисленные богатства и большое количество оружия, а восточные гаремы и рынки рабов наполнились молодыми женщинами и детьми, захваченными в тот день турками.