Это не помешало Хубилаю продолжать делать примирительные жесты. В 1261 г. он самолично отпустил на свободу 75 сунских купцов, которых его войска захватили на границе; в следующем году разрешение вернуться на родину получили еще 40 торговцев, а два года спустя Хубилай освободил 57 купцов. Так же он поступил уже в 1269 г. еще с 45 купцами. В 1264 г. сделал выговор своим военачальникам, казнившим двух плененных сунских полководцев без суда и следствия. Хубилай, стремившийся переманить как можно больше дезертиров из сунской армии, был крайне недоволен такой бессмысленной жестокостью. Сам он награждал перебежчиков землями, тканями и стадами. Эта политика приносила успех, так как с начала 1260-х гг. приток перебежчиков из Южного Китая не ослабевал. Самым знаменитым из них был Лю Чжэн, позднее проявивший себя в войне с Сун.

И все же эти миролюбивые шаги не привели к спаду напряжения. В китайских летописях постоянно встречаются упоминания о стычках между монгольскими и сунскими войсками. Армия империи Сун предпринимала пограничные набеги в августе 1260, ноябре 1261, марте, мае и июне 1262 г. Войска Хубилая ответили вторжениями на территорию Сун в феврале 1261 и июле 1262 г. В начале 1265 г. состоялось первое крупное сражение. Противники сошлись в битве близ Дяоюйшань (в провинции Сычуань), и монголы не только победили в бою, но и захватили 146 кораблей.

Захват кораблей свидетельствует о том, что Хубилай все больше осознавал необходимость обзавестись собственным флотом. К этому времени ему стало ясно, что для победы над Сун требуются мощные военно-морские силы, и поэтому нужно захватывать корабли противника и строить свои собственные. Он добился на этом пути больших успехов. Как пишет один историк китайского флота, «скорость, с которой монголы, пастушеский народ, не знакомый с морем, обучились ведению морской войны, поражает воображение». Сунский перебежчик Лю Чжэн был одним из самых рьяных поборников судостроительной программы. Он утверждал, что без кораблей монголам не удастся покорить Сун. Убедительность его доводов и поддержка со стороны Хубилая привели к созданию четырех отделов или «крыльев» (кит. и) во флоте и заложили основы для будущих морских побед.

Столкновение под Сянъяном, начавшееся в 1268 г., ознаменовало собой переломный момент в борьбе. Это была самая длительная кампания в ходе войны; она достаточно подробно описана в Юань-ши и сочинениях Рашид ад-дина и Марко Поло. Марко Поло даже утверждал, что принимал личное участие в осаде города, хотя этого не могло быть, так как осада окончилась победой монголов за два года до того, как он прибыл в Китай. Сянъян и соседний город Фаньчэн располагались на северной границе современной провинции Хубэй. Они лежали на разных берегах реки Ханьшуй, которая впадала в Янцзы южнее, у современного города Учан. Они занимали важное стратегическое положение, так как были последними крепостями на пути к бассейну Янцзы и прикрывали дороги, ведущие к среднему течению реки, а также к западным областям Южной Сун. Захватив эти два города, монголы могли создать плацдарм для дальнейшего продвижения на юг. Как сообщили Рашид ад-дину его информанты, китайцы возвели в Сянъяне впечатляющие укрепления — «мощный замок, высокие стены и глубокий ров». Сунские власти назначили комендантом этого хорошо укрепленного, по видимости неприступного города Люй Вэньхуаня.

Чтобы сломить сопротивление сунских войск в Сянъяне, монгольские войска должны были показать все, чему они научились в новых для себя областях — осадном деле и морской войне. Сначала они рассчитывали уморить защитников голодом, но вскоре обнаружили, что для этого им нужно перекрыть снабжение Сянъяна по реке. Поэтому им было необходимо добиться преимущества во флоте на реке Ханьшуй, желательно по всему течению. Припасы и подкрепления поступали в Сянъян водным транспортом. Войска Хубилая должны были перерезать этот путь. В конечном итоге они должны были штурмовать город и крепость, но осажденные окопались столь прочно, что монголы неизбежно понесли бы тяжелые потери. Во избежание этого им требовалась артиллерийская поддержка.

В выборе военачальников для этой кампании вновь сказалась кадровая политика, свойственная Хубилаю. Он не набирал командный состав исключительно из монголов, но и не предоставил все высшие посты в армии представителям какой-либо одной этнической группы. Самыми высокопоставленными полководцами из китайцев были Лю Чжэн, недавний перебежчик, представивший Хубилаю сведения о политических и военных слабостях империи Сун, и Ши Тяньцзэ, перешедший на службу к монголам еще до воцарения Хубилая. Ариг-Хайя, проявивший себя в качестве одного из лучших полководцев, был уйгуром; Ачжу (монг. Аджу) был главным монгольским командующим при осаде Сянъяна; а Исмаил и Ала ад-дин, руководившие действиями артиллерии при взятии города, были мусульмане с Ближнего Востока. Корабли, использовавшиеся монгольской армией, строились корейцами и чжурчжэнями. Полководцы и войска, собравшиеся под стенами Сянъяна, составляли, говоря современным языком, международные силы. Хубилай прекрасно умел привлекать к себе на службу людей разных национальностей и использовать их способности. Он назначал не-монголов на самые ответственные должности, даже в своей армии. Войска, которыми они командовали, также состояли из разных этнических групп.

Полководцам, которым Хубилай доверил выполнение столь важной военной задачи, потребовалось почти пять лет, чтобы взять Сянъян. Они постепенно сжимали кольцо вокруг города, но не могли предвидеть, что сама осада затянется на такой длительный срок. Жители Сянъяна заблаговременно запаслись огромным количеством продовольствия, а нескольким кораблям удалось проскользнуть мимо монгольских заслонов и доставить осажденным необходимые припасы. Эти спорадические успехи затягивали осаду. Китайские летописи не сообщают ее подробностей. Тем не менее, из них можно узнать, что осада иногда на краткое время снималась или же ее кольцо размыкалось. К сожалению, в источниках не обсуждаются причины этих неудач.

Подготовка к осаде велась с начала 1268 г., когда чиновники в Шэньси и Сычуани получили приказ построить 500 лодок. Лю Чжэн рассчитывал использовать эти суда, чтобы захватить контроль над рекой Ханьшуй. Через несколько месяцев он начал возводить укрепления в Бохэкоу и Лумэньшане, к югу от Сянъяна, намереваясь перекрыть пути снабжения и не позволить лодкам с припасами добраться до горрда. В октябре Хубилай поручил монгольскому полководцу Ачжу обложить также Фаньчэн. Узнав об этом, сунские войска в Сянъяне заволновались. 6 декабря они попытались прорвать блокаду, но эта попытка была обречена на провал, и, как сообщают китайские летописи, монголы захватили и обезглавили множество вражеских воинов. После этого какое-то время осажденные воздерживались от подобных безрассудных предприятий. Они ожидали припасов и пополнений с юга, и им не пришлось долго ждать. В августе 1269 г. сунский военачальник Ся Гуй с 3000 лодок атаковал Лумэньшань. Однако монгольские войска не только отразили нападение, но и захватили 50 вражеских лодок.

К тому времени, очевидно, Хубилай начал проявлять недовольство ходом осады. Уже в феврале 1269 г. он послал одного из своих самых доверенных военных советников Ши Тяньцзэ изучить расстановку войск под Сянъяном и представить свои соображения относительно возможных улучшений. В следующем месяце он приказал направить Ачжу и Лю Чжэну подкрепления в 20000 человек, а в апреле, следуя совету Ши Тяньцзэ, эти два полководца соединили укрепления Бохэкоу и Лумэньшаня, еще более затруднив вход и выход из Сянъяна. Однако этих шагов оказалось недостаточно, так как в апреле 1270 г. Ачжу и Лю Чжэн попросили 70000 человек и 5000 судов. Но и получив требуемые подкрепления, они не могли принудить осажденных к сдаче. Положение оставалось тупиковым.