В то время, когда испанцы скатывались к гражданской войне, среди коренного населения произошел раскол. Единокровный брат Манко Паулью попытался занять место, освободившееся с отъездом Инки. Оба они были одного возраста, им было немного за двадцать, но Паулью был несколько ниже по происхождению, хотя оба они были сыновьями Инки Уайна-Капака. Когда в 1534 году Манко уехал в Хауху вместе с Франсиско Писарро, он оставил Паулью своим заместителем в Куско, и Паулью всегда был стойким приверженцем власти своего брата-Инки. Соответственно, когда Манко попросили послать армию индейцев с экспедицией Альмагро в Чили в 1535 году, он назначил Паулью и верховного жреца Вильяка Уму возглавлять ее. По какой-то причине Паулью не присоединился к Вильяку Уму, когда тот сбежал из экспедиции, чтобы подстрекать Манко к мятежу. А также он не предпринимал попыток восстать против испанцев, когда отряд Альмагро находился в Чили или пробивался назад через пустыню Атакама. Напротив, Паулью оказывал неоценимую помощь Альмагро и своим присутствием придавал чужестранному разведывательному отряду респектабельность королевского визита. Местное население повсеместно приветствовало испанцев и снабжало их продовольствием и ценностями. Во время изнурительного перехода через прибрежную пустыню люди Паулью были проводниками экспедиции и расчищали колодцы к ее прибытию. Даже имея такую помощь, члены экспедиции были измучены этим полуторагодовалым походом. Без нее Альмагро и его люди, возможно, никогда и не вернулись бы. Двое из них, Гомес де Альварадо и Мартин де Гуэльдо, засвидетельствовали в 1540 году, что Паулью мог легко причинить им серьезный вред, если бы захотел, «так как он разбирается в военном деле, и ему подчиняются так много людей».

Когда экспедиция Альмагро возвратилась, именно Паулью сообщил испанцам об осаде Куско и дал им точную информацию о ходе восстания. За свои старания он был взят под стражу. Несмотря на это, Паулью продолжал оставаться верным Альмагро, после того как тот занял Куско. Люди Паулью патрулировали королевскую дорогу, сообщали о продвижении отряда Альварадо и не допускали установления никаких контактов между Альварадо и испанцами в Куско. Во время боя на реке Абанкай 10 тысяч индейцев Паулью всеми возможными способами помогали людям Альмагро, за исключением непосредственного участия в боевых действиях. Они копали рвы, построили две сотни плотов, чтобы помочь Оргоньесу переправиться через реку, а их крики в темноте заставили людей Альварадо поспешить в ошибочном направлении. Но главное преимущество, которое давала поддержка индейцев, состояло в том, что они были превосходной пятой колонной. Например, Оргоньес имел возможность посылать индейцев в лагерь Альварадо с письмами к отдельным людям с целью убедить их перейти на его сторону.

Прежде чем отправиться в поход на Лиму, Альмагро решил, что ему надо избавиться от Манко, который все еще располагался лишь на расстоянии одного дня пути от Куско. Его предприятие ничуть не выиграло бы, если бы он, выступив против Франсиско Писарро, оставил бы Куско так плохо защищенным, что город попал бы в руки восставших индейцев. Он прибег к еще одному дипломатическому ходу. Но Манко не так-то просто было соблазнить добровольной сдачей даже при том, что теперь братья Писарро стали пленниками, а его друг Альмагро занимал явно господствующее положение. Говорили, что Паулью саботировал эти переговоры, посылая противоречивые сообщения о намерениях Альмагро: Паулью наслаждался властью и был заинтересован в том, чтобы его брат находился подальше от Куско. После того как попытка переговоров провалилась, Манко решил, что его положение в Ольянтайтамбо слишком уязвимо. Испанцам было точно известно его местонахождение, куда они могли добраться на лошадях в любое время за несколько часов. Поэтому Инка мудро решил перебраться в более недоступное место.

Ольянтайтамбо расположен в стратегически важном месте на территории Перу. Он почти явно находится на стыке Анд и бассейна Амазонки. Выше по течению лежит долина Юкай и родина горных племен инков — открытая холмистая и травянистая местность, усыпанная выходами скальных пород, или долины, на террасах крутых склонов которых в изобилии растут кукуруза и картофель. Но вниз по течению все меняется. По мере того как местность понижается, предгорья Анд покрываются, как густым мехом, непроходимыми джунглями. Спокойная река Юкай меняет свое название и характер и становится бурной Урубамбой. Климат здесь становится тропическим, с сильными дождями, грозовыми бурями и липкими туманами, как саваном покрывающими крутые зеленые склоны. Здесь в лесах летают тучи кусачих мух боррачудо и кишат королевские аспиды. Но прежде всего, здесь растут деревья, которые сплошь покрывают землю с непроходимой густотой вплоть до побережья Атлантического океана. Ниже Ольянтайтамбо река Юкай-Урубамба грохочет по мощному гранитному ущелью. Оно всегда было непреодолимым, пока в его стенах при помощи взрывов не был проложен путь для современной узкоколейной железной дороги, по которой туристы могут добраться до Мачу-Пикчу. Древняя дорога инков обходила это ущелье далеко за горами на правом берегу реки. Она выходила из долины на расстоянии нескольких миль ниже Ольянтайтамбо, взбиралась на перевал Пантикалья и затем спускалась вниз по течению реки Люкумайо, которая через 30 миль впадает в Урубамбу на высоте 3 тысяч футов ниже Ольянтайтамбо. Другая река впадает в Урубамбу с запада, почти напротив места впадения в нее реки Люкумайо с востока. Этот другой приток сейчас носит название Вилькабамба; так называется весь этот дикий край, а также цепь гор, которая располагается между реками Урубамба и Апуримак к северо-западу от Куско. В этом районе Вилькабамба — Люкумайо для нас важны три пункта. На востоке, когда древняя дорога инков спускалась вниз по течению реки Люкумайо к Урубамбе, лежал город Амайбамба. В центре, между устьями рек Люкумайо и Вилькабамба, над рекой Урубамба был подвешен стратегически важный мост Чукичака — единственный легкий путь в район Вилькабамбы. И на западе, высоко в горах долины Вилькабамбы, располагался город Виткос, который отождествляют с развалинами недалеко от современной деревушки Пукьюра. Виткос находился на высоте более чем 9 тысяч футов — здесь инки чувствовали себя вполне комфортно, — что было менее чем на 2 тысячи футов ниже, чем сам Куско.

Решив покинуть Ольянтайтамбо, Манко тем самым выпускал из рук всю высокогорную часть империи инков. Он понял, что испанская кавалерия непобедима на открытой местности, и оставил большую часть своего народа под властью чужеземцев, из-под которой они так и не вышли по сей день. Отъезд из огромной цитадели был отпразднован трогательными церемониями и жертвоприношениями. Дотошный Педро Сьеса де Леон нашел двух знатных инков, которые, будучи свидетелями, рассказали ему о церемонии и самом отступлении. Вильяк Уму руководил горестным плачем, молебнами, жертвоприношениями, которые проводились на равнине у подножия крепости, а в это время идолов подготавливали к перевозке. Сын Манко Титу Куси вспоминал, что Инка пытался скрасить тяжесть отъезда оживленной беседой. Он говорил, что лесные племена давно уже надоедают ему просьбами посетить их и «он хочет доставить им такое удовольствие на несколько дней». На самом деле в нем еще оставалась какая-то надежда на население этих провинций. У них были большие армии, которые все еще действовали в колья-суйю и в районе Вилькасуамана и Уануко, и немалое количество воинов-новобранцев, которые участвовали в наступлении на Куско прошлой весной, можно было — теоретически — собрать вновь за несколько недель. Но самую большую надежду инкам давали ежедневные сообщения о том, что Писарро собирает в Наске армию, чтобы напасть на Альмагро в его высокогорных владениях. Ужасные оккупанты вполне могли бы истребить друг друга.