Что было нужно Манко, так это неуязвимое, недоступное убежище. На совете, который он провел в Амайбамбе, на перевале за Ольянтайтамбо, он решил попытаться достичь крепости под названием Урокото, которая была построена Инкой Тупаком Юпанки в лесах к востоку от озера Титикака. Но после месяца тяжелого путешествия по лесистой местности Манко решил вернуться и искать убежища в долине Вилькабамбы. Он спустился в долину реки Люкумайо ниже Амайбамбы, и его люди восстановили подвесной мост через реку Урубамба в местечке Чукичака. Он переправился со своими людьми через реку и остановился в городе Виткосе на высокогорном плато в начале долины Вилькабамбы.

Когда Манко покинул Ольянтайтамбо, его люди старательно уничтожили дорогу, ведущую через перевал Пантикалья в Амайбамбу. Но он недооценил своих противников. Альмагро не терпелось завоевать лавры победителя Инки. Как только Родриго де Оргоньес возвратился после своей бескровной победы в Абанкае, Альмагро не мешкая послал его вдогонку за Манко. Оргоньес был одним из самых энергичных и отважных молодых конкистадоров, под его началом было 300 испанских конных и пеших солдат. Чтобы сдержать такого противника, потребовалось бы какое-нибудь более существенное препятствие, чем разобранные дороги. Вскоре люди Оргоньеса достигли Амайбамбы, при том, что значительную часть пути они были вынуждены проделать пешком и с большим трудом обходили места, где горная тропинка была разрушена или на нее были повалены деревья. В Амайбамбе они наголову разбили индейское войско, вышедшее защищать город. Манко скрылся на своем паланкине, переправившись через Урубамбу, и двинулся в город Виткос, приказав уничтожить подвесной мост через реку в Чукичаке. Это было выполнено лишь отчасти: Оргоньес со своими людьми наступал ему на пятки, и много индейцев утонуло, торопясь перебраться через реку. В суматохе Руи Диасу, безбородому и перемазанному краской, и другим пленникам-христианам удалось спрятаться в каких-то постройках и затем присоединиться к своим соотечественникам.

Те немногие испанцы, которые добрались до Чукичаки, были слишком уставшими, чтобы переправляться через реку той ночью: они были пехотинцами, которые вели боевые действия, не имея такого преимущества, как кони. Но на следующий день Оргоньес сам появился возле подвесного моста и начал руководить его починкой. На рассвете следующего дня он перешел через реку, вступил в долину Вилькабамбы, а затем проник дальше вплоть и до самого Виткоса. Его люди обнаружили, что в городе было чем поживиться. Город гордился своим храмом Солнца; теперь в нем толпились испуганные мамаконы. Оргоньес забрал из него изображение солнца, чтобы отвезти его в Куско к Паулью.

Привлекательность этой добычи спасла Манко жизнь, так как, пока испанцы рыскали по Виткосу, он скрылся в сгущающихся сумерках ночи в горах, высившихся за городом. Он бежал, как принц Чарльз Эдвард, в сопровождении только горстки самых верных последователей. С ним была одна преданная ему жена и, возможно, жрец Вильяк Уму. В такой экстренной ситуации он обошелся без своего традиционного паланкина. Вместо этого 20 быстрых бегунов из племени люкана несли его на руках. Вскоре Оргоньес отправился в погоню. Он отправил четырех своих самых лучших кавалеристов на перевал вдогонку за Инкой и вскоре после полуночи сам последовал за ними еще с 20 всадниками. Хотя испанцы и не слезали с коней всю ночь, Манко улизнул от них, возможно, потому, что выбрал для бегства другую тропинку. Когда Оргоньес вернулся в Виткос, чтобы передохнуть, он получил от Альмагро приказ немедленно возвращаться в Куско, что он и сделал к концу июля 1537 года.

Он привез назад важные трофеи. Сын Манко Титу Куси объяснил, что индейцы увезли мумии некоторых своих предков-Инков и каменного идола со священной горы Уанакаури в Ольянтайтамбо в Виткос, где они были бы в большей безопасности. Люди Оргоньеса забрали эти священные реликвии, а также золотое изображение солнца. Они спасли капитана Руи Диаса и других европейцев из индейского плена и завладели большим количеством испанской одежды, которая в свое время была захвачена у злополучных спасательных экспедиций Писарро. Такая одежда и экипировка пользовались большим спросом в Перу, и Альмагро сразу распределил все среди своих ветеранов, «которые вернулись полуголые из экспедиции в Чили». Родриго Оргоньес также пригнал свыше 50 тысяч голов лам и альпака, про которых Титу Куси писал, что они сливки королевских стад. Но вот что имело самые серьезные последствия для Манко: испанцы привели с собой в Куско «свыше 20 тысяч душ», которые могли вполне быть довольны собой и сказать: «Нам больше нет никакого дела до войн, которые может развязать Инка». Эти тысячи последователей Манко были отпущены и, полные благодарности, вернулись по своим деревням.

Титу Куси так описывал такой исход: «Мой отец сделал все, чтобы скрыться с немногими приближенными, а испанцы возвратились в Куско очень довольные захваченной добычей; с ними был я и многие койи». Мальчик Титу Куси был вверен попечению Педро де Оньяте, который, очевидно, был другом Манко, так как Альмагро выбрал его для выполнения деликатного поручения после возвращения из Чили, и он был принят Манко очень гостеприимно. Позднее Титу Куси писал, что «Оньяте содержал меня в своем доме с большим комфортом и хорошо со мной обращался. Когда мой отец узнал об этом, он прислал к Оньяте [человека], много его благодарил и еще раз вверил меня и некоторых своих сестер его заботам, прося его присматривать за нами, за что мой отец его вознаградит».

Горьким было падение Манко. Прошло всего пять месяцев с того времени, когда он рассылал гонцов, чтобы начать набор рекрутов для создания огромной армии для окончательного штурма Куско, и когда он рассматривал возможность альянса с Альмагро для нападения на город. Теперь он был жалкий скиталец, изгнанный из, казалось бы, достаточно удаленного уголка своей империи. Его спасли разногласия среди самих же испанцев.

Когда Родриго Оргоньес возвратился в Куско, он обнаружил, что Альмагро ведет переговоры с группой посланцев от Франсиско Писарро. В середине сентября «чилийцы» отправились на побережье, чтобы рассудить спор между двумя лидерами. Гонсало Писарро убежал из плена и сумел пробраться к своему брату в Лиму. Эрнандо Писарро был освобожден в ходе переговоров. Соединившись вновь, три брата укрепили свои позиции, и вскоре две противоборствующие партии снова вступили в войну друг с другом. При этом Альмагро контролировал горные районы, а Писарро — побережье. Эрнандо Писарро возглавил вторжение на территорию Альмагро, и ему удалось добраться до Куско. Его военная кампания закончилась полной победой на окраине города в сражении у Лас-Салинаса 26 апреля 1538 года. Родриго Оргоньес ожесточенно сражался в течение всего боя, но был сбит с лошади и ранен выстрелом из аркебузы. Его взяли в плен, обезглавили, и его голова была выставлена в Куско на всеобщее обозрение после боя. Диего де Альмагро также был взят в плен, и спустя десять недель Эрнандо Писарро возбудил против шестидесятитрехлетнего маршала судебное дело. В обстановке, когда главные приверженцы Альмагро находились под домашним арестом, а сам он — в тюрьме под усиленной охраной, Эрнандо Писарро проигнорировал просьбы потрясенного Альмагро о помиловании, и по его приказу тот был задушен. Испанцы, находившиеся в Перу, были в шоке. Вскоре в Испанию полетели негодующие сообщения, и писатели-современники раскололись на ярых сторонников и противников братьев Писарро. Сьеса де Леон был одним из немногих, кто остался беспристрастным: он прибыл в Перу десятилетие спустя, когда накал страстей спал. Он описывал Альмагро как «человека невысокого роста, с некрасивыми чертами лица, но чрезвычайно храброго и выносливого. Он был свободомыслящий человек, но склонный к хвастовству, и иногда чрезмерно распускал язык. Он много знал и больше всего благоговел перед королем. Во многом благодаря ему были открыты эти королевства». Альмагро был подкидышем, «такого низкого происхождения, что о нем можно было сказать, что его род начался им и им же закончился».