С этого момента экспедиция начала неумолимо разваливаться. За те три дня, в течение которых экспедиция добиралась до места, подходящего для начала восхождения, враждебность, давно нараставшая в отношениях между Кроули и Гийярмо, прорвалась наружу. Гийярмо обвинил Кроули в том, что он не выставляет знаки, чтобы разметить дорогу для носильщиков. Кроули, в свою очередь, обвинил Гийярмо в том, что тот устраивает лагеря не там, где он ему указывает. Вина Кроули в данном случае не вызывает сомнений: он слишком торопился, чтобы как следует размечать дорогу, в результате чего Гийярмо сбивался с пути и разбивал лагерь там, где мог. Гийярмо разозлился на Кроули ещё и за его равнодушие к нуждам носильщиков. Многие из них шли босыми. Кроули утверждал, что они прячут ботинки среди вещей, которые несут, и что они сами предпочли совершать восхождение босиком, но едва ли это правда. Ведь экспедиция шла по льду. Мало того, что носильщикам было холодно, отсутствие обуви на ногах добавляло ещё одну трудность: люди всё время скользили.

Затем Реймон нарушил правила, отклонившись от курса, чтобы найти более лёгкую дорогу для своих носильщиков, но это ему не удалось, и в результате он был вынужден вырубать во льду ступени при помощи альпинистского топорика. Кроули вернулся, чтобы посмотреть, что случилось с Реймоном, и помог вырубать ступени, но был очень недоволен этим случаем неповиновения. Когда несколько носильщиков заболели, кто от кислородного голодания, а кто от снежной слепоты, Кроули отнёсся к этому слишком беззаботно. Со времён восхождения на К2 он был убеждён, что высота не может являться причиной болезни, и все симптомы объяснял усталостью людей. Тех же, кто страдал от снежной слепоты, которая, t по словам Кроули, была просто временной реакцией на яркий свет, лечили неправильно, глазными каплями с атропином. Вдобавок к этим несчастьям де Риги перестал справляться с управлением таким большим отрядом носильщиков. Он утратил авторитет и контроль над ними до такой степени, что Паш вынужден был спуститься к нему и взять часть его обязанностей на себя.

Однажды Гийярмо повёл своих носильщиков в обход вершины ледника, отклонившись от маршрута, назначенного Кроули. С каждым шагом он всё более отчаивался. По мере продвижения вверх, глядя на вершину горы, возвышавшуюся над ним и окутанную туманом, Гийярмо постепенно терял всякую надежду на то, что выбранный ими маршрут приведёт их к вершине, а заодно и доверие к Кроули. Что же касается Кроули, то, с его точки зрения, экспедиция трещала по швам потому, что остальные отказывались ему повиноваться.

На высоте около 18 тысяч футов они основали Лагерь III, а затем сделали рывок, основав Лагерь IV на высоте примерно 19 тысяч футов. Здесь Реймон и Паш упали от изнеможения, хотя Кроули, по его собственным словам, чувствовал себя «свежим, как краска, и настроенным, как скрипка». Он расценил состояние остальных членов экспедиции всего лишь как результат физического и психического перенапряжения, а также теплового удара, хотя и признал, что они серьёзно больны. Тем временем даже у него возникли проблемы со здоровьем. Солнце светило так сильно, что кожа Кроули на открытых участках начала трескаться и шелушиться, вызывая боль.

На следующий день появился Паш со своими носильщиками. В это время Гийярмо пребывал в скверном настроении, а Реймон начал паниковать: в результате Кроули поссорился с обоими. Альпинисты осыпали друг друга взаимными обвинениями, а запасы провизии начали истощаться. Когда все, кроме де Риги, собрались в одном лагере, хватило нескольких часов, чтобы парафин закончился, а еды осталось в обрез. А ниже по склону горы носильщики де Риги были на грани мятежа. Один из носильщиков Паша бежал, сорвался со скалы и погиб, унеся с собой вьюк с вещами Паша.

Кроули приказал Гийярмо взять с собой нескольких носильщиков и спуститься вниз, чтобы разыскать тело и вещи, атакже пополнить запасы провизии. На островке обнажённой породы, на 1 500 футов ниже лагеря, Гийярмо нашёл погибшего человека. Остальных носильщиков эта первая смерть, казалось, не удивила: бог горы получил свою жертву, и тело похоронили. Но друга погибшего носильщика охватил страх, и он бежал, бросив постель Паша в снег. Оставшиеся носильщики были деморализованы. Тогда Кроули взял задачу подъёма боевого духа на себя. В своём романе «Дневник наркомана», опубликованном в 1922 году, он описывает, что он для этого сделал: «Несколько лет назад я руководил экспедицией в Гималаях; кули боялись идти по снежному склону, который нависал над ужасной пропастью. Я крикнул, чтобы они смотрели на меня, быстро вскарабкался на вершину склона, затем соскользнул вниз, как мешок овса, и вскочил на ноги лишь на самом краю обрыва. Пока я возвращался к ним, они пребывали в оцепенении от благоговейного изумления».

Двадцать девятого августа Кроули, Паш и Реймон пустились в путь вместе с дюжиной носильщиков, чтобы основать Лагерь V на высоте около 21 тысячи футов. Это был стремительный бросок. При малом количестве оставшейся провизии они подвергались риску. Их опасения оправдались. В течение двух дней им пришлось ждать подкрепления с запасами еды, но никто так и не появился. Тогда Кроули послал в Лагерь IV Паша с короткой запиской. В ней он обвинял де Риги в неспособности справиться со своими обязанностями и просил Гийярмо подняться к нему как можно скорее. Однако, не дождавшись ответа, он продолжил восхождение.

Вместе с несколькими носильщиками Кроули двинулся вперёд и принялся вырубать во льду ступени, чтобы остальная часть экспедиции могла продвинуться выше. Если ему и не удастся покорить гору, он, чёрт возьми, должен суметь подняться выше максимальной высоты, равной 21 653 футам, которой достигла экспедиция на К2. Местами лёд был хрупким, и передвижения отряда вызвали небольшую лавину. У одного из носильщиков, напуганного близостью горного бога, началась истерика, и он отвязал себя от общей верёвки. Чтобы привести носильщика в чувство, Кроули ударил его ледовым топориком. Это ещё сильнее ослабило дух носильщиков. По возвращении в Лагерь V они начали роптать, кроме того, их охватил ещё более сильный страх перед богом. Ночью несколько человек бежало. Они добрались до Лагеря IV и пожаловались Гийярмо на то, что их бьют. Затем они спустились в Лагерь III, где де Риги убедил их не покидать экспедиции, обещав, что больше их никто не тронет. Он не мог позволить себе потерять ещё несколько человек в придачу к тем, которые уже ушли.

На следующий день, 1 сентября, Гийярмо и де Риги с большим отрядом носильщиков поднялись в Лагерь V, но не принесли с собой никаких припасов. Вновь прибывшие встали в оппозицию Кроули, оспаривая его лидерство и предъявив ему целый список обвинений, включая его обращение с носильщиками. Разгорелась ссора. Кроули отверг все обвинения.

По мере приближения ночи экспедиция оказалась перед лицом серьёзных трудностей. Лагерь V был слишком мал, чтобы все могли разместиться на ночлег. Кроме того, ненадёжность снежного покрова заставляла опасаться, что он не выдержит веса расположившихся на нём людей. Тогда Кроули велел носильщикам спуститься в Лагерь IV и укрыться там под скалами. Они повиновались. Гийярмо и де Риги, чьи претензии на лидерство потерпели полный крах, решили вернуться в Лагерь III и пустились в путь. Некоторое время спустя Паш изъявил желание последовать за ними: с тех пор как он утратил свои постельные принадлежности, ему приходилось спать на ледяном полу своей палатки, и он больше не мог выносить холода, постоянных ссор и деспотизма Кроули. Кроули приложил все усилия, чтобы отговорить его, но безрезультатно.