Дальше к югу, в провинции Консепсьон, Рамон Фрейре, протеже О’Хиггинса, один из его старых друзей, вдруг ополчился на него и начал подстрекательскую кампанию против «узурпации Руководителем власти, которую он захватил против воли народа». Фрейре удалось заручиться поддержкой в Вальпараисо и Кокимбо, однако в Сантьяго аристократия, хотя и находилась в оппозиции О’Хиггинсу, не желала получить вместо него Фрейре или кого-либо еще из его бывших подчиненных. В ответ О’Хиггинс мобилизовал южные гарнизоны и, последовав совету Кокрейна, приказал расстрелять ненавистного всем Родригеса Альдеа. Но это не остановило Фрейре, который вновь выступил с нападками на него. О’Хиггинс устало отвечал ему: «Неужели ты серьезно думаешь, что угрозы и другие твои шаги могут действительно напугать меня? Тебе, как и любому другому, хорошо известно, что я способен спокойно глядеть в лицо смерти. Но черная неблагодарность беспокоит меня больше, чем приставленный к груди пистолет. Теперь я испил горькую чашу до дна». В действительности же он не желал ничего другого, как последовать примеру Сан-Мартина и красиво уйти со сцены, предавшись удовольствиям тихой сельской жизни.

В конце января 1823 года известные жители Сантьяго собрали импровизированный парламент, чтобы обсудить отстранение Руководителя. Они отправили делегата к О’Хиггинсу с требованием предстать перед ними, но тот отказался признать «горстку демагогов и официантов». Он отправился верхом на коне к городским казармам, где, по слухам, солдаты готовили мятеж, и приказал арестовать всех замешанных в этом офицеров. Остальные заверили его в своей поддержке. Проявив незаурядную смелость, он прибыл на эту импровизированную ассамблею, прошел сквозь ряды противников и спросил, чего они хотят. Председатель ответил: «Сеньор, люди полностью признают ваши заслуги и смотрят на ваше превосходительство как на отца нации. Но, сознавая трудности положения, которое они переживают, видя угрозу гражданской войны и разрушительной анархии, они просят вас положить конец этим бедам, отказавшись от занимаемого вами высокого поста». О’Хиггинс возразил: «Я отказываюсь участвовать в публичных спорах. Если вы серьезно хотите обсудить ситуацию в стране и найти средство избежать всяческих бед, выберите действительно достойного, ответственного председателя, с которым можно серьезно говорить на серьезные темы».

Вскоре после этого поступили сообщения о волнениях и беспорядках по всей стране, и О’Хиггинс все же решил уйти в отставку. Он обратился к собравшейся у дворца толпе:

В очередной раз О’Хиггинс с честью вынес превратности судьбы. Он укрылся в Вальпараисо, оставив вместо себя правящую хунту. Однако Фрейре прибыл по морю и подверг бывшего Руководителя аресту. Здоровье О’Хиггинса резко пошатнулось, и он с горечью писал в ответ на письмо Сан-Мартина, поздравившего его с отказом от власти: «Унижения и утрата свободы, которые я переживаю с тех пор, как отказался от своего поста, показывают мне, чего еще я могу ожидать от моей страны, хотя все равно не променял бы последние тринадцать лет, со всеми жертвами и неслыханными усилиями, ни на что в этом мире».

Однако шли месяцы, и он становился все более рассудительным. «Я чувствовал себя более полезным на поле боя. Я ничего не понимаю в этом бесчестном и аморальном искусстве интриг, посредством которого человек может рваться к управлению государством, разрываемым завистью, партиями и раскольническими фракциями. Это зло практически неизбежно в новых, едва оперившихся правительствах, которым приходится опираться на собственные силы для поддержания существования и роста. Люди почти никогда не желают признавать превосходства одного из них над остальными, даже если они сами избрали его. И тут бесполезно создавать институты и давать гарантии тем, кого они презирают и осуждают. Мой личный опыт и те скудные познания в политике, которыми я обладаю, убедили меня, что наши народы смогут достичь благосостояния только под принуждением. Но мое отвращение к принуждению столь велико, что я не желаю прибегать к нему даже ради достижения их же блага».

17 июля Фрейре разрешил О’Хиггинсу вместе с семьей отправиться в изгнание в Перу. Там О’Хиггинс нашел теплый прием у своего старого школьного приятеля маркиза де Торре Тагле. Его устроили в бывшей резиденции Сан-Мартина. Но переданная ему усадьба была разграблена.

О’Хиггинс предложил свои услуги Боливару — новому правителю Перу, желая участвовать в его последней кампании против королевских войск в горах. Боливар был любезен, хотя на чилийцев он смотрел как на марионеток в руках Сан-Мартина. О’Хиггинс проделал длительное, в течение месяца, путешествие, чтобы присоединиться к Боливару. И попал на место сражения у Хунина как раз после поражения роялистов. Он еще участвовал вместе с Боливаром в битве при Уанкайо, где, как вспоминал Миллер, проявил «ту самую честность, порядочность, великодушие, прямоту и доверчивость, которые мы всегда в нем находили». Однако оба они — и Боливар, и О’Хиггинс — не дождались окончательной победы над роялистами, которую патриоты одержали уже под командованием Сукре.

О’Хиггинс смог теперь вернуться в свое обширное поместье в сорока милях к югу от Лимы — в Монтальване, где вел обычную жизнь, наслаждаясь чаем, табаком и музыкой. Окружающие отмечали, что, будучи очень добр к приемным дочерям-арауканкам, он к своему незаконнорожденного сыну Педро относился как к прислуге, что, по-видимому, объяснялось суровым отношением к нему собственного отца, воспринятым им.

Чили после его отъезда погрузилась в хаос. Была даже предпринята попытка вернуть О’Хиггинса. Он уже планировал свое возвращение, когда рухнул сам Фрейре и страна раскололась на воинственные, враждующие между собой фракции. О’Хиггинс осознал, что его шанс упущен: «Я торжественно отказался от любого вида политической власти. И никогда не приму ее вновь — никогда, — даже если народ попытается восстановить меня в ней. Об этом я заявил публично и не отступлю от своего слова». Позднее он писал: «Во имя независимости Чили и Америки я принес в жертву свою молодость, здоровье и состояние, и я не желаю ничего большего, чем удовлетворения при воспоминании о моих услугах, которые отнюдь не были напрасными».

В 1830 году, когда к власти пришел его старый друг генерал Прието, О’Хиггинс какое-то время надеялся, что его позовут на родину. Но заместителем Прието был Диего Порталес, который скоро восстановил своего рода мягкий авторитаризм, практиковавшийся ранее самим О’Хиггинсом. Порталес воспротивился возвращению «каудильо», как он называл О’Хиггинса.