Окубо и Сайго были ошеломлены реакцией Хисамицу. Окубо чувствовал себя униженным. Он добился возвращения своего друга, но он же подготовил почву для его свержения. Окубо пытался обсудить дело Сайго с Хисамицу, но господин остался непоколебимым. Охваченный гневом и отчаянием, Окубо предложил совершить двойное самоубийство. Сайго отказался, использовав ту же логику, которая остановила его руку тремя годами ранее: самурай существует для того, чтобы служить, а мертвый самурай уже никому не послужит. Окубо должен жить, чтобы выполнить свою великую миссию служения императору. Окубо, который восстановил свою честь после того, как предложил умереть, принял аргумент Сайго. Сайго предстояло встретить гнев Хисамицу в одиночестве.

Хотя Хисамицу издал приказ об аресте Сайго, чиновники княжества не торопились задерживать человека с его репутацией и положением. Охваченный раздражением, Хисамицу отправил Сайго под конвоем из Осака в порт Ямагава. Здесь Сайго ожидал около двух месяцев, когда Хисамицу примет окончательное решение относительно обвинений и приговора. В конце концов Сайго был обвинен по четырем статьям: тайный сговор с ронинами, подстрекательство вассалов, создание помех для визита Хисамицу и отбытие из Симоно-сэки без разрешения. В качестве наказания 6/6 он снова был приговорен к ссылке, на этот раз на маленький островок Токуносима, расположенный к югу от Амамиосима. Сайго отплыл из Ямагава 11 /6, но из-за неблагоприятного ветра его корабль был вынужден вернуться в порт, а затем, на протяжении дальнейшего пути, сделать еще несколько остановок. Наконец, 5/7/1862 Сайго прибыл в деревушку Вания, расположенную на северной оконечности Токуносима.

Снова оказавшись в ссылке, Сайго был охвачен отчаянием и острым ощущением того, что его предали. Он излил свои чувства в серии писем, адресованных его другу Коба с Амамиосима, — «Даже те люди, которых я считал своими родственниками, заклеймили меня как преступника, даже не попытавшись узнать истину. Все мои друзья были убиты. К кому мне теперь обратиться?» Утверждение Сайго о том, что все его друзья были убиты, являлось сильным преувеличением. После ареста Сайго Хисамицу инициировал активные действия против радикалов, и 24/4 самураи из Сацума ворвались на собрание лоялистов, которое проходило в Фусими, возле Киото. Были обнажены мечи, и в результате состоявшейся стычки погибло несколько лоялистов из Сацума. Сайго был потрясен этой трагедией, но погибшие доводились ему знакомыми, а не близкими друзьями. Одного из его друзей, Мурата Синпати, Хисамицу отправил в ссылку на соседний остров Кикайгасима, но Мурата оставался в добром здравии вплоть до 1877 года, когда он, вместе с Сайго, принял смерть на склонах Сирояма. Но преувеличенное утверждение Сайго о том, что все «друзья были убиты», на самом деле достаточно точно отражало его настроение. Он видел вокруг себя только подлость, вероломство и злой рок. Однако Сайго не помышлял о самоубийстве. Для него было бы неправильно, объяснял он Коба, убить себя из гнева или отчаяния. Вместо этого он намерен смириться со всем, что уготовано для него судьбой. Но Сайго уже почти не надеялся когда-нибудь еще увидеть главные острова. Если все пойдет прахом и разразится война, размышлял он, то тогда еще есть шанс на то, что через несколько лет его вернут назад. Но, скорее всего, он проведет в изгнании всю оставшуюся жизнь. Это будет нетрудно, заявлял он, поскольку национальная политика теперь вызывает у него только отвращение.

Семья Сайго находилась поблизости, на Амамиоси-ма, и 7/1862 Айгана привезла на Токуносима их сына Кикудзиро и новорожденную дочь Кикуко. Этот визит вызвал у Сайго двойственные чувства. Через месяц он написал Коба, что был рад увидеть Кикуко, но ему не хотелось бы, чтобы его семья приезжала сюда снова. Точные мотивы Сайго нам неизвестны, но в этом письме он называет Айгану «женщина, которая мне служит», и, судя по всему, ее благосостояние интересовало его больше, чем супружеская близость. Пока Сайго знал, что его жена и дети в безопасности, он не особенно стремился к тому, чтобы их увидеть. Главная забота Сайго состояла в том, чтобы за его семьей на Амамио-сима присматривал какой-нибудь надежный человек. Пока Сайго находился в Киото, за Айганой присматривали Коба и Току, но теперь срок пребывания Коба на Амамиосима подходил к концу, и поэтому Сайго обратился с аналогичной просьбой к еще одному другу, Ка-цура Хисатакэ. Хотя Кацура был направлен на остров только в конце 1861 года с необычной двойной миссией — открыть медный рудник и организовать береговую оборону, — семьи Сайго и Кацура были знакомы на протяжении многих поколений. Вскоре после своего прибытия в 1862 году Кацура начал помогать жене и детям Сайго, к примеру, покупая рулоны ткани для Ай-ганы. «Скажи Айгане, — просил Сайго в письме к Коба, — чтобы она успокоилась, поскольку ей нечего бояться, пока на острове находится Кацура». Сайго видел необходимость находиться возле своей семьи только в случае отъезда Кацура. Согласно устной традиции, Сайго ожидал, что проведет на Токуносима в одиночестве много лет, и поэтому начал собирать сельскохозяйственный инвентарь, чтобы выращивать собственный урожай.

Однако 8/1862 из Кагосима на остров прибыл полицейский с новыми распоряжениями относительно приговора. Сайго был посажен на бриг и перевезен на Оки-ноэрабусима — еще один остров в архипелаге Ама-ми. Хотя Окиноэрабусима находился на небольшом расстоянии к югу от Токуносима, это было совершенно другое место. В отличие от Амамиосима или Токуносима Окиноэрабусима предназначался для ссылки серьезных преступников, людей, которые едва избежали смертного приговора. Остров представлял собой мрачное место. По словам одного из биографов, «почва здесь стерильна, а воздух наполнен миазмами… Это неприятное место, где все время дует сильный ветер, поднимая высокие волны». Даже сегодня Окиноэрабусима кажется пустынным и отрезанным от внешнего мира. Несмотря на все попытки привлечь сюда туристов, большинство людей, прибывающих на остров, являются государственными чиновниками из министерства сельского хозяйства. Перевод Сайго на Окиноэрабусима казался еще более зловещим из-за угрожающего поведения полицейского, присланного из Кагосима. Один из свидетелей, Накахара Манбэй, позднее вспоминал, что взгляд полицейского заставил его заподозрить, что Сайго будет убит до того, как корабль достигнет Окиноэрабусима.

После того как Сайго был насильно разлучен с семьей, он начал открыто сожалеть о том, что провел с нею так мало времени. В своем первом письме с Окиноэрабусима Сайго горевал о том, что он и Кикудзиро «расстались, словно чужие люди, даже не узнав друг друга как следует». Разлука с детьми сделала его вторую ссылку значительно более мучительной. «Либо из-за тяжести ссылки, — писал он Току, — либо из-за того, что я постарел, однако на этот раз я кажусь себе мягкотелым и слабовольным. Я постоянно вспоминаю своих детей, и это заставляет меня страдать. Мне трудно описать свои чувства. Это странно, поскольку я всегда считал себя человеком, который от природы обладает сильным телом и духом». Сайго не забыл о пережитом чувстве потери. Жестокость ссылки на Окиноэрабусима сформировала его взгляды на преступление и наказание. Через много лет, в одном из редких положительных отзывов о западных политических институтах, Сайго похвалил западные тюрьмы, назвав их мягкими и цивилизованными. В отличие от японских тюрем, они не только наказывают, но и пытаются реабилитировать заключенного.