3 мая 1839 года комиссия военного суда при Охотском порте постановила: поручика корпуса флотских штурманов Дмитрия Ивановича Орлова «казнить смертью».

А вот уж этого начальник порта не ожидал. Отправляя в столицу на утверждение сентенцию комиссии военного суда, он написал в сопроводительном документе, что заключение комиссии соответствует законам, но, учитывая, что Орлов провёл более 10 месяцев на гауптвахте, считает достаточным лишить его чинов и сослать в работу, т. е. на каторгу, что тоже особым милосердием не отзывалось.

Почти год после приговора местного суда ждал Орлов на гауптвахте решения своей участи. Почта шла месяцами. Наконец из Петербурга пришла бумага от морского генерал-аудитората: лишить чинов и дворянского состояния, сослать в Сибирь на поселение. На ней – резолюция царя: «Быть по сему. Николай. Санкт-Петербург. 14.1.40 г.»

Ссылать дальше было некуда. Посему Орлова определили на жительство в крошечную деревушку к северу от Охотска. Все двери в Охотске были для него закрыты. Бывшие приятели и добрые знакомые, увидев его на улице, отворачивались.

Чтобы заглушить горе, он пошёл проверенным российским путём – стал пить. Сначала выпивал по полбутылки вина, потом счёт дошёл до трёх бутылок вина в день. Видя, что оставшихся денег на вино не хватает, оставил эту благородную привычку и перешёл на водку, а потом и вообще пил любую дрянь, лишь бы пришло забытьё. Когда закончились последние копейки и были распроданы остатки имущества, хозяева избы, где он снимал угол, деятельно помогавшие ему всё пропить, вышвырнули штурмана на улицу.

Он стал бродягой. Таким его увидели и приютили тунгусы, которые не забыли, как в голодный год, когда к берегам Охотска не пришла рыба, он спас их семью от голода. Тогда у аборигенов погибли все ездовые собаки. Их хозяев от смерти спасали лишь пожертвования частных лиц, у властей денег, как всегда, не было.

Чтобы как-то прокормиться и не сидеть на шее у тунгусской семьи, Орлов собирал ягоды, выращивал хрен и другие овощи, ловил рыбу и всё это продавал в Охотске. Вырученных денег хватало на хлеб и водку.

В 1842 году в Охотск приехал новый начальник фактории Российско-американской компании Василий Степанович Завойко. Перед отъездом из Петербурга Литке и Врангель посоветовали ему обратить внимание на бывшего поручика.

Завойко и самому доводилось раньше встречаться с Орловым. Трагическая судьба командира компанейского судна не оставила его равнодушным.

Он послал за ним казака. Когда штурмана привели к бывшему сослуживцу, перед Завойко предстал не жизнерадостный подтянутый красавец-моряк, с которым он когда-то встречался, а опустившийся бродяга с безразличным взглядом. Между ними состоялся суровый мужской разговор, круто поменявший судьбу Орлова.

Переписка о переносе Охотского порта в более пригодное для мореплавателей место тянулась целое столетие, но реально никакие шаги не предпринимались. Завойко приехал с твёрдым намерением сдвинуть мёртвый камень с места, по крайней мере, перенести факторию в Аянский залив, более удобную бухту, окружённую кольцом невысоких гор. Сначала следовало провести разведку. Для этого нужен был верный помощник, на которого можно было бы положиться, как на себя самого.

Орлов когда-то имел репутацию не только великолепного штурмана, но и надёжного, обязательного человека. Но это было в прошлом.

И всё же Завойко рискнул, доверился бывшему штурману.

В мае того же года Завойко, Орлов и несколько матросов направились в Аянский залив на китобойном вельботе, ведя за собой на буксире лодку с провизией. В 120 верстах от Охотска льды прижали их к берегу. Моряки с трудом вытащили вельбот и лодку на сушу, чтобы их не раздавило льдами. Девять суток провели они на берегу, слушая по ночам в палатке скрежет льдин, дожидаясь, когда появится возможность двигаться дальше. Завойко нервничал. Он мог опоздать к приходу компанейских судов, за разгрузкой и погрузкой которых обязан был наблюдать лично. Не выдержав, он поручил Орлову продолжить исследования, а сам в одиночку на лыжах пошёл обратно. Реки уже разлились, и Завойко переправлялся через них на льдинах. Рискуя жизнью, добрался он до Охотска и успел встретить суда.

Орлов тщательно обследовал бухту и вернулся с материалами, ознакомившись с которыми, начальник фактории убедился, что штурман не утратил ни прежних навыков, ни свойственной ему добросовестности.

На следующий год, снова в мае, Орлов со знакомым тунгусом на туземной лодке отправился в Аянский залив. Завойко поручил ему произвести опись залива и детально ознакомиться с местностью. В пути понадобилось переделать лодку, подняв у неё борта. Но это не помогло: как и в первый раз, её едва не затёрли льды. Орлов и его проводник вытащили лодку на берег и пережидали несколько суток, пока льды не отойдут от берега, чтобы можно было продолжить путь.

В пути Орлову пришлось нанять ещё двух тунгусов. Он хорошо говорил на их языке, которому научился, живя с тунгусской семьёй. У штурмана были музыкальный слух, прекрасная память и очевидные лингвистические способности. Он легко устанавливал контакты с коренным населением, потому что не только легко осваивал языки народов, населявших Охотский край, но и внимательно изучал их обычаи, относился к ним с уважением. Не удивительно, что ему платили взаимной симпатией, называли его только по имени-отчеству, а не по имени, как остальных русских.

В компании с новыми помощниками Орлов составил полную опись Аянского залива, осмотрел берег Охотского моря до устья реки Уды. Там он впервые получил сведения от местных жителей об Амуре. На берегу Аянского залива Орлов занялся подготовкой лесоматериалов для строительства. Завойко направил в Аянский залив одно из судов компании под командованием прапорщика корпуса флотских штурманов П. Гаврилова, чтобы помочь с описью. Однако помощь не понадобилась, Гаврилову оставалось лишь доставить документы в Охотск.

С журналом и картами, составленными Орловым, начальник фактории поехал в Иркутск, доложил о командировке в представительстве компании, нанял опытного промышленника Алексея Павловича Березина и якутов-мастеровых. Березину и нанятым якутам он поручил по компасу пройти от Нелькена до Аянского залива. Там они поступали в распоряжение Орлова, которому Завойко выделил в помощь четырёх служащих компании. Одним из них был поручик Савин, вызвавшийся добровольцем. Перед зимовщиками ставилась задача выяснить, когда происходит вскрытие залива ото льда, а фактически это была проверка условий жизни на берегу Аянского залива.

Ситуация сложилась необычная: ссыльный Орлов, лишённый воинского звания и всяких гражданских прав, командовал людьми, находившимися на службе. В августе прибыл Завойко на бриге «Промысел», который доставил запас продовольствия для зимовки. Протоиерей освятил закладку Аяна, и Орлов с товарищами приступил к строительству. В начале зимы пришёл Березин с якутами-рабочими.

За зиму Орлов вместе со своими помощниками построил всё необходимое для переноса фактории: дом управляющего, казарму, баню, кузницу, юрту под склад, пакгауз. Офицеры, разжалованный и действительный, работали наравне с остальными.