После нового года экспедиция оказалась на грани выживания. Невельской не получил обещанных продовольствия и медикаментов. Скудные запасы таяли. Ели одну солонину. Единственная помощь в Петровское поступала от начальника Аянского порта и фактории Российско-американской компании Александра Филипповича Кашеварова, который, нарушая инструкции, посылал суда с продовольствием для Амурской экспедиции. К сожалению, Невельской со своим вспыльчивым, неуживчивым характером испортил отношения даже с человеком, искренне стремившимся помочь экспедиции. Невельской вел себя с Кашеваровым высокомерно, пытался им командовать, хотя тот не находился в его подчинении. Стремительная карьера вскружила голову Геннадию Ивановичу.

Например, вместо того, чтобы спокойно объяснить, что служащие Российско-американской компании Орлов и Березин переведены в Амурскую экспедицию, о чем Кашеварова не успели поставить в известность, Невельской написал ему: «Орлову и Березину приказал не исполнять Ваших распоряжений и не отвечать даже Вам на оные и депешею уведомляю главное правление компании».

Пришлось генерал-губернатору Восточной Сибири Николаю Муравьёву поставить на место зарвавшегося начальника Амурской экспедиции: «…должен заметить Вашему высокоблагородию, что выражения и самый смысл этих бумаг выходит из границ приличия и, по моему мнению, содержание оных кроме вреда для общего дела ничего принести не может… Неудовольствия Ваши не должны были ни в каком случае давать Вам право относиться неприлично в главное управление, место, признаваемое правительством наравне с высшими правительственными местами».

«Неосновательные требования» и «неуместные бумаги» Невельского привели к ухудшению отношений с Российско-американской компанией, и это плохо сказалось на Амурской экспедиции.

Весной 1853 года Невельские пережили страшную трагедию.

В Петровском началась цинга. Много участников экспедиции скончались. У Екатерины Ивановны пропало грудное молоко. Единственная корова, молоком которой кормили детей, погибла. Дочь Катя, первенец Невельских, умерла от голода на руках несчастной матери. Даже спустя много лет, когда Екатерина Ивановна вспоминала об этих ужасных днях, ее душили рыдания. Невельской боялся за рассудок жены. Один Бог знает, как она выдержала этот страшный удар судьбы. Возможно, помог приезд брата, с которым она не виделась много лет. В 1852 году он поступил юнкером в 4‑й флотский экипаж и уже в звании мичмана получил назначение в экспедицию Невельского.

Время залечивает, говорят, любые раны. У Невельских родилась вторая дочь. В экспедицию приехали новые люди. Наступили события, оттеснившие цели экспедиции далеко на задний план – началась Восточная война. Русским удалось отбить союзный десант англо-французской эскадры в Петропавловске, но Муравьев, понимая, что при повторном нападении союзников не устоять, приказал эвакуировать петропавловский гарнизон на Амур. Невельской получил указание переехать в Николаевский пост (нынешний Николаевск-на-Амуре). Он погрузил все имущество в катер и вельбот, и с женой и грудной дочерью отправился к новому месту службы.

В пути их ждало новое испытание. Разразилась одна из страшных бурь, какие порой случаются на Амуре. Огромные пенистые волны захлестывали катер. Матросы на веслах выбивались из сил, гребя к берегу. Невельской сел за руль. Опытным глазом он увидел единственное место на берегу, куда можно было пристать. Двое суток провели они в заброшенной гиляцкой юрте, ожидая, когда успокоится Амур и появится возможность двигаться дальше. Приходилось все время отпугивать крыс, возмущенных нарушенным покоем. Екатерина Ивановна ни на минуту не выпускала дочь из рук. Сама она жестоко простудилась, но ребенка спасла.

В Николаевском посту началось лихорадочное строительство жилых домов, казарм и укреплений. Люди работали от зари до зари. Зима, как назло, выдалась холодная. Морозы под тридцать градусов держались неделями. Но ничто не останавливало хода работ.

В новом месте дом Невельских вновь стал центром, притягивавшим всех обитателей Николаевского. Моряки с фрегата «Паллада» сделали жене Невельского подарок, о котором она и не мечтала – пианино из кают-компании судна. Теперь у нее дома проходили музыкальные вечера. Послушать игру и пение Екатерины Ивановны собиралось все общество. Она превосходно музицировала. Иногда мебель сдвигали в сторону, за пианино садился кто-нибудь из офицеров, и под звуки старенького инструмента моряки и их жены, не исключая и начальника экспедиции с супругой, лихо танцевали знаменитую камчатскую «восьмерку», позабыв об усталости и бедах. Екатерина организовала самодеятельный театр, в котором из-за нехватки артисток женские роли исполняли молодые офицеры. Притягивал дом капитана моряков еще и своей маленькой библиотекой, чудом оказавшейся не на затонувшем «Шелехове», а на «Байкале». Исследователи брали книги в опасные путешествия, храня их так же бережно, как соль, табак и спички.

Жизнь в Николаевске была тяжелой и страшной. По поселку бродили стаи больших лесных крыс, спокойно проникали в дома, пожирая все, что попадалось, нападали на спящих. Офицеры, пока капитаны американских торговых судов не завезли на Амур кошек, ложились спать, поставив на пол свечу и положив рядом заряженный дробью пистолет. Ночью начиналась пальба по грызунам.

В конце Крымской войны генерал-губернатор Восточной Сибири генерал-лейтенант Муравьев назначил Невельского начальником штаба «войск на Амуре расположенных», оставив его фактически не у дел. Амурская экспедиция была ликвидирована. Многие советские историки и писатели создавали из Невельского трагическую фигуру главного героя присоединения Амура, подвергавшегося гонениям именно за свой патриотизм. Отстранение его от дел ставили в вину Муравьеву. На самом деле генерал-губернатор увидел, что Невельской в изменившихся условиях не справлялся с ситуацией, и поступил по отношению к Невельскому благородно: щадя самолюбие Геннадия Ивановича, придумал эту ненужную должность, на которой тот дождался предписания выехать в 1855 году в Петербург.

Как это ни грустно, но Муравьев, Невельской и Василий Степанович Завойко, «начальник морских и сухопутных сил, на Амуре расположенных», – три главных деятеля, благодаря которым Россия приобрела огромные территории на востоке и одержала победу на востоке в Крымской войне, расставались неприязненно. Завойко и Муравьев по крайней мере сумели переступить через взаимные обиды и обнялись на прощание, но Геннадий Иванович сделать этого не смог. Из троих наиболее благородно повел себя Николай Николаевич Муравьев. Он всегда отзывался о своих бывших помощниках самыми добрыми словами и никогда не пытался отнять у них славу.

Невельские провели пять лет на Амуре, а казалось – целую жизнь, спрессованную в эти годы. Геннадий Иванович начал свою амурскую эпопею холостым капитан-лейтенантом, а возвращался отцом семейства, контр-адмиралом. Это была блестящая карьера, но далась она ему нелегко.

Обратная дорога была длительной и нелегкой. Сначала вниз по Амуру, затем на шхуне «Восток» в Аян, оттуда на лошадях до реки Мая и по сибирским рекам до Иркутска, более четырех тысяч верст. Детей (у них родилась еще одна дочь), Ольгу и Марию, везли в больших плетеных корзинах, притороченных к седлу. В Петербург Екатерина Ивановна с дочерьми приехала лишь к концу года, задержавшись в Красноярске, где жила семья сестры.