Шёл 1854 год. 17 августа оказалось для Юлии Егоровны особенно памятным: в тот день в Авачинскую бухту вошла неприятельская эскадра из англо-французских судов.

Союзники, прочно застрявшие под Севастополем, ожидали лёгкой победы на далёкой восточной окраине России.

Однако их ждал неприятный сюрприз.

Русские давно и обстоятельно готовились к отражению неприятеля. Завойко мобилизовал всё мужское население, способное держать в руках оружие, даже если это были старое охотничье ружьё или вилы. Подготовили артиллерийские позиции. Женщинам предложили забрать детей и переждать в селениях далеко за городом. Имущество зарыли в землю, спрятали в погребах.

Простившись с мужем, подавленная, не зная, увидит ли она его вновь, не зная, что случится с ними дальше, Юлия Егоровна с малолетними детьми пошла пешком к хутору, находившемуся в двенадцати верстах от города. Лошади нужны были защитникам города для конного отряда. По пути к ней присоединились другие женщины с детьми. Дорога, извивавшаяся в горах, после продолжительных дождей превратилась в месиво грязи. Женщины несли грудных детей на руках, дети постарше шли с узелками, в которых находились еда и одежда.

Десант союзников в Петропавловске потерпел поражение. Давид победил Голиафа: малочисленный плохо вооружённый русский гарнизон совершил невозможное – отразил нападение многократно превосходившего противника.

29 августа семьи вернулись в город. У Юлии Егоровны хранились деньги от лотерей, в которых разыгрывались вещи, изготовленные местными умелицами. Она собиралась употребить их для основания женской школы. Но теперь им нашлось другое применение – помощь сиротам и вдовам погибших защитников.

Зимняя почта доставила награды героям и предписание оставить город, а всех его обитателей переправить на Амур.

Что нельзя было взять с собой, требовалось спрятать в укрытиях, укрепления уничтожить, пушки вывезти, а при невозможности – привести их в негодное состояние.

Люди бросали всё, что было нажито и накоплено с огромным трудом за долгие годы: имущество, дома, скот… В начале апреля, прорубив лёд, русские военные суда вышли из Авачинской бухты.

Юлия Егоровна ожидала рождения десятого ребёнка, и муж вынужден был оставить её с девятью другими детьми на хуторе, где она скрывалась во время прихода вражеской эскадры. Она родила девочку спустя две недели, после того как гарнизон покинул город. Дочь назвала Анной. Предполагалось, что семью губернатора позже заберёт русское китоловное судно. Май, июнь, июль и август в полной неизвестности провела она с детьми вместо планировавшихся нескольких недель. Они оказались без муки, сахара и других припасов, выручали только рыба и молоко от своей коровы. Дети постоянно болели.

2 мая Юлия Егоровна с детьми перешла на судно Российско-американской компании «Атха», чтобы следовать в Аян. Но с наблюдательного поста сообщили о судах неприятеля. Её с детьми снова свезли на берег и отправили на хутор. Судно спрятали в одной из бухт Авачинской губы. Единственным пропитанием для семьи Завойко была рыба. В довершение всех неприятностей пробудился Авачинский вулкан. Извержение длилось около двух месяцев. Вся округа была засыпана вулканическим пеплом.

19 мая в Авачинской бухте вновь появилась мощная эскадра союзников, но она застала лишь брошенный людьми город, и поэтому вскоре отправилась на поиски беглецов к Амуру. Перед уходом неприятель сжёг многие дома в Петропавловске. Английский адмирал, зная, что семья Завойко скрывается в окрестностях Петропавловска, сделал великодушный жест, передав через парламентёра поручика Губарева для семьи губернатора ящик с черносливом, печенье и ящик вина.

В конце лета Юлию Егоровну с детьми забрал компанейский бриг «Беринг». Его капитан сумел незаметно для неприятельских паровых судов провести свой парусник в Де-Кастри.

Завойко был назначен «начальником морских и сухопутных сил, на Амуре расположенных». Встретить семью ему не удалось. Всех, с кем он прибыл на Амур, привезли и высадили в открытом поле. Требовалось создать всё с нуля. У него не было ни минуты личного времени. Адмирал был занят строительством укреплений, жилья, складов и прочими обязанностями по обеспечению жизни тысяч людей, за которых он отвечал. Да и не мог он знать точного времени прибытия судна.

Юлии Егоровне и другим жёнам офицеров сначала пришлось с детьми идти пешком по бездорожью 25 вёрст до озера Кизи, там все набились в маленькую избушку и переночевали. Невельской свой пеший поход в Де-Кастри описывал в воспоминаниях, как подвиг. А что же говорить о женщинах с маленькими детьми? Утром их рассадили по лодкам, и началось путешествие по озеру. Из-за мелководья солдаты, бредя по пояс в воде, тащили лодки бечевой. Добрались до Мариинского поста, пробыли там двое суток, пока наконец их всех не погрузили на баржу и не доставили в Николаевск. Спустя двадцать лет Юлия Егоровна вспоминала: «Наконец, после долгой мучительной неизвестности мы с мужем были вместе. Минуты свидания не решаюсь описывать. Чувство живо…»

Разместились они в маленьком домике, служившим и квартирой, и адмиральским штабом. Дети спали в матросских койках, расположенных в два яруса.

Жену адмирала не беспокоил неустроенный быт, она не жалела потерянных вещей. Юлию Егоровну тревожило только отсутствие учебников, по которым она занималась с детьми. Ей помогли офицеры, собрали необходимые книги и даже стали заниматься со старшими мальчиками по программе Морского корпуса, что было весьма кстати – дети хотели стать моряками.

Строительство укреплений не прекращалось и в самые лютые морозы. Свидетели тех лет вспоминали, что к месту установки батарей часто являлся и неутомимый Завойко, строго контролируя ход строительства, не скупясь на разносы руководителям работ в случае обнаруженных недостатков. Николаевский пост к зиме уже приобрёл вид военного городка: помимо казённых зданий в нём появилась слободка из домов нижних чинов, сколоченных на скорую руку.

Обитатели Николаевска старались скрашивать свою беспросветную жизнь самодеятельным театром, вечерами в клубе, танцами, на которых играл настоящий военный оркестр, привезённый из Иркутска. Юлия Егоровна, раньше всегда активная участница общественной жизни, в Николаевске заболела воспалением лёгких и вынуждена была в основном находиться дома, даже в Новый год.

В дневнике 31 декабря 1855 года она записала: «Сегодня муж даёт вечер в клубе… Мне ещё не позволено выходить, да и сил нет. Правая рука у меня плохо действует после болезни; шить и кроить надо, а совсем не могу. Наши вещи ещё не все пришли из Де-Кастри, а дети обносились».

Чаще всего у Завойко в гостях бывали капитан 1‑го ранга Степан Степанович Лесовский, капитан 2‑го ранга князь Дмитрий Петрович Максутов, родственник Василия Степановича по матери лейтенант Николай Алексеевич Фесун и правитель канцелярии Аполлон Давыдович Лохвицкий. Обед состоял из рыбы. Солонина считалась роскошью. Лесовский по просьбе Завойко проэкзаменовал детей контр-адмирала по арифметике и алгебре. Василий Степанович мечтал отдать их в Морской корпус.