Русский резидент продолжал жаловаться в Москву, что о его отпуске шведы «молчат», а предложенный вариант секретаря Гермелина и вовсе неуместен. Он предложил шведским властям отпустить его в Россию для поиска приемлемых вариантов «по моему честному и дворянскому паролю» с гарантией возврата через условленный срок, но получил отказ. Новая надежда блеснула после того, как в Швеции узнали об аресте гарнизона и жителей Выборга в июне 1710 года. Во время встречи в Стокгольме 24 августа граф Вреде сообщил ему, что советники решили отпустить его с тремя служителями «просить об освобождении жителей Выборга и семьи Книпера». Но радость его вновь оказалась преждевременной: шведская сторона запланировала участие Хилкова в переговорах, которые должны были быть проведены на находящихся в море кораблях. Ему оставалось только выразить сожаление, что, если бы его отпустили в Санкт-Петербург, это «было надежнее и быстрее, то и выборгскому гарнизону освобождение быстрее было».

Запланированные переговоры так и не состоялись, а мытарства Хилкова продолжились. По сообщению Алексея Манкиева, после кратковременного пребывания на шведских кораблях резидента отвезли «в финскую землю», поскольку флот вернулся «на зимовье в Свею». Этот рассказ стал частью письма к «сияющей милости» князю Меншикову, в котором Манкиев просил выдать подводы для имущества, которое резидент, вновь опередив события, отправил с ним через Выборг в Санкт-Петербург. Кстати, эта поездка секретаря создала много проблем для них обоих в будущем, так как не была санкционирована шведскими властями.

Между тем князя Хилкова вывезли в Финляндию и держали в Сарви Лакее, но 11 февраля перевели в имение Велиес недалеко от Або, поскольку губернатор граф Нирот решил, что его надо держать подальше от войск и под надзором, чтобы он не смог «выведовать». Изоляция получилась успешной: поместье находилось в глухом и малонаселенном месте и поэтому резидент со свитой очень скоро почувствовал недостаток не только в общении, но и в пропитании. Туда же 17 февраля привезли генералов Трубецкого и Головина. Вместе с ними было доставлено тело царевича Александра Имеретинского. Спустя несколько недель действия шведов еще более ужесточились: 9 марта явился командующий охраной майор Юленстрем и велел отдать шпаги, но, по словам Хилкова: «Мы отказались». Через пять дней была предпринята повторная попытка, в результате которой были отобраны ружья, но оставлены три шпаги. Русских особенно потрясло то, что шведы забрали даже ружье царевича, которое «было при гробе его».

Чуть ранее, в мемориале к королевским советникам от 18 февраля, Хилков, жалуясь на то, что уже многое время его «волочат… по дорогам», попросил сказать, что с ним собираются делать, «а то со мной будет то, что с царевичем Александром». Этот мемориал вызвал бурную негативную реакцию у членов совета, которые были возмущены тем, что русский резидент, несмотря на помощь, которую ему оказывали, написал «много лжи и неправды», и, по их мнению: «Хорошо было бы князю Хилкову одуматься и познать себя». Резиденту посоветовали воздержаться впредь «от всяких тайных и неудобных переписываний». Уже 29 марта ему и генералам Головину и Трубецкому объявили об отъезде в Умео, 1 мая, как писал Хилков Головкину: «Повезли нас через силу»[79] и 29 мая переправили «через море… на 7 малых ботах без крышки».

2 июня 1711 года они прибыли в Умео, где их приняли «срамно и бесчестно»: поселили в разные дома, провели обыск, отобрали у всех шпаги и прислали для охраны роту солдат с заряженными ружьями. Губернатор граф Лёвен пригрозил суровым наказанием горожанам, если они будут передавать корреспонденцию русских, а сам уехал с семьей из города, чтобы оградить себя от жалоб пленных. После этого Хилков написал в Москву, что теперь он понимает, почему царевич сказал об этом человеке «злой и лихорадный». 28 октября 1711 года Хилков вернулся в Стокгольм.

Вообще 1711 год был очень напряженным для резидента Хилкова. Бегство князя Долгорукого с большой группой пленных, эпопея с отпуском гроба с телом царевича Александра на родину, карательные меры шведских властей в ответ на массовую высылку каролинов в Сибирь[80] — вот только несколько наиболее серьезных событий этого года. Между тем в семье Андрея Яковлевича произошла трагедия: умерла его жена Мария Васильевна и единственная дочь осталась «в сиротстве». Сам же он после очередной неудачной попытки обмена на семью Книперкроны и секретаря Дюбена впал в «глубокую печаль и расстройство». В конце 1712 года обострилась болезнь Хилкова, да так, что он в письме Головкину от 1 февраля 1713 года написал, что уже 9 недель находится в постели и что «от несносных болезней и печалей без всякой кому из того пользы» умрет.

Тем не менее он продолжил выполнять свои функции, которые по-прежнему были самые разнообразные. Например, он обратил внимание королевских советников на нарушения, которые происходили в «городе Гевельской провинции», когда бургомистр русским работным людям «делал обиды: держал тесно, на работу неволею гонял и бил, и корм королевский алтын в день… удерживал и не давал год с лишним, и пособие отнимал». Благодаря его вмешательству из Стокгольма прибыл специальный фискал, и нарушения прекратились. В феврале 1713 года вместе с телом генеральши Головиной он отправил на Русь списки русских пленных, находящихся в Швеции, сделанные местными властями. Но разведывательная деятельность по-прежнему была приоритетной для Хилкова и его ближайшего окружения.

В связи с усилением внимания Петра к гражданскому строительству кроме политических и военных сводок из Швеции стали поступать сведения об устройстве государственных органов. Например, по заданию резидента Манкиев составил и отправил в Москву список недавно назначенных шведских губернаторов, омбудсменов в коллегиях, военных чинов и священников. Он же информировал о причинах расширения Канцелярии совета.

Причиной очередной высылки части русских пленных из Стокгольма стали сведения о том, что каролинов отправили в Сибирь. Хилкова отправили в мае 1713 года в город Вестерос, а вернувшийся в ноябре 1714 года «из нехристианских стран» Карл XII категорически потребовал, чтобы к русским пленным по-прежнему проявляли максимальную строгость. «Побежденные над победителями прокужатся» — так отреагировал Хилков на ужесточение режима содержания. Но больше всего его угнетало то обстоятельство, что он мало чем может помочь своему государю, так как находится «от Стокгольма в отсутствии». «Но должности не щадю», — писал резидент и каждую новость сопровождал комментарием, что не может быть уверен в достоверности того или иного события. Так, например, он поступил, сообщив Головкину в мае 1714 года, что шведы забирают в армию «земляное воинство», в котором мужики вооружены топорами и косами. Мимо его внимания не прошли такие интересные факты, как ожидание возвращения в Швецию короля Карла, помолвка принцессы и будущей королевы Ульрики-Элеоноры с Фридрихом Гессен-Кассельским, приезд посланника прусского короля Бассевича для переговоров. Не без удовлетворения отметил он страх, который испытали шведы, когда «вашего величества армада» внезапно показалась на рейде Стокгольма, а также трудности, которые возникли в стране с продовольствием.