Вначале фирма Зарубина делала рекламу на кулинарные темы. Затем перешла на изготовление кинорекламы — плакатов, изображающих кинозвезд в полный рост, которые выставлялись около кинотеатров, где демонстрировались кинофильмы с их участием. Связь с известными киностудиями и прокатными компаниями создала предприятию хорошее имя. На счет фирмы стали поступать средства из различных городов Франции. Позднее фирма начала делать рекламу на экспорт, что поощрялось французскими властями, поскольку это способствовало притоку иностранной валюты в страну. Солидность фирмы позволила Василию стать членом одного из ведущих спортивных клубов, что создавало хорошие условия для ведения разведывательной работы.

Занимаемое Зарубиным солидное положение во Франции не вызывало каких-либо подозрений к нему со стороны местных спецслужб. Разведчик пользовался авторитетом во французских деловых кругах и сумел наладить получение информации, касающейся внутренних и международных проблем.

Однако основная задача, поставленная Центром перед нелегальной резидентурой Зарубина, заключалась в сборе информации по Германии. Выполняя ее, Зарубин завербовал французского журналист-антифашиста, стенографистку германского посольства, технического секретаря одного из депутатов французского парламента. От этих источников на постоянной основе поступала информация, представлявшая большой интерес для Центра.

Разведчики-нелегалы Зарубины активно работали и по белогвардейской эмиграции. В частности, в Париже они поддерживали связь с ценным агентом ОГПУ, бывшим царским генералом Павлом Павловичем Дьяконовым, который в прошлом занимал пост военного атташе России в Англии, а в 1920 году переехал на жительство во Францию и имел широкие связи в русской военной эмиграции. Он выполнял задания по разложению крупнейшей белогвардейской организации — Русского общевоинского союза (РОВС), который насчитывал в своих рядах более двадцати тысяч активных сторонников, и готовил вооруженные акции против СССР и его представителей за рубежом. Генерал также снабжал Центр информацией о деятельности французской военной разведки.

Дьяконов принимал участие в операции по захвату руководителя РОВС генерала Кутепова. Располагая обширными связями в высших военных кругах Франции, Дьяконов по заданию «Вардо» (новый оперативный псевдоним Елизаветы Зарубиной) довел до руководства французской военной разведки подготовленные Центром достоверные сведения о «пятой колонне» профашистски настроенных французских генералов и офицеров. Эта операция прошла успешно и сыграла свою роль в охлаждении отношений между Францией и Германией.

Во Франции Зарубины находились до 1933 года. По приезде в Москву после четырехлетнего пребывания на нелегальной работе, не получив даже кратковременного отпуска, они сразу же были вновь направлены за рубеж, на этот раз — в Германию.

В 1933 году в связи с приходом Гитлера к власти обстановка в Германии осложнилась. По существу, прекратилась деятельность нелегальной резидентуры в этой стране в связи с отъездом на родину большинства оперативных работников. Зарубин получил задание в кратчайший срок восстановить деятельность резидентуры. Он был назначен руководителем нелегальной резидентуры, а его супруга — оперативным работником. Разведчикам предстояло обосноваться в нацистской Германии, принять на связь агентуру и приступить к добыванию интересующей Москву информации о внутренней и внешней политике Гитлера, особенно информации, касающейся его планов в отношении СССР.

До Берлина Зарубин и его жена добирались по разным маршрутам. О получении вида на жительство на длительный срок не могло быть и речи. Поэтому сначала Зарубины находились в нацистском рейхе в качестве туристов. Тем не менее они сразу же приступили к приему на связь агентуры. Центр был вынужден пойти на этот риск, учитывая имеющийся у разведчиков богатый опыт нелегальной работы во Франции. Москва принимала во внимание и ряд благоприятных обстоятельств. В частности, немаловажную роль имело «прикрытие» нелегалов Зарубиных, которые должны были представлять американскую фирму. А накануне новой мировой войны немцы нуждались в хороших отношениях с США и внешне хорошо относились к американским гражданам.

Руководимая Зарубиным нелегальная резидентура была сформирована в кратчайшие сроки. В нее вошли оперработники, приехавшие в Берлин вслед за резидентом, а также шесть источников информации из числа местных граждан и иностранцев. Через некоторое время из Берлина в Центр пошла важная секретная информация.

С декабря 1933 года нелегалы Зарубины более трех лет действовали в гитлеровском рейхе. Работа в нацистской Германии требовала небывалого мужества в первую очередь от «Вардо», исходя из се национальности, которая хорошо понимала, что малейшая неосторожность в работе или в быту приведет ее в гестапо. И она, постоянно рискуя жизнью, успешно справлялась с заданиями.

Зарубин лично поддерживал конспиративную связь с наиболее ценными источниками информации, среди которых был, в частности, сотрудник гестапо Вилли Леман («Брайтенбах»). Он возглавлял отдел гестапо но борьбе с «коммунистическим шпионажем» и, пользуясь своим служебным положением, неоднократно спасал резидентуру НКВД от провалов и предупреждал о провокациях, которые готовились против советского дипломатического представительства и его сотрудников в Берлине. От «Брайтенбаха» регулярно поступала информация о внутриполитическом положении в Германии, ее военных приготовлениях против соседних стран. В 1935 году он сообщил сведения о создании Вернером фон Брауном принципиально нового вида оружия — знаменитых ракет «Фау». Успешная работа с немцем продолжалась до отъезда Зарубиных из Берлина в 1937 году. «Брайтенбах» был передан на связь сотруднику «легальной» резидентуры и стал одним из самых результативных ее источников.

Другим ценным помощником нелегальной резидентуры Зарубина был сотрудник германского МИД «Вальтер». Являясь членом СС, он тем не менее критически относился к нацизму, не одобрял политику Гитлера и симпатизировал нашей стране. От источника регулярно поступала документальная информация, включая телеграммы и письма германских послов в других странах, копии записок по различным политическим вопросам, которые готовились для руководящих деятелей Третьего рейха. В дальнейшем он наряду с «Брайтенбахом» стал одним из тех источников, кто проинформировал берлинскую резидентуру о готовящемся нападении Германии на СССР.

В Берлине «Вардо» восстановила связь с «Ханум», бывшей стенографисткой германского посольства в Париже, которую она завербовала, работая во Франции. Теперь «Ханум» работала в центральном аппарате гитлеровского МИДа и передавала советской разведке очень важные документы. Из них следовало, что Гитлер готовит большую европейскую войну.

Однако через некоторое время «Ханум» заболела и вскоре умерла. «Вардо» нашла ей замену в лице скромного служащего МИД Германии, который работал в дальнейшем под псевдонимом «Винтерфельд» и имел доступ к секретной, в том числе шифрованной, переписке. Весной 1936 года разведчица обучила немца технике фотографирования документов микроаппаратом, и вскоре он стал передавать советской разведке копии секретных шифртелеграмм и других важных документов германского внешнеполитического ведомства.