Наследство ему досталось тяжелое. В 1938 году гитлеровская Германия при попустительстве Англии и Франции, являвшихся гарантами выполнения Версальских договоренностей, аннексировала Австрию, присоединила к своим владениям Судетскую область Чехословакии, а в марте 1939 года полностью оккупировала ее, растоптав Мюнхенские соглашения. В воздухе пахло пороховой гарью крупного европейского конфликта, западные державы явно желали натравить Гитлера на Советский Союз и за его счет удовлетворить территориальные претензии Германии. Москве необходимо было знать реальные замыслы Гитлера и его европейских партнеров, однако от загранаппаратов разведки информация на этот счет почти не поступала.

В мае 1938 года Политбюро ЦК ВКП(б) рассмотрело вопрос об улучшении работы внешней разведки органов государственной безопасности. Общий ее штат увеличился вдвое и составил 210 человек. В его структуре было создано тринадцать отделений, семь из которых строились по географическому принципу и занимались руководством зарубежными резидентурами. Учитывая острую нехватку кадров, была организована разведывательная школа НКВД — Школа особого назначения (ШОН). Во внешнюю разведку пришли ее первые выпускники — люди с высшим образованием, с опытом партийной и организационной работы, одним из которых был сам Фитин. Однако это не решало проблемы, поскольку опыта работы за рубежом они, как правило, не имели. Предстояло коренным образом реорганизовать деятельность внешней разведки в целом, учитывая исключительно сложную ситуацию, сложившуюся в Европе.

Новый начальник внешней разведки начал свою деятельность с восстановления боеспособности резидентур за границей, как «легальных», так и нелегальных. В течение 1939 года за кордон для восстановления связи с законсервированной агентурой были направлены опытные разведчики Василий Зарубин, Дмитрий Федичкин, Борис Рыбкин, Михаил Аллахвердов, Александр Коротков и многие другие.

В результате принятых мер удалось воссоздать 40 зарубежных резидентур, направить в них более 200 разведчиков, а также восстановить многие нелегальные резидентуры. Это сразу же сказалось на результатах работы внешней разведки.

В 1940 году в Берлин в «легальную» резидентуру была направлена опытная разведчица-нелегал Елизавета Зарубина (Вардо). 10 декабря она встретилась с женой видного нацистского дипломата «Августой», связь с которой ранее поддерживал разведчик-нелегал Федор Парпаров. С собой она привезла письмо от разведчика. Вначале «Августа» не поверила Елизавете, которая прекрасно говорила по-немецки, считая эту встречу «провокацией гестапо». Однако Вардо удалось убедить ее продолжить контакт с советской разведкой, и от «Августы» в Центр потек ручеек важной секретной информации.

В апреле 1941 года Вардо восстановила связь с другим ценным источником внешней разведки, женой крупного нацистского дипломата, завербованной органами госбезопасности во время его работы в германском посольстве в Москве. Эта женщина дала согласие на продолжение сотрудничества с советской разведкой в Берлине, и вскоре от нее была получена важная информация о близящемся гитлеровском нашествии на нашу страну.

В июле 1940 года в Берлин для восстановления связи с ценнейшими источниками резидентуры — сотрудником разведотдела «люфтваффе» обер-лейтенантом Харро Шульце-Бойзеном («Старшиной») и старшим правительственным советником имперского министерства экономики доктором Арвидом Харнаком («Корсиканцем») — прибыл молодой разведчик Александр Коротков. Срок его командировки был определен в один месяц, однако командировка затянулась на полгода.

Связь с «Корсиканцем» Коротков восстановил в сентябре 1940 года. Агент передал оперработнику ряд ценных разведывательных материалов, в том числе сведения о военных планах Германии против Советского Союза. Вскоре через него была установлена связь и со «Старшиной», а также другими членами подпольной антифашистской организации, получившей впоследствии название «Красная капелла». Герои-антифашисты работали до августа 1942 года, когда они были арестованы гестапо.

В сентябре же Коротков восстанавливает связь с еще одним ценнейшим источником берлинской резидентуры НКВД, начальником «советского» отдела гестапо Вилли Леманом («Брайтенбахом»), от которого накануне войны были получены важные документальные материалы. Среди них — доклад, подготовленный 10 июня 1941 года гестапо для Гиммлера и озаглавленный: «О советской подрывной деятельности». Из документа следовало, что гитлеровскому руководству ничего серьезного об оперативной деятельности резидентур НКВД и ГРУ в Германии не было известно.

Работа закордонных аппаратов разведки постепенно налаживалась, хотя в полную силу внешняя разведка органов государственной безопасности смогла заработать только с апреля 1941 года. В январе 1939 года разведка сообщила об англо-французских переговорах по выработке планов совместного выступления в случае войны с Германией и Италией. 15 марта, когда гитлеровские войска вошли в Прагу, в Центр поступило сообщение парижской резидентуры НКВД, согласно которому Англия намерена поощрять агрессию Гитлера на Восток.

В мае 1939 года Фитин докладывает Сталину обобщенную информацию разведки об утвержденном Гитлером плане «Вайс», который предусматривал оккупацию Германией Польши. Разведке стала известна и крайняя дата возможного нападения на Польшу — 1 сентября 1939 года, что означало начало новой мировой войны. Когда в Москву в августе 1939 года отправилась морем совместная англо-французская делегация для переговоров о совместных действиях по предотвращению гитлеровской агрессии, лондонская и парижская резидентуры НКВД сообщили в Центр содержание секретных инструкций, полученных этими делегациями. Одновременно от «Кэмбриджской пятерки» поступили сведения о том, что Германия и Англия ведут секретные переговоры по заключению договора о ненападении. До начала Второй мировой войны оставалось менее двух недель.

Война началась 1 сентября 1939 года с провокации, устроенной гитлеровцами у польского местечка Гляйвице. Группа преступников, специально выпущенных из германских тюрем и переодетых в польскую военную форму, захватила радиостанцию и обратилась по радио с призывом к началу войны с Германией. В ответ Гитлер отдал приказ атаковать Польшу. Сам факт провокации, приведшей к развязыванию Второй мировой войны, произвел глубокое впечатление на советское руководство и самого Сталина, который больше всего стал опасаться подобных провокаций со стороны гитлеровцев и с подозрением относился к донесениям разведки, предупреждавшей его о грядущем нападении Германии.

Однако развал внешней разведки в 1930-е годы был еще слишком ощутим. Несмотря на предпринятые Фитиным активные меры по восстановлению загранаппаратов, разведка не смогла предупредить Центр о нападении Германии на Францию 10 мая 1940 года и об одновременной оккупации ею стран Бенилюкса. Война стала национальной катастрофой для Франции, утратившей в результате германского «блицкрига» национальную независимость. Только в первые дни войны немцы взяли в плен 700 тысяч французских военнослужащих. 22 июня Франция капитулировала. В плену оказались еще 1 миллион 400 тысяч французских солдат и офицеров. Результаты разгрома крупнейшей в Европе армии произвели ошеломляющее впечатление на весь мир.