В связи с успешным продвижением вермахта на Восток ЦК ВКП(б) 18 июля 1941 года принимает специальное постановление «Об организации борьбы в тылу германских войск». Одновременно принимается решение об очередной реорганизации внешней разведки органов государственной безопасности. Наркомат госбезопасности был ликвидирован, а внешняя разведка вновь возвратилась в состав НКВД, которым руководил Берия.

Павел Фитин становится начальником Первого (разведывательного) управления НКВД. Основной задачей его управления определяется развертывание активной разведывательной работы за рубежом. Одновременно создается Четвертое (разведывательно-диверсионное) управление НКВД, главной задачей которого ставится ведение разведывательной и диверсионной работы в тылу германских войск. Начальником Четвертого управления назначается заместитель Фитина генерал Судоплатов.

С началом гитлеровского нашествия перед руководимой Фи-тиным внешней разведкой остро встал вопрос о том, вступит ли Япония в войну на стороне Германии. Эту проблему регулярно отслеживали резидентуры разведки в Японии, Китае и в других странах. Уже в первые месяцы войны ими были получены достоверные сведения, говорившие о том, что Япония займет выжидательную позицию и в ближайшее время нападать на СССР не собирается. Эта информация политической разведки, подкрепленная данными военной разведки и из других источников, позволила Сталину в период битвы за Москву снять с Дальнего Востока и перебросить на Западный фронт сибирские дивизии, которые решили исход этого сражения и отстояли советскую столицу. Однако вопрос о возможном вступлении Японии в войну против СССР не снимался с повестки дня разведки до 1943 года, когда битва за Сталинград закончилась поражением гитлеровской армии.

Уже первые месяцы германской агрессии показали, что Гитлер ведет против СССР войну на истребление и преследует цель уничтожить советское государство. Однако постепенно война стала приобретать затяжной характер, что требовало напряжения всех сил, включая силы внешней разведки. Ее «легальные» резидентуры, работавшие на территории Германии и ряда оккупированных Гитлером европейских стран, с началом войны прекратили свое существование. А развертывание работы нелегальных резидентур, создававшихся на период войны, сталкивалось с определенными трудностями. В конце августа 1942 года гестапо арестовало членов подпольных групп «Старшины» и «Корсиканца». Всего в Германии по делу «Красной капеллы» было арестовано свыше 200 человек, а с учетом оккупированных ею стран — 600 человек, большинство из которых было казнено. В том же году был казнен ценный агент внешней разведки в Германии «Брайтенбах».

Несмотря на непродолжительный срок работы в военный период, руководимым «Корсиканцем» и «Старшиной» группам удалось передать в Москву ряд ценных сведений.

От них, в частности, была получена упреждающая информация о том, что в 1942 году Гитлер нанесет главный удар на Кавказ, отказавшись от наступления на Москву. Сталин, однако, эту информацию разведки проигнорировал, что привело к прорыву группы армий Паулюса летом 1942 года к Сталинграду.

С утерей разведывательных возможностей непосредственно в Германии Павел Фитин сделал ставку на активизацию работы «легальных» резидентур в таких странах, как Англия, США, Болгария, Турция, Китай, Иран, Афганистан, Швеция, Япония и ряд других. Наиболее значительных результатов внешняя разведка под руководством Фитина добилась в Англии, где активно действовала знаменитая «Кэмбриджская пятерка» в составе Кима Филби, Джона Кернкросса, Энтони Бланта, Дональда Маклина и Гая Бёрджеса. Благодаря им внешняя разведка нашей страны в течение всего периода войны имела доступ к секретным документам кабинета министров и военного ведомства Великобритании, к переписке премьер-министра Черчилля с президентом США Рузвельтом и другими главами государств, а также министра иностранных дел Идена с послами Англии за рубежом.

Особое место принадлежит резидентурам внешней разведки в Англии и США в получении секретов атомного оружия. Первая информация о том, что в Великобритании ведутся работы по созданию «супероружия», поступила от агента лондонской резидентуры Кернкросса. Нарком Берия поначалу отрицательно отнесся к этой информации, расценив ее как попытку правящих кругов Великобритании отвлечь силы и средства Советского Союза на второстепенные цели. Однако благодаря настойчивости Фитина в июле 1943 года ГКО СССР принял специальное постановление о начале работ над атомным оружием в нашей стране и определил задачи внешней разведки по данному вопросу.

В связи с наметившимся переломом в ходе войны в апреле 1943 года происходит новая реорганизация органов госбезопасности: вновь воссоздается наркомат государственной безопасности СССР.

Павел Фитин становится начальником его Первого управления и упорно доказывает необходимость работы по атомному проекту. Настойчивость начальника внешней разведки неожиданно находит поддержку у Сталина. Руководителем советского атомного проекта назначается молодой ученый Курчатов, а куратором этой тематики — Берия. Разведка органов госбезопасности, руководимая Фитиным, успешно справилась с поставленными перед ней задачами. Недаром работа по «атомному проекту» относится к одному из самых важных достижений советской внешней разведки за всю историю ее существования.

В 1944–1945 годах оперработник нью-йоркской резидентуры Феклисов, работавший с эмигрировавшим перед войной в Лондон германским ученым Клаусом Фуксом, который трудился в США над созданием атомной бомбы в составе группы английских ученых, получил от него все необходимые расчеты и чертежи. В послевоенный период от Клауса Фукса поступили материалы о работе в США над созданием водородного оружия. Сведения, полученные от источника, позволили СССР не только сэкономить значительные средства и выиграть время, но и опередить США в создании водородной бомбы.

Помимо атомной проблемы разведка в годы войны решала массу других важных задач.

Так, 27 ноября 1941 года в США, в адрес резидента Зарубина ушла телеграмма за подписью начальника внешней разведки, в которой уточнялись задачи резидентуры. В качестве приоритетной ставилась задача изыскать возможности для получения политической, экономической и военной информации по Германии и ее союзникам. Особое внимание обращалось также на своевременное выявление планов и намерений США в отношении СССР, а также стран «оси». Накануне отъезда в США Зарубин был принят Сталиным, который поставил перед ним задачу следить за тем, чтобы правящие круги США не сговорились с гитлеровской Германией за спиной СССР и не закончили войну сепаратным миром.

В августе 1941 года посол Великобритании в Москве Криппс передал предложение своего правительства о налаживании сотрудничества разведслужб двух стран в работе против гитлеровской Германии. Вскоре в Москву прибыл представитель британской разведки генерал Джордж Хилл, который ранее работал в нашей стране и даже был участником «заговора послов» против Советской Республики. В Лондон в сентябре того же года для поддержания контактов был направлен опытный советский разведчик Иван Чичаев. Наиболее успешным сотрудничество разведслужб двух стран было в Иране и Афганистане, в чем, несомненно, была заслуга самого Дж. Хилла, питавшего определенные симпатии к нашей стране.