В ходе очередной реорганизации НКВД 3-й отдел 28 марта 1938 г. вошел в состав 1-го управления НКВД (управления госбезопасности), а его новым начальником, вместо перешедшего на работу в 6-й отдел Минаева-Цикановского (за год своего руководства контрразведкой он так и не был утвержден в должности начальника, оставшись «и.о.»), стал комиссар госбезопасности 3-го ранга Н.Г. Николаев-Журид, ранее уже работавший в КРО-ОО, непосредственно перед назначением возглавлявший военную контрразведку. По совместительству Н.Г. Николаев-Журид являлся заместителем начальника 1-го управления НКВД — 1-го заместителя наркома комкора М.П.Фриновского.

Заместителем Николаева-Журида был его сослуживец по Ростову-на-Дону майор госбезопасности М.А. Листенгурт. 29 сентября того же года, после восстановления ГУГБ, Н.Г. Николаев-Журид остался начальником 3-го отдела, перестав при этом быть заместителем начальника ликвидированного 1-го управления.

Заместителем начальника ГУГБ стал приехавший из Грузии, вместе с новым 1-м зам. наркома и начальником ГУГБ Л.П. Берия, бывший завотделом ЦК КП(б) Грузии В.Н. Меркулов. Через месяц, 25 октября 1938 г., Меркулов сменил арестованного в тот же день Николаева-Журида (был арестован и Листенгурт) на посту руководителя контрразведки. Но он также недолго проработал на этом посту. 17 декабря Меркулов был назначен 1-м заместителем нового наркома Л.П.Берия — начальником ГУГБ. Начальником 3-го отдела стал также выходец из Тбилиси комиссар госбезопасности 3-го ранга В.Г. Деканозов, за две недели до этого возглавивший 5-й (иностранный) отдел ГУГБ. 17 же декабря Деканозов стал по совместительству заместителем начальника ГУГБ, оставаясь при этом руководителем разведки. Такое совмещение постов было единственным случаем в истории советских органов госбезопасности.

В марте 1939 г. Деканозов на XVIII съезде партии был избран кандидатом в члены ЦК; 13 мая 1939 г. покинул НКВД, перейдя на дипломатическую работу — заместителем нового наркома иностранных дел В.М. Молотова (сменившего М.М. Литвинова).

Начальником 3-го отдела 25 июня того же года стал майор госбезопасности Т.Н. Корниенко, выходец из рабочих, после окончания аспирантуры Института востоковедения имени Н. Нариманова работавший в Особом Контрразведывательном отделе ОГПУ-ГУГБ НКВД, где прошел путь от помощника оперуполномоченного до заместителя начальника отдела. В период его руководства отделом (на декабрь 1939 г.) структура советской контрразведки выглядела следующим образом:

1-е отделение (Германия, Венгрия);

2-е отделение (Япония, Китай);

3-е отделение (Англия);

4-е отделение (Франция, Италия, Бельгия, Швейцария, Испания);

5-е отделение (Румыния, Греция, Болгария, Югославия);

6-е отделение (работа по оккупированной Польше);

7-е отделение (Финляндия, Швеция, Норвегия, Дания);

8-е отделение (САСШ и страны Южной Америки);

9-е отделение (Турция, Иран, Афганистан);

10-е отделение (белогвардейские контрреволюционные элементы);

11-е отделение (Латвия, Эстония, Литва);

12-е отделение (НКИД, полпредства и консульства);

13-е отделение (ИККИ, МОПР);

14-е отделение (НКВТ, торгпредства);

15-е отделение (Интурист и ВОКС, частично охрана дипкорпуса ОДК): политотдел ОДК;

16-е, 17-е, 18-е отделения ОДК.

Как видим, структура контрразведки усложнилась по сравнению с предыдущим периодом. Во многом это было связано с начавшейся Второй мировой войной.

Главным противником советской контрразведки были спецслужбы нацистской Германии, которые после подписания в августе 1939 г. советско-германского пакта о ненападении усилили работу против СССР с легальных позиций. Немецкие разведчики вели ее под прикрытием различных комиссий по переселению немцев в Германию с территорий, отошедших к СССР, торговых делегаций. Так, в январе 1940 г. среди членов германской торговой делегации был выявлен с помощью советской военной разведки сотрудник немецкой разведки. КРО УНКВД Ленинградской области были зафиксированы факты систематической посадки на мель вблизи Кронштадтской военно-морской базы германских торговых судов. Работа по противодействию немцкой разведке в 1939–1940 гг. велась в основном в Западной Украине, Западной Белоруссии, республиках Прибалтики, вошедших в состав СССР. В этих регионах число арестованных органами госбезопасности иностранных агентов возросло с 40 до 62 % от их общего количества, хотя там проживало немногим более 10 % населения СССР.

Руководство НКГБ принимало меры по улучшению агентурно-осведомительной службы. Приказами по ведомству предписывалось, чтобы оперативный сотрудник руководил работой только резидента, который осуществлял связь с прикрепленными к нему осведомителями; агенты, т. е. секретные сотрудники, участвовавшие в оперативных разработках, должны были находиться на личной связи только с оперативным сотрудником. В оставшиеся до начала войны месяцы НКГБ не удалось действенно перестроить агентурно-осведомительную сеть, годами осуществлявшую тотальное наблюдение за огромным количеством рядовых граждан. Но контрразведывательный режим в стране был все же усилен: более эффективно, используя секретное фотографирование, стала работать наружная разведка, улучшилась деятельность радиоконтрразведывательной службы, широко использовалась специальная техника (прослушивание), повысились требования к работе службы политконтроля и оперативного учета.

Велось наблюдение за посольствами, в первую очередь Германии и ее сателлитов. Этим занималось 1-е отделение 3-го отдела во главе с капитаном госбезопасности (соответствовало званию полковника в РККА) B.C. Рясным. Чекисты установили подслушивающее устройство в кабинете немецкого военного атташе в Москве генерала Э. Кестринга. Одним из сотрудников, занимавшихся оперобслуживанием немецкого посольства, был Н.И. Кузнецов, впоследствии знаменитый разведчик, действующий на временно оккупированной фашистами территории СССР.

В 1940 г. и первой половине 1941 г. органы госбезопасности раскрыли 66 резидентур и арестовали свыше 1,5 тыс. агентов немецкой разведки, в 1939–1941 гг. в приграничных районах Дальнего Востока — свыше 2,5 тыс. агентов японской разведки.

Перед войной в ходе реорганизации НКВД и образования Наркомата госбезопасности контрразведка вошла в состав последнего в качестве его 2-го управления. Начальником был утвержден комиссар госбезопасности 3 ранга П.В. Федотов, возглавлявший 3-й отдел ГУГБ с сентября 1940 года.

Руководитель советской контрразведки в годы войны Петр Васильевич Федотов был личностью неоднозначной. Своим видом он напоминал профессора или врача, но на самом деле был одним из опытнейших руководителей органов госбезопасности.

Он родился 18 декабря 1901 г. (по другим данным, в 1900-м) в Санкт-Петербурге. Его отец Василий Федотович был родом из крестьян (с. Старое Рахино Старорусского уезда Новгородской губернии), много лет работал кондуктором и вагоновожатым питерской конки, а незадолго до своей кончины, в 1905 г. устроился вахтером в Министерство просвещения. Мать Пелагея Ивановна, происходила из новгородских крестьян, всю жизнь занималась хозяйством и воспитывала четверых детей: трех дочерей и сына. Погибла блокадной зимой 1942 года.