В сентябре 1936 г. руководителем НКВД был назначен Н.И. Ежов[133], который вскоре провел реорганизацию ГУГБ. Уже 28 ноября 1936 года было объявлено об изменении структуры ГУГБ НКВД, которая состояла из 12 отделов и секретариата[134]. Соответственно: 1-й отдел — охрана руководителей партии и правительства. 2-й отдел — охрана дипкорпуса, наружное наблюдение, перлюстрация корреспонденции, секретное фотографирование, тайнопись. 3-й отдел (контрразведывательный) — выявление, предупреждение и пресечение шпионской, диверсионной и иной подрывной деятельности иностранных разведок и организаций, действовавших на территории СССР. 4-й отдел выполнял функции бывшего Секретно-политического отдела. 5-й отдел (особый отдел) проводил контрразведывательную работу в армии, на флоте и в военно-воздушных силах. 6-й отдел (транспорта и связи) выполнял функции аналогичные функциям бывшего транспортного отдела ГУГБ НКВД СССР. 7-й отдел выполнял функции бывшего иностранного отдела ГУГБ и вел разведывательную работу за границей. 8-й отдел (учетно-регистрационный) вел учет лиц, попадающих в поле зрения органов госбезопасности, готовил статистические данные, составлял списки лиц, осужденных и репрессированных. 9-й отдел (шифровальная работа) обеспечивал шифрованную связь между подразделениями органов государственной безопасности. 10-й отдел (тюремный отдел) руководил всеми исправительно-трудовыми учреждениями органов государственной безопасности. 11-й отдел (политический отдел) руководил деятельностью органов госбезопасности по пресечению враждебных проявлений со стороны различных антисоветских политических группировок. 12-й отдел (оперативной техники) занимался вопросами внедрения и обслуживания специальной техники.[135]

Весь 1938 год проводилась работа по оптимизации структуры НКВД. Было признано, что существующая организационная структура ГУГБ не соответствовала задачам борьбы с подрывной деятельностью иностранных разведок и «враждебными элементами» внутри страны (троцкисты, правые, эсеры, меньшевики, контрреволюционное духовенство, сектанты, различного рода националистические антисоветские формирования и т. п.). По мнению руководства НКВД, структура Главного управления государственной безопасности была громоздка, отсутствовало четкое разделение функций между отделами управления. Ряд отраслей народного хозяйства и объектов культуры оставались вне поле зрения контрразведки. В целях приведения структуры органов государственной безопасности в соответствие с задачами наиболее полного охвата оперативно-чекистскими мероприятиями всех отраслей хозяйства, культуры и управления, а также для наиболее успешной борьбы с проявлениями всех видов контрреволюции решением Политбюро ЦК ВКП(б) от 28 марта 1938 г. была утверждена новая структура НКВД СССР, которая была объявлена приказом НКВД № 00362 от 9 июня 1938 г.[136]

Из состава ГУГБ НКВД СССР были выделены в самостоятельные подразделения — Особый отдел (5-й отдел), а также 6-й и 11-й отделы, обслуживающие железнодорожный, водный, авиационный транспорт, шоссейно-дорожные организации и связь. Таким образом, структура НКВД СССР представляла собой оперативно-чекистские управления: Управление государственной безопасности — Первое управление; Управление Особых отделов армии и флота — Второе управление; Управление транспорта и связи — Третье управление, а также самостоятельные оперативно-чекистские отделы: оперативного учета, регистрации и статистики[137]; оперативной техники[138]; секретно-шифровальный; тюремный.[139]

Функции и линии работы были обозначены:

1-е управление: НКВД СССР: 1-й отдел (охрана правительства), 2-й (оперативный: наружное наблюдение, установки, розыск, арест), 3-й (контрразведывательный), 4-й (секретно-политический), 5-й (иностранный), 6-й (контрразведывательная работа в военизированных организациях: милиция, пожарная охрана, Осоавиахим[140], военкоматы, спортивные общества), 7-й (контрразведывательная работа в оборонной промышленности), 8-й (контрразведывательная работа на объектах тяжелой, машиностроительной, легкой и местной промышленности), 9-й (контрразведывательная работа на объектах Наркомата земледелия, Наркомата совхозов, Наркомата заготовок, Наркомата пищевой промышленности, Наркомата торговли, Наркомата финансов, Центросоюза);

2-е управление: НКВД СССР: 1-й отдел (контрразведывательное обслуживание авиации), 2-й (контрразведывательное обслуживание мотомеханизированных и технических войск), 3-й (контрразведывательное обслуживание частей и соединений пехоты, кавалерии, артиллерии), 4-й (контрразведывательное обслуживание Военно-морского флота), 5-й (контрразведывательное обслуживание штабных служб, частей связи, ПВО, оборонного строительства, финансового, вещевого и продовольственного снабжения), 6-й оперативный отдел (аресты, обыски, наружное наблюдение и установка);

3-е управление НКВД СССР: 1-й отдел (контрразведывательное обслуживание железнодорожного транспорта), 2-й (контрразведывательное обслуживание водного транспорта, в том числе и Главсевморпути), 3-й (контрразведывательное обслуживание Гражданского воздушного флота, связи, шоссейно-дорожного строительства), 4-й (оперативный отдел).

Данная структура органов госбезопасности просуществовала лишь до 29 сентября 1938 г., когда была проведена очередная реорганизация Наркомата и приказом НКВД СССР № 00641 объявлена новая структура НКВД, причем было восстановлено Главное управление госбезопасности во главе с первым заместителем наркома внутренних дел Л.П. Берия.

Уже 17 ноября 1938 г. СНК СССР и ЦК ВКП(б) приняли постановление «Об арестах, прокурорском надзоре и ведении следствия». В нем была дана политическая оценка деятельности органов НКВД, вскрыты существенные недостатки в агентурно-оперативной и следственной работе и их причины, намечены конкретные меры по улучшению всей деятельности НКВД СССР, Прокуратуры СССР и их органов на местах, по строжайшему соблюдению конституционных норм, социалистической законности, усилению прокурорского надзора.[141]