30 мая 1937 г. Ольский был арестован. Следствием руководил начальник отделения 3-го отдела (КРО) ГУГБ НКВД Зельман Пассов ранее служивший под начальством Яна Каликстовича. От Ольского избиениями вымогали признания в шпионской работе на польскую разведку вместе с другими чекистами-поляками или уроженцами Польши (сообщниками Ольского были объявлены старейшие чекисты-поляки Бронислав Бортновский, Станислав Пинталь, Станислав Глинский, польские евреи Иосиф Уншлихт, Станислав Мессинг, потомок польско-немецкого баронского рода Роман (Ромуальд) Пилляр, белорус Филипп Медведь и многие другие).

27 ноября 1937 г. Военной коллегией под председательством бывшего помощника начальника КРО ГПУ Василия Ульриха Ольский был приговорен к расстрелу, в тот же день приговор привели в исполнение. Посмертно реабилитирован в 1955 году.

После отставки Ольского 6 августа 1931 г. начальником Особого отдела был назначен член Коллегии ОГПУ, бывший начальник Экономического управления ОГПУ Г. Е. Прокофьев, вскоре ушедший из органов в связи с назначением заместителем наркома РКИ СССР. 17 ноября 1931 г. начальником ОО был утвержден бывший начальник СОУ ГПУ Украины, выдвиженец нового зампреда ОГПУ В.А. Балицкого, И.М. Леплевский. Постановлением ЦИК СССР от 17 сентября 1931 г. особые отделы выводились из-под контроля Реввоенсовета.

Прежние руководители контрразведки были в основном переведены в провинциальные органы ОГПУ — в Среднюю Азию (Залин), Свердловск (Стырне), Крым (Дьяков). Первым помощником начальника ОО и начальником 1-го отделения был назначен А.М.Шанин, близкий к Ягоде, ранее работавший в Административно-организационно управлении ОГПУ. 2-е отделение возглавил переведенный из Воронежа И.И. Сосновский. Николаев-Журид сохранил свой пост помощника начальника Особого отдела и начальника 3-го отделения.

1 июня 1933 г. на пост начальника ОО был назначен М.И. Гай, ранее находившийся на политработе в войсках ВЧК-ГПУ (в частности, был военкомом дивизии особого назначения имени Дзержинского при Коллегии ОГПУ) и в Экономическом управлении ОГПУ, с декабря 1932 г. работавший заместителем начальника ОО ОГПУ. По своей прежней работе он меньше, чем его предшественники, имел отношение к вопросам контрразведки, но был близок к Г.Г. Ягоде и зампреду ОГПУ Г.Е. Прокофьеву. Заместителями начальника ОО были И.И. Сосновский (1934–1935 гг.), бывший начальник КРО ГПУ УССР Н.И. Добродицкий (до 1936 г.), бывший разведчик М.С. Горб (1934–1937 гг.).

В этот период Особым отделом ОГПУ (в том числе вместе с ИНО) были проведены операции «Заморское» (полномочным представительством ОГПУ по Север-Кавказскому краю против РОВС и румынской разведки), «М-8» — против РОВС в Париже, «Маки-Мираж» — против японской разведки на Сахалине, в ходе которой было арестовано 19 японских агентов, «Консул» — против английской и румынской разведок и резидентуры РОВС в Румынии и другие. Как правило, использовался метод создания легендированных организаций.

В те же годы ОГПУ с помощью перевербованных агентов польской разведки разоблачило польских и чехословацких агентов в Киеве, Москве и Ленинграде. В Туркмении в 1932 г. сотрудники ОО раскрыли две резидентуры английской разведки. Применяемое в этих и других операциях легендирование антисоветских организаций на территории СССР со временем стало терять эффективность, поэтому руководство ОГПУ приняло решение о сужении масштабов оперативных игр и ограничило право местных органов на их проведение.

В 1934 г. после ликвидации ОГПУ и образования НКВД Особый отдел вошел в состав Главного управления государственной безопасности НКВД СССР. Начальником его остался М.И. Гай (с введением персональных воинских званий в ноябре 1935 г. — комиссар госбезопасности 2 ранга).

28 ноября 1936 г., спустя два месяца после смещения Г.Г. Ягоды с поста, в ходе проведенной новым наркомом руководителя органов госбезопасности Н.И. Ежовым реорганизации НКВД, из Особого отдела был выделен Контрразведывательный отдел ГУГБ (25 декабря того же года отделам были присвоены номера; отдел контрразведки до февраля 1941 г. именовался 3-м отделом). М.И. Гай, называвший себя и своих коллег «жандармами социализма», был переведен начальником управления НКВД в Иркутск; контрразведку возглавил бывший начальник Экономического отдела ГУГБ комиссар госбезопасности 2 ранга Л.Г. Миронов. Период его руководства был непродолжителен. В апреле-мае 1937 г. Миронов возглавлял специальную группу НКВД в Сибири и на Дальнем Востоке, направленную для «выявления и разгрома шпионско-вредительских троцкистских и иных групп на железных дорогах… и в армии»; 14 июня того же года был арестован (сыграла роль его прежняя близость к Прокофьеву и Ягоде).

Новым начальником 3 отдела стал (по совместительству) заместитель наркома внутренних дел комиссар госбезопасности 3-го ранга В.М. Курский, в 20-х гг. руководивший контрразведкой в полномочном представительстве ОГПУ по Северо-Кавказскому краю, один из руководителей операции «Заморское», а с декабря 1936 г. по июнь 1937 г. являвшийся руководителем 4-го (секретно-политического) и 1-го (охрана руководителей партии и правительства) отделов ГУГБ НКВД. В КРО он проработал меньше месяца. 8 июля, через шесть дней после награждения орденом Ленина, В.М. Курский застрелился. 3-й отдел возглавил (в качестве временно исполняющего должность) комиссар госбезопасности 3-го ранга A.M. Минаев-Цикановский (его фамилия также писалась Циконовский, Цекановский, Цехановский), бывший эсер, отбывший 8 лет царской каторги, работавший в ЧК с 1918 г. — на Украине, Северном Кавказе, в Москве, Средней Азии, на Урале и в Сталинграде, заместитель начальника 3-го отдела с апреля 1937 г. Этот работник стал одним из ближайших помощников Ежова в проведении репрессий. В 1937–1938 гг. контрразведка, как и другие подразделения НКВД, понесла тяжелые потери. Одним из первых был арестован в конце 1935 г. Ю.И. Маковский, к тому времени начальник Особого отдела управления НКВД по Омской области. Погибли бывшие руководители советской контрразведки А.Х. Артузов, Я.К.Ольский, Г.Е. Прокофьев, М.И. Гай, И.М. Леплевский, Л.Г. Миронов, их заместители — Р.А. Пилляр, Э.П. Салынь, С.В. Пузицкий, И.И. Сосновский, Н.И. Добродицкий, М.С. Горб, С.М. Деноткин, С.Г. Волынский, B.C. Валик, начальники отделений и оперуполномоченные в Центре и на местах (многие из них сами участвовали в незаконных репрессиях). КРО, в частности, вел дела сотрудников Коминтерна, Коминтерна молодежи (КИМ), Красного интернационала профсоюзов (Профинтерн), МОПР и других международных организаций, иностранных коммунистов, политэмигрантов.

В то же время продолжалась борьба со шпионажем, хотя ее эффективность была снижена участием КРО в политических репрессиях. Контрразведка НКВД в 1936–1938 гг. наибольших результатов добилась в пресечении деятельности германской разведки и ее резидентов в Белоруссии, Москве и Ленинграде, легально работавших в СССР в качестве немецких специалистов. В Средней Азии, Донбассе, Днепропетровской области УССР и Приморье резидентурами, как было установлено контрразведчиками, руководили германские консулы.

На Дальнем Востоке контрразведчики пресекали попытки японских спецслужб перебросить через советскую границу агентов, завербованных из числа эмигрантов и осевших в Маньчжурии («Братство русской правды» и «Национальный союз нового поколения»). Сотрудники японского посольства в Москве и консульств в Новосибирске, Хабаровске, Владивостоке и других городах предпринимали попытки организации разведывательной сети, которые были пресечены в 1935–1937 гг. в ходе проведенных контрразведкой операций. После принятого 10 октября 1937 г. с санкции Политбюро ЦК ВКП(б) оперативного приказа НКВД, согласно которому сотрудникам КРО предлагалось «немедленно арестовывать всех советских граждан, связанных с личным составом диппредставительств и посещающих их служебные и домашние помещения» и требовалось обеспечить «беспрерывное наблюдение» за всеми сотрудниками посольств Германии, Японии, Италии, Польши, в СССР было закрыто большое количество консульств этих стран.