В 1934—1938 годах военная контрразведка как Особый, затем 5-й, отдел входит в состав Главного управления государственной безопасности (ГУГБ) НКВД СССР. В марте 1938 года с упразднением ГУТБ, на базе 5-го отдела создается 2-е Управление (особых отделов) НКВД СССР, а в сентябре 1938 года Особый отдел воссоздается как 4-й отдел ГУТБ. В его подчинении находились особые отделы в армии, военно-морском флоте и войсках НКВД.

В 1937—1938 годах особые отделы вместе с территориальными органами НКВД внесли свою лепту в организацию репрессий в Рабоче-Крестьянской Красной армии (РККА).

В июне 1937 года состоялся суд над группой высших офицеров РККА, включая Михаила Тухачевского по делу так называемой Антисоветской троцкистской военной организации. Обвиняемым вменялось планирование военного переворота на 15 мая 1937 года. Этот процесс стал сигналом к развертыванию истребительного похода против военных кадров. Уже через девять дней после расстрела подсудимых было арестовано 980 командиров и политработников.

21 июня 1937 года был подписан секретный приказ Ворошилова и Ежова, призывавший всех военнослужащих, «замешанных в деятельности контрреволюционных фашистских и вредительских организаций или знавших об их существовании», явиться с повинной, за что была обещана амнистия. Тот факт, что никто не принес повинную, разжег ярость Сталина, потребовавшего усиления репрессий в армии. Летом 1937 года Ежов на совещании в НКВД сообщил, что Сталин считает, что: «военно-фашистский заговор должен иметь ряд ответвлений».

Значительная часть арестов высших военачальников производилась по непосредственным указаниям Сталина. Так, ознакомившись в августе 1937 года с протоколом допроса заместителя начальника разведуправления РККА Александровского, Сталин отослал его Ежову, сделав пометки «взять», «арестовать» против 30 фамилий, названных подследственным.

Во всех воинских частях была создана атмосфера истерической охоты за врагами народа, к которым в первую очередь были отнесены бывшие участники оппозиций. Во всех воинских частях и военных учебных заведениях был налажен их тщательный учет. Так, военком Военно-электротехнической академии направил в Политическое управление армии список, включающий 269 коммунистов академии, «участвовавших в оппозициях и антипартийных группировках, имевших колебания, выступавших в защиту оппозиционеров или имевших с последними связь».

В Наркомате обороны велся тщательный учет репрессированных командиров. Как сообщалось в докладной записке начальника управления НКО по начсоставу Щаденко, направленной Сталину, Молотову, Ворошилову и Андрееву, с 1 марта 1937 года по 1 марта 1938 года из РККА были уволены 21,3 тыс. чел., в том числе по политическим мотивам 17,4 тыс. чел., из которых 5329 чел. было арестовано. Репрессии коснулись прежде всего высшего комсостава, но серьезно ослабленным оказалось также низшее и среднее командное звено.

Параллельно вакханалии репрессий в армии развернулась эпидемия самоубийств. Кончали с собой в основном лица, подвергнутые травле и ожидавшие близкого ареста. Например, начальник одного из управлений наркомата обороны Левензон застрелился после того, как был обвинен в симпатиях к Троцкому, проявленных 12—15 лет назад. Всего в РККА было зарегистрировано в 1937 году 728, а в 1938 году — 832 случая самоубийств или покушений на самоубийство.

С мая 1937 года по сентябрь 1938 года были репрессированы около половины командиров полков, почти все командиры бригад и дивизий, все командиры корпусов и командующие войсками военных округов.

За небольшим исключением, были арестованы все начальники управлений и другие ответственные работники Наркомата обороны и Генерального штаба, все начальники военных академий и институтов, все руководители Военно-морского флота и командующие флотами и флотилиями. Вслед за Тухачевским были арестованы и расстреляны все остальные заместители наркома обороны — Егоров, Алкснис, Федько и Орлов.

Доля репрессированных была особенно большой среди высшего командного состава. Из 837 человек, которым в ноябре 1935 года были присвоены персональные воинские звания (от полковника до маршала), было репрессировано 720 человек.

Из 16 человек, получивших звания командармов и маршалов, после сталинской чистки уцелели только Ворошилов, Буденный и Шапошников.

Репрессии против командных кадров сопровождались созданием такой обстановки, при которой военнослужащих всех уровней, начиная с солдат, призывали «разоблачать» своих командиров и доносить на них. В условиях массового психоза выявление «врагов народа» и «отклонившихся от генеральной линии партии» проводилось на всех уровнях. Разоблачали и доносили друг на друга и на своих командиров рядовые, сержанты, офицеры и генералы. Доносили из личной неприязни, чтобы свести счеты, чтобы спастись самому и продвинуться, доносили и из патриотических чувств. Доносили как «любители», так и «профессионалы» — штатные осведомители особых отделов. Шансом остаться в армии, а порой и в живых было проявление бдительности и клятвенных заверений в преданности родной Коммунистической партии. Доносов было великое множество. Как влияли доносы на судьбы людей, можно проследить, например, по судьбе первого заместителя наркома обороны, Маршала Советского Союза Александра Ильича Егорова.

Во время сталинских репрессий в РККА Егоров оказался в опале. Сталин, прежде характеризовавший Егорова как «выдающегося полководца и одного из организаторов побед», в речи на приеме депутатов Верховного Совета СССР в Кремле 21 января 1938 года лично подверг маршала критике: «Известно, что у нас пять Маршалов Советского Союза. Из них меньше всего заслуживал этого звания Егоров, я не говорю уже о Тухачевском… Егоров — выходец из офицерской семьи, в прошлом полковник — он пришел к нам из другого лагеря и относительно к перечисленным товарищам меньше имел право к тому, чтобы ему было присвоено звание маршала, тем не менее за его заслуги в гражданской войне мы это звание присвоили…»

25 февраля 1938 года Егоров был уволен из РККА, а 27 марта арестован по обвинению в заговоре и измене. Во время следствия подвергался избиениям и пыткам. Считается, что непосредственным поводом к его аресту стал донос Я.М. Жигура, направленный Сталину 9 сентября 1937 года. Проявляя бдительность и заботу о повышении обороноспособности страны, старший преподаватель Академии Генерального штаба комбриг Жигур просил вождя проверить деятельность маршала на посту начальника Генерального штаба РККА, как вызывающую сомнения: «В ЦК ВКП (б) тов. Сталину.

Целый ряд важнейших вопросов организации РККА и оперативно-стратегического использования наших вооруженных сил, по моему убеждению, решен ошибочно, а возможно, и вредительски. Это в первый период войны может повлечь за собой крупные неудачи и многочисленные лишние жертвы. Я прошу, тов. Сталин: Проверить деятельность маршала Егорова в бытность его начальником Генерального штаба РККА, т.к. он фактически несет ответственность за ошибки, допущенные в области подготовки оперативно-стратегического использования наших вооруженных сил и их организационной структуры. Я политического прошлого и настоящего тов. Егорова не знаю, но его практическая деятельность как начальника Генерального штаба вызывает сомнения.