Такое положение в войсках ГПУ — ОГПУ сохранялось вплоть до образования НКВД СССР. Полномочные представители ОГПУ в приказах, адресованных подчиненным войскам, по-прежнему именовали себя командующими.

Еще в Положении о Государственном политическом управлении (утверждено Постановлением Президиума ВЦИК 16 марта 1922 г.) о военной силе сказано следующее:

«…8. В непосредственном распоряжении ГПУ состоят особые войска, сведенные в отдельную армию Госполитуправления в количестве, устанавливаемом СТО, и подчиненные во всех отношениях Председателю ГПУ».[30]

«Отдельная армия Госполитуправления» больше ни в одном документе не упоминалась. Однако некоторое время в войсках ГПУ в 1922 г. существовали Отдельный пограничный корпус (им командовал начальник КРО ГПУ А. Х. Артузов), Отдельный железнодорожный корпус и Корпус конвойной стражи. Это тоже следствие реализации идеи Э. С. Кадомцева о сосредоточении под эгидой ГПУ всех войск специального назначения. Указанное преобразование страдало известной половинчатостью, но оно отражало взятый в то время руководством ГПУ курс на «чекизацию» войск, максимальное сближение их с органами ГПУ. Приказ войскам ГПУ Республики № 495 от 8 сентября 1922 г. так и объяснял суть перемен:

«… Помимо фактической стороны дела произведенное нами перемещение наименований имеет свою идейную и воспитательную сторону. Бывшая до сих пор двойственность линий подчинения: по чекистской и военной линиям — теперь устранена. Возложение обязанностей по управлению войсками на лиц, возглавляющих чекистские органы, показывает всем, что мы должны стремиться войска приблизить и мало-помалу втянуть в чекистскую работу. Соответственно ППГПУ, обладающие большим авторитетом среди местных властей и населения, несомненно, скорее, чем кто бы то ни было другой, поднимут авторитет войск ГПУ, за состояние которых они теперь ответственны…»

Согласно Положению о транспортных отделах (ТО) Госполитуправления, подписанному председателем ГПУ и народным комиссаром путей сообщения Ф. Э. Дзержинским и объявленному приказом ГПУ от 13 марта 1922 г., одной из задач ТО является охрана железных дорог и водных путей сообщения, для чего эти органы «имеют в своем распоряжении приданные им войска ГПУ».[31]

16 октября т. г. приказом войскам ГПУ № 433 было объявлено Положение об управлении Отдельным железнодорожным корпусом, п. 2 которого гласил: «Во главе Отдельного железнодорожного корпуса войск ГПУ стоит командир корпуса, являющийся одновременно начальником ТО ГПУ».[32]

Начальником Транспортного отдела ГПУ в то время был Георгий Иванович Благонравов.[33] Начальником штаба железнодорожного корпуса был Р. А. Гольц (он также являлся некоторое время главным инспектором конвойной стражи).

Однако корпус просуществовал недолго: начавшееся сокращение войск привело к его упразднению. Но поскольку функция охраны железных дорог оставалась, в войсках появилась должность «начальник Управления железнодорожных войск» (ее занимал Б. В. Лавровский).

Высшим органом оперативного руководства войсками являлся Штаб войск ГПУ. Структура войскового управленческого аппарата оставалась громоздкой. Она требовала упрощения и совершенствования.

Ф. Э. Дзержинский в записке В. Р. Менжинскому от 7 сентября 1923 г., делясь своей озабоченностью тяжелым финансовым положением страны и низкой из-за этого зарплатой рабочих, предложил аппарат ГПУ, как «орган непроизводительный», «максимально сократить». Одновременно он посчитал нужным «раскассировать штабы наших войск (центр и округа), политсекретариат, предельно уменьшить в губерниях и ГПУ нестроевой состав».[34]

На основе решения коллегии ГПУ Республики от 27 сентября 1923 г. о коренной перестройке управления войсками ГПУ приказом ГПУ Республики № 405 от 3 октября 1923 г. была объявлена новая структура войсковых органов управления. Штабы значительно сокращены и преобразованы в инспекции. Центральным органом оперативного и административного руководства войсками стала Главная инспекция войск ГПУ. Вводилась должность начальника отдела погранохраны и главного инспектора войск ГПУ. На этот пост был назначен Я. К. Ольский (Куликовский).

После образования Объединенного государственного политического управления (ОГПУ) при СНК СССР дальнейшее развитие войск происходит в условиях проводимой военной реформы с учетом специфических особенностей внутренних и пограничных войск.

В ноябре 1926 г. создается Главное управление пограничной охраны и войск ОГПУ (ГУПО и ВОГПУ), которое возглавил З. Б. Кацнельсон.

По мере хозяйственного развития страны, роста железнодорожных сообщений, строительства новых сооружений и предприятий появляется необходимость надежной охраны особо важных для обороны страны объектов, коммуникаций, перевозимых грузов, учреждений Наркомата финансов. В связи с этим развивается специализация войск по видам службы.