В 1933 году, в момент прихода В. М. Петрова в 6-е отделение, оно насчитывало в своем составе 12 человек. Этим людям доверялись самые большие тайны наиболее секретного учреждения в СССР, и поэтому они относились к элите советского общества. Однако их работа была трудной. Операции по дешифровке сообщений выполнялись вручную, и В. М. Петрову часто приходилось задерживаться на работе до полуночи, чтобы успеть вовремя обработать всю массу шифротелеграмм, поступивших к нему в течение дня. Позже, уже будучи заместителем начальника 6-го отделения, В. М. Петров сам уже не занимался шифрованием или дешифровкой, а читал, корректировал и подписывал открытые тексты шифротелеграмм.

Иногда шифровальщикам давались поручения, выходящие далеко за рамки их прямых обязанностей, как это случилось, например, с Яковом Ефимовичем Боковым. Ему было поручено убить советского посла в одной из стран Ближнего Востока, что он и сделал в кабинете последнего, проломив ему череп одним ударом металлического бруска. Чтобы отвести от себя подозрение в убийстве, Я. Е. Боков в течение года продолжал работать шифровальщиком в этом посольстве, а затем вернулся в СССР, где «за успешное выполнение правительственного задания» 14 октября 1939 года был награжден орденом Красной Звезды.

Дешифровальный отдел был разбит на отделения по географическому и языковому принципу — китайское, японское, англо-американское и т. д. Евдокия Петрова (Дуся), которая в течение двух лет изучала японский язык в московской спецшколе, работала в японском отделении. Ее коллегами по работе были:

— Вера Плотникова, дочь профессора японского языка, который в течение многих лет был резидентом японской разведки в Москве;

— Галина Подпалова, настолько влюбленная во все японское, что, придя домой, неизменно одевалась в кимоно;

— Иван Калинин, который время от времени приглашался как консультант;

— профессор Павел Матвеевич Шунгский — главный авторитет отделения по вопросам японского языка, который служил еще в царской армии.

В 1938 году была проведена очередная реорганизация НКВД. В результате для ведения шифрованной переписки в его структуре 9 июня был создан 3-й спецотдел, начальником которого стал капитан госбезопасности Александр Дмитриевич Баламутов (1904–1979). 29 сентября Спецотдел ГУГБ НКВД был переименован в 7-й отдел, начальником которого стал тот же А. Д. Баламутов. В 1939 году в состав 7-го отдела ГУГБ НКВД было переведено дешифровальное отделение Разведотдела НКВМФ, созданное в 1938 году. 9 апреля 1939 года начальником 7-го отдела был назначен капитан госбезопасности Алексей Иванович Копытцев (1912–1987). По состоянию на 1 января 1940 года в составе 7-го отдела работало 230 человек.

В 1930-х годах подвергалась реорганизации и криптослужба НКИД. Так, 12 февраля 1930 года Административная комиссия НКИД рассмотрела вопрос об улучшении работы и изменении структуры секретариата коллегии и постановила выделить из состава секретариата секретно-шифровальный отдел как самостоятельный отдел и подчинить его непосредственно одному из членов коллегии. 3 марта 1930 года Коллегия НКИД утвердила это решение комиссии.

В мае 1939 года этот отдел был реорганизован в секретно-шифровальный отдел НКИД. Шифровальный отдел был выделен из него как самостоятельный с непосредственным подчинением заместителю наркома и переименован в 10-й отдел НКИД. Название должности «шифровальщик» было отменено и было введено должностное название «референт», принятое в оперативных отделах НКИД.

19 июля 1939 года в соответствии с Постановлением Комитета Обороны СССР 8-й отдел ГШ РККА был переименован в Отдел шифровальной службы и включен в состав Оперативного управления ГШ РККА на правах самостоятельного структурного подразделения.

В 1939 году в связи с реорганизацией 5-го (разведывательного) Управления НКО шифровальное отделение стало 9-м отделом, а 7-й (дешифровальный) отдел стал 11-м отделом. Начальником 9-го отдела до октября 1939 года был майор Николай Александрович Филатов (1903–1967), а с октября 1939 года стал майор Леонтий Сергеевич Пелевин (1901–?). Начальником 11-го отдела с октября 1939 года стал майор Н. А. Филатов.

Приказом НКО СССР № 0038 от 26 июля 1940 года 5-е (разведывательное) Управление НКО вошло в состав ГШ Красной армии (далее — КА) и стало называться РУ ГШ КА. В его составе остался 9-й (шифровальный) отдел (начальник — майор Л. С. Пелевин), а 11-й (дешифровальный) отдел стал 10-м отделом (начальник — полковник Н. А. Филатов). 18 августа 1941 года на базе Отдела шифровальной службы Оперативного управления ГШ КА было создано Управление шифровальной службы ГШ КА общей численностью 197 военнослужащих и 50 служащих.

Указом Президиума Верховного Совета (далее — ПВС) СССР от 3 февраля 1941 года из состава НКВД был выделен наркомат государственной безопасности (далее — НКГБ). Шифровально-дешифровальное дело перешло в 5-й отдел НКГБ, начальником которого стал майор госбезопасности А. И. Копытцев. Для ведения шифропереписки в составе НКВД приказом № 00198 от 22 февраля 1941 года было организовано 6-е отделение, начальником которого стал А. А. Солодянников.

После начала Отечественной войны Указом ПВС СССР от 20 июля 1941 года НКВД и НКГБ были снова объединены в единый НКВД. Шифровально-дешифровальное дело перешло в 5-й спецотдел НКВД, начальником которого стал майор госбезопасности Иван Григорьевич Шевелев (1904–?), а его заместителем — старший майор госбезопасности А. И. Копытцев. Спецотдел по состоянию на 20 мая 1942 года имел по штату 683 человека и состоял из 16 отделений, задачи которых были следующими:

— 1–8 — дешифровально-разведывательная работа за рубежом;

— 9 — составление, исследование и издание кодов для НКВД, НКО и НКВМФ, НКИД, НКВТ;

— 10 — составление и издание блокнотов для НКВД, НКО, НКВМФ, НКИД, НКВТ;

— 11 — осуществление шифросвязи оперативно-чекистских управлений и отделов НКВД; шифрование и дешифровка телеграмм, учет и снабжение шифродокументами периферийных органов НКВД и их инструктаж по шифрработе;

— 12 — осуществление шифросвязи лагерей НКВД, пограничных, внутренних и оперативных войск НКВД, Прокуратуры, Военной коллегии Верховного суда СССР;

— 13 — осуществление шифросвязи зарубежной резидентуры 1-го Управления НКВД;

— 14 — оперативно-чекистское обслуживание шифрорганов наркоматов и других учреждений;

— 15 — проверка и допуск лиц, работающих с секретными, мобилизационными и шифровальными документами в учреждениях и на предприятиях; спецпроверка личного состава, работающего на особо режимных предприятиях.

16 февраля 1942 года приказом НКО № 0033 РУ ГШ КА было реорганизовано в Главное РУ (далее — ГРУ), а 23 сентября приказом НКО № 00222 с целью концентрации усилий по раскрытию шифропереписки противника ДРС ГРУ была передана в 5-й спецотдел НКВД. 3 ноября приказом НКВД № 002424 на базе 5-го спецотдела вместе с 7-м отделом (дешифровальный) 2-го Управления ГРУ и частями спецслужбы внутренних войск НКВД было образовано 5-е Управление НКВД. Его начальником стал старший майор госбезопасности И. Г. Шевелев, а его заместителем — комиссар госбезопасности А. И. Копытцев.