В 1933 году шифровальщики Спецотдела при ОГПУ работали в большой комнате на четвертом этаже обширного здания бывшей страховой компании на улице Лубянка в Москве. А дешифровщики занимали верхний этаж бывшего здания НКИД на углу улиц Лубянка и Кузнецкий мост. Тот факт, что нижние этажи здания посещались частными лицами и членами дипломатического корпуса, использовался для маскировки.

В 1933 году с целью повышения квалификации личного состава Спецотделом было подготовлено и выпущено учебное пособие «Шифры и их применение», а в 1939 году уже в НКВД был издан специальный учебник «Криптография (шифрование и дешифрование)», написанный ведущими советскими специалистами-криптологами С. Г. Андреевым, А. И. Копытцевым, С. С. Толстым и Б. А. Аронским.

7 июня 1934 года начальник IV Управления (разведывательного) Штаба РККА Ян Карлович Берзин (1889–1938) направил председателю РВС К. Е. Ворошилову доклад о работе армейской дешифровальной службы. В докладе назывались проблемы криптослужбы и подчеркивалась сложность подготовки специалистов-криптологов. В нем говорилось: «Дешифровально-разведывательная служба — одна из сложнейших специальностей. Подготовка кадров для нее — более трудное дело, чем в какой-либо другой области науки и техники».

Я. К. Берзин сформулировал основные требования, предъявляемые к специалистам-криптологам. Они, в частности, должны:

— быть абсолютно преданными своему государству, так как они посвящаются в особо секретные государственные дела;

— иметь высшее образование;

— владеть в совершенстве не менее чем одним иностранным языком;

— обладать способностью к ведению самостоятельной работы научно-исследовательского характера;

— иметь широкую научную эрудицию;

— обладать беспримерным терпением;

— обладать быстрой сообразительностью и хорошей ориентировкой;

— обладать незаурядной угадливостью;

— обладать комбинационной способностью.

«Такие работники, — писал Я. К. Берзин, — вырабатываются в течение многих лет и только благодаря использованию накопленного ранее опыта в специальном деле…»

В то время общая численность дешифровального отдела IV Управления Штаба РККА была 46 человек. Начальник управления докладывал, что для полного выполнения поставленных перед отделом задач такого количества специалистов недостаточно. Я. К. Берзин писал: «Шифрдокументы поступают от 52 стран, однако разрабатываются совместно со Специальным отделом при ОГПУ лишь только документы 22 стран… За 1933 г. при напряженной работе подчас за счет преждевременного износа умственных и физических сил работников ДРС разработано только 42 % имеющихся для разработки материалов. 58 % иностранных шифрованных документов, могущих дать ценную добавочную информацию, остались неразделанными из-за недостатка кадров».

В докладе была высказана просьба об усилении службы кадрами, в том числе предлагалось увеличить численность кадрового состава на 10 человек и перевести 16 человек вольнонаемных в административный состав. Но ввиду скромности просьб, изложенных в докладе Я. К. Берзина, они не были в 1934 году удовлетворены, поэтому отдел продолжал работать в прежнем составе.

10 июля 1934 года ОГПУ вошло в состав НКВД как Главное управление государственной безопасности (далее — ГУГБ), а его региональные органы вошли в состав региональных управлений НКВД. В соответствии с этим Спецотдел ОГПУ был реорганизован в Спецотдел ГУГБ НКВД.

22 ноября 1934 года было объявлено Постановление ЦИК и СНК СССР об утверждении «Положения о Народном комиссариате обороны» (далее — НКО), согласно которому в его состав вошло Разведуправление (далее — РУ), ранее входившее в состав Штаба РККА. 15 декабря 1935 года был изменен и утвержден новый штат РУ РККА, согласно которому 5-й (дешифровальный) отдел стал 7-м отделом, а 1-я (шифровальная) часть стала секретно-шифровальным отделением (иногда называлось отделением «Ш»). Численность 7-го отдела составляла 53 человека, и пять человек постоянного состава было выделено на Центральные курсы ДРС.

Начальником 7-го отдела с февраля 1936 года по февраль 1939 года был полковник П. Х. Харкевич, а его заместителем — майор Б. В. Звонарев, который в совершенстве владел четырьмя иностранными языками, тремя европейскими и японским. Начальником отделения «Ш» с января 1935 года по ноябрь 1937 года был полковой комиссар Э. Я. Озолин, а с сентября 1938 года по май 1939 года — майор Николай Александрович Филатов.

В 1935 году за выполнение специального задания командования Звонарев был награжден именными золотыми часами наркома обороны, а в 1936 году — орденом Красного Знамени. Дело в том, что специалисты ДРС совместно со специалистами Спецотдела раскрыли в октябре 1935 года японский дипломатический код, о чем доложили начальнику РУ РККА С. Г. Урицкому. Последний написал рапорт заместителю наркома обороны Я. Б. Гамарнику, а он, учитывая важность события, распорядился доложить об этом лично наркому обороны К. Е. Ворошилову. Вот доклад С. Г. Урицкого К. Е. Ворошилову:

«15 октября с. г. японское правительство отклонило свой основной код и ввело вместо него новый. Создалась угроза не иметь информации о военных мероприятиях Японии по линии дешифровки японских шифротелеграмм в нужный момент. Помощник начальника… отдела РУ РККА т. Звонарев Б. В. совместно с работниками его подразделения тт. Шунгским, Калининым, Мыльниковым и работниками Спецотдела ГУГБ НКВД тт. Ермолаевым и Ермаковой в минимально короткий срок, в шесть дней, раскрыли указанный код и обеспечили бесперебойную расшифровку японских шифротелеграмм. Эти результаты достигнуты благодаря систематической подготовке т. Звонаревым своего подразделения к выполнению стоящих перед ним задач. Непосредственно при раскрытии кода особо важную роль сыграли тт. Звонарев и Шунгский. Ходатайствую о награждении ценными подарками… т. Звонарева Б. В. и специалистов тт. Шунгского, Калинина и Мыльникова…»

На этом рапорте нарком обороны наложил резолюцию: «Наградить т. Звонарева золотыми часами, а остальных тт. серебряными (хорошими) часами. К. В. 27.XI.35».

В предвоенные годы японский отдел дешифровальной службы НКВД возглавлял Сергей Семенович Толстой. Одним из самых крупных успехов накануне войны было дешифрование группой специалистов во главе с Толстым японских шифромашин, известных под названиями, данными им американцами: «оранжевая», «красная» и «пурпурная».

В 1935 году криптологи Спецотдела переехали в новое здание по улице Феликса Дзержинского, названной в честь первого председателя ВЧК-ОГПУ. Шифровальный отдел был поделен на несколько отделений, занимавшихся обеспечением секретной связи с региональными управлениями НКВД, пограничными частями и военными формированиями, администрациями тюрем и лагерей, нелегальной зарубежной агентурой и «легальными» резидентурами за рубежом.

За секретную связь с «легальными» резидентурами отвечало 6-е отделение. Его начальник по фамилии Козлов был снят с должности во время репрессий в 1937 году. А после того, как преемник Козлова был отправлен шифровальщиком в США, начальником 6-го отделения стал человек, чье имя приобрело впоследствии скандальную популярность. Это был Владимир Михайлович Петров, который в 1954 году вместе с женой Евдокией получил политическое убежище в Австралии.