В мае 1921 года при Штабе РККА также был создан свой спецотдел — Центральный шифровальный отдел (далее — ЦШО) и было утверждено Положение о нем и его штат, а также штаты шифрорганов штабов фронтов, округов, армий, дивизий, бригад, Центрального управления военных сообщений (далее — ВОСО) и дислоотделений Управления связи штаба РККА, Управления ВОСО и дислоотделений связи штабов фронтов и армий. ЦШО состоял из четырех отделений общей численностью 27 человек.

В то время столицей советской Украины был Харьков, поэтому в 1921 году в составе украинских органов госбезопасности был создан Общий отдел под руководством Игнатова, одной из задач которого было обеспечение секретной телеграфной связи. Позже при ГПУ Украинской Советской Социалистической Республики (далее — УССР) было организовано Шифровальное бюро.

Сотрудниками ЦШО были разработаны первые советские шифры «74-й Ключ Наркомвоена», «Гелиос», «75-й Ключ Наркомвоена», «Советский» и др. В 1921 году ими было изготовлено и разослано в войска и на флот 54 новых шифра и два радиокода.

Коды и шифры того времени — «Глаз», «Пулемет», «Стрелок», «Пролетарий», «Искра», «Спартаковец» — впоследствии были вытеснены более серьезными — «УП Третий», «АРО Первый» и др. Это повысило стойкость шифрованных сообщений и увеличило безопасность применения имеющихся каналов связи.

С первых месяцев своего существования Спецотдел начал успешно осуществлять дешифровку иностранной переписки. Коллегия ВЧК делала все для того, чтобы организовать дело наилучшим образом и обеспечить полную секретность. Был установлен порядок, согласно которому обо всех раскрытых шифрах и добытых сведениях Спецотдел докладывал ЦК партии, Совнаркому, Председателю ВЧК и руководителям других заинтересованных ведомств.

Коллегия ВЧК придавала большое значение оперативному использованию дешифрованной секретной переписки. Все срочные и особо важные дешифрованные сообщения докладывались немедленно. Уже в то время дешифрованные материалы активно использовала советская разведка, НКИД, некоторые другие организации.

Первый позитивный результат был достигнут в раскрытии немецкого дипломатического кода, которым пользовался полномочный представитель правительства Германии в Москве. Это был цифровой пятизначный код с перешифрованием гаммой многоразового использования. Начиная с июля 1921 года дешифровывалась вся переписка на линии связи Москва — Берлин.

С 1922 года Германия ввела на дипломатических линиях связи буквенный код с перешифрованием гаммой многоразового использования. Коды и большая часть перешифровальных средств в Спецотделе раскрывались аналитическим путем. Раскрытие таких шифров позволило контролировать переписку многих линий дипломатической связи Германии и ее консульств в Ленинграде, Киеве, Одессе, Харькове, Тбилиси, Новосибирске, Владивостоке вплоть до 1933 года, когда количество читаемой переписки резко сократилось из-за того, что немцы начали применять гамму одноразового использования.

В августе 1921 года была осуществлена дешифровка первых турецких дипломатических телеграмм. Уже в начале 1920-х годов криптоаналитики Спецотдела добились возможности читать переписку внутренних линий связи Турции и отдельных линий связи военных атташе. Турки применяли в основном четырехзначные коды с перешифрованием короткой гаммой, меняющейся через двое суток, а также коды без перешифрования.

Дешифрованная переписка содержала сведения, представлявшие большой интерес для советской стороны, и активно использовалась. Много дешифрованных телеграмм посылалось, например, в Закавказскую ЧК, и это давало возможность принять меры по пресечению шпионских действий иностранных, а в этом случае турецкой, разведок. В 1921 году Спецотдел начал разрабатывать английскую шифропереписку.

Большую помощь Спецотделу оказывал ИНО ВЧК, разведчики которого в период 1920–1930-х годов «добыли» более десяти английских кодов. С помощью этих шифров читалась часть дипломатической переписки, однако не вся, поскольку возникали сложности с раскрытием перешифрования.

Среди «вскрытой» переписки были много материалов, представлявших большой интерес для советского правительства, органов советской разведки и контрразведки. Среди таких документов были, например, телеграммы о советско-английских отношениях, о продаже англичанами оружия странам, которые имели границу с СССР, о деятельности английской разведки в Средней Азии и т. д.

Хотя работа по раскрытию польских шифров начала проводиться вскоре после организации Спецотдела, первые практические результаты были получены лишь в 1924 году, когда были раскрыты два кода Второго разведывательного отдела Генерального штаба польской армии для связи с военными атташе в Москве, Париже, Лондоне, Ревеле, Вашингтоне и Токио.

Для органов госбезопасности особую ценность имели дешифрованные телеграммы, которые освещали шпионскую деятельность кадровых разведчиков, находившихся под официальным прикрытием иностранных дипломатических, военных и консульских представительств в СССР. Так, начатое в 1924 году чтение дешифрованной переписки польских военных атташе позволило получать тайные сообщения польской разведки, которая пыталась широко проводить шпионскую работу на территории СССР. Советская разведка была очень заинтересована в получении подобной информации.

Естественно, что в начальный период своей работы Спецотделу пришлось встретиться с большими трудностями. Опытных криптологов было мало, и каждому из них приходилось возглавлять работу по нескольким направлениям. Молодые сотрудники еще не владели необходимыми криптологическими и языковыми знаниями. Поэтому в 1921 году в связи с массовой организацией шифровальных подразделений были созданы краткосрочные (от двух до шести месяцев) курсы подготовки шифровальщиков.

Несмотря на это, перехват шифропереписки по многим линиям связи велся нерегулярно, возможности выделенных технических средств были очень ограничены. Все работы, связанные с анализом шифроматериалов, проводились только вручную. Были и другие трудности. Однако по мере укрепления Спецотдела, роста мастерства его сотрудников объем криптологических исследований по раскрытию шифров начал неуклонно расти. К 1925 году проводилась разработка шифров уже 15 держав. К 1927 году началось чтение японской переписки, а к 1930 году — переписки по некоторым линиям связи США.

Кроме разработки шифров иностранных государств одним из актуальных задач дешифровального отделения Спецотдела в этот период была разработка так называемой внутренней шифрованной переписки, т. е. нелегальной переписки белогвардейских и других контрреволюционных организаций, враждебных советскому строю. Архивные документы свидетельствуют, что специалисты 4-го отделения Спецотдела смогли раскрыть сотни разных шифров, ключей и условностей. Ими были прочитаны тысячи всевозможных писем, донесений и других конспиративных документов, в частности выполненных тайнописью.

В начале 1920-х годов Спецотделом было исследовано множество шифроматериалов царского Департамента полиции и жандармерии. Было прочитано 90 документов, по которым составлено десять основных ключей. По дешифрованным материалам было установлено много секретных агентов полиции и жандармерии, работавших теперь на фабриках и заводах различных городов.