Берзин стал работать в Регистрационном управлении с декабря 1920 года, возглавив его 2-й отдел, отвечавший за агентурную работу. Именно этому виду специальной деятельности в военной разведке уделялось наибольшее внимание. В сложных условиях Гражданской войны агентурной разведке удалось добиться больших успехов. Военные разведчики вскрыли планы и направленность действий белогвардейских войск и формирований иностранных интервентов. Агенты управления действовали в ряде крупных белогвардейских штабов, добывая важную информацию. К концу 1920 года агентурные источники военной разведки работали в шестнадцати капиталистических государствах, направляя в Москву важные сведения об антисоветской деятельности стран Антанты, военных мероприятиях в Прибалтике, Польше, Германии, Румынии, а также о состоянии армий Врангеля, Балаховича, Унгерна и Семенова.

Ян Карлович занимался анализом работы существующей агентуры, исключал из зарубежных сетей недостаточно результативно работавших или вызывавших подозрение лиц. Особое внимание он уделял подбору новых кадров для работы в агентурной разведке за рубежом. В 1921 году Берзина назначили заместителем начальника Разведупра, отвечавшего за агентурную разведку. Вскоре он сам совершил нелегальные поездки за пределы страны для проверки работы резидентур в Германии, Чехословакии, Польше и Англии. В 1924 году Яна Карловича поставили во главе Разведывательного управления Штаба РККА, образованного вместо прежнего Региструпра.

Берзин стал отвечать за военную безопасность Советского государства. Руководство страны требовало от Разведывательного управления добывать информацию о подготовке любой внешней агрессии. В Москве опасались консолидации белогвардейской эмиграции с антисоветски настроенными кругами капиталистических государств Европы, которые не отказались от намерений напасть на СССР и уничтожить первое в мире социалистическое государство. В партийных документах того времени, выступлениях представителей высшего руководства неоднократно отмечалась возможность такого развития событий.

Ян Карлович требовал от своих подчиненных объективно оценивать ситуацию, отделять реальные факты и события от пропагандистско- идеологических установок. Он всегда высоко ценил разведчиков, которые действовали и мыслили творчески, не боялись докладывать информацию, которая могла вызвать негативную реакцию в Центре.

В документах военной разведки того непростого времени отмечалось, что международная обстановка не содержала непосредственных военных угроз СССР, что позволило провести значительное сокращение численности Красной армии, а освободившиеся средства направить на восстановление народного хозяйства страны.

Берзин уделял особое внимание агентурной работе, хорошо знал своих сотрудников, выполнявших специальные задания за рубежом, оказывал им необходимую помощь, подчеркивал свое доверие и уверенность в выполнении поставленных задач. Ян Карлович лично принимал участие в подборе и подготовке кадров для работы за рубежом в качестве резидентов и руководителей агентурных сетей. Со второй половины 1920-х годов сложная обстановка во многих странах вынудила военную разведку создавать преимущественно нелегальные резидентуры, что гарантировало большую безопасность. Однако стать разведчиком-нелегалом было непросто. Требовалось отличное знание иностранных языков, особенностей жизни в иностранных государствах, обладать специальными навыками, высокой психологической устойчивостью.

Действующие агентурные кадры Разведупра состояли в основном из лиц, живших в дореволюционный период в Прибалтике, Бессарабии, Польше и владевших иностранными языками. Однако многие из них уже длительное время находились в специальных командировках и требовали замены. Другие отбывали заключение в тюрьмах после провалов и арестов, а успевшие скрыться от полиции были известны контрразведывательным органам и уже не могли работать за рубежом. Кадрового резерва для нелегальной работы в Разведывательном управлении практически не было. Начался отбор для работы в военной разведке выпускников Академии РККА, однако немногие из них имели достаточные лингвистические способности и часто не выдерживали курс интенсивной подготовки к работе в сложных условиях.

Основным источником пополнения кадров нелегалов являлись члены иностранных компартий, которые стремились оказать помощь социалистическому государству и имели опыт подпольной работы. В середине 1920-х годов Разведуправление часто использовало таких людей в своей работе. Однако нередко зарубежные коммунисты находились под негласным надзором местной полиции, их связи с советской разведкой вскрывались, что приводило к провалам и последующей дискредитации той или иной компартии, а также негативно влияло на авторитет Коминтерна и Советского Союза.

Поэтому в 1925 году ЦК ВКП(б) специальным постановлением запретил советским разведслужбам вербовать и использовать в качестве агентов членов иностранных коммунистических партий. Допускались только единичные случаи привлечения к сотрудничеству таких лиц, когда они могли принести «огромную пользу» СССР. Но в этом случае требовалось разрешение ЦК соответствующей компартии, коммунист должен был выйти из ее рядов и прекратить с ней все связи. Особые правила действовали и в отношении сотрудников Коминтерна, которые, выполняя свои задачи за рубежом, не должны были работать на советскую разведку.

Такие ограничения существенно повлияли на поиск лиц, готовых сотрудничать с советской разведкой в капиталистических странах, где были сильны антикоммунистические и антисоветские настроения. Разведуправлению Красной армии пришлось прилагать большие усилия, чтобы в таких условиях подбирать для себя кадры для нелегальной работы за рубежом. Поэтому Берзин сразу обратил внимание на телеграмму из Берлина, в которой резидент военной разведки К. Басов информировал Центр о желании Зорге работать в советской разведке и дал ему краткую характеристику. Получив дополнительные данные на сотрудника Исполкома Коминтерна, Ян Карлович решил сам встретиться с ним.

Берзин сразу понял, что Зорге может стать разведчиком-нелегалом. Он свободно владел немецким, английским и французским языками, имел опыт подпольной деятельности, во время работы в Коминтерне совершал зарубежные поездки, не испытывая проблем при пересечении границ. Важными были опыт журналиста, диплом доктора наук, научные публикации по актуальным вопросам политики и экономики, знание текущей обстановки в мире. Кроме того, Рихард Зорге был гражданином СССР, членом ВКП(б) и не входил в иностранные компартии. Некоторую настороженность вызывали обвинения в принадлежности к «правой оппозиции», однако этот вопрос можно было обсудить в ходе личной встречи, после которой принять окончательное решение о судьбе Зорге.

Рихард подошел к неприметному зданию по указанному ему адресу. Там его уже ждал сотрудник в гражданской одежде, который проводил его в небольшую приемную на втором этаже. Через некоторое время секретарь пригласил Зорге пройти в кабинет начальника управления. За большим столом, на котором лежали объемные папки с документами, сидел крепко сбитый человек. Он встал и тепло поприветствовал вошедшего. Рихард обратил внимание на коротко подстриженную седую голову и внимательные серо-голубые глаза. Во внешности человека, возглавлявшего военную разведку Красной армии, в его манере держаться чувствовалось внутреннее обаяние и расположение к собеседнику.