Репрессии расширялись и затрагивали все большее число представителей старых большевистских кадров и политической элиты. Весной 1937 года были арестованы представители высшего командного состава РККА, среди них — Маршал Советского Союза М. Н. Тухачевский, который признал себя виновным в подготовке военно-фашистского заговора с целью установления в СССР военной диктатуры. Затем последовали аресты других видных военачальников, почти все они были расстреляны.

Зорге узнавал об этих событиях из сообщений зарубежных средств массовой информации. Западные газеты злорадствовали, описывая «непрекращающиеся волны сталинского террора», захватившие не только видных большевиков, но и иностранных деятелей Коминтерна. Рихард понимал, что в Советском Союзе продолжается борьба с оппозицией, которая, видимо, носит чрезмерный характер, как это неоднократно бывало в истории России. Однако он не мог согласиться с утверждениями, что в Советской России отмечаются не только серьезные распри среди коммунистов, но и «умирание коммунистического пафоса у его носителей», и считал их антисоветской пропагандой. Великое дело торжества коммунистических идей не могли подорвать отдельные перегибы и ошибки.

Но Рамзай не знал, что репрессии затронули и разведывательную службу Советского Союза. Выступая в июле 1937 года на расширенном заседании Военного совета при Наркомате обороны, Сталин рассказал участникам о военно-политическом заговоре против советской власти, в котором участвовали не только переродившиеся политики, но и ряд высших военных руководителей, которые оказались шпионами и систематически передавали закрытую информацию немецкому генеральному штабу. Затем генеральный секретарь ЦК ВКП(б) обратил внимание и на разведку. Он, в частности, сказал:

«Во всех областях разбили мы буржуазию, только в области разведки оказались битыми, как мальчишки, как ребята. Вот наша основная слабость. Разведки нет, настоящей разведки. Я беру это слово в широком смысле, в смысле бдительности и в узком смысле слова также — в смысле хорошей организации разведки. Наша разведка по военной линии плоха, она засорена шпионажем. Наша разведка по линии ГПУ возглавлялась шпионом Гаем, и внутри чекистской разведки у нас нашлась целая группа хозяев этого дела, работавшая на Германию, Японию, на Польшу сколько угодно, только не для нас. Разведка — это та область, где мы впервые за двадцать лет потерпели жесточайшее поражение. И вот задача состоит в том, чтобы разведку поставить на ноги. Это наши глаза, это наши уши».

После таких руководящих указаний военную разведку стали «ставить на ноги».

Первые «чистки» в Разведуправлении начались уже в январе 1937 года, когда от должностей были отстранены Артузов и ряд пришедших с ним сотрудников ИНО НКВД. Их сменили чекисты с Лубянки, не имевшие опыта зарубежной разведывательной деятельности. После выступления Сталина начались масштабные репрессии, которые затронули многие структуры военной разведки, начиная с его руководства. Первым был отстранен от должности Урицкий, которого вскоре арестовали по делу «о военно-фашистском заговоре в Красной армии». Его сменил Берзин, вернувшийся из Испании, куда его направили в 1936 году в качестве главного военного советника. Однако он возглавлял Разведывательное управление всего три месяца, после чего был арестован по делу «латышской фашистско-шпионской организации». До середины 1940 года обязанности руководителя военной разведки поочередно исполняли профессиональный чекист С. Гендин, сотрудник Разведупра А. Орлов и военный летчик И. Проскуров, которые затем также были репрессированы.

Аресты затронули тогда значительную часть сотрудников центрального аппарата Разведывательного управления, которые долгое время работали за рубежом, знали все тонкости оперативной работы. Других отправляли из Москвы на должности в разведывательных отделах штабов военных округов и армий. На их места назначались наскоро отобранные в войсках и военных академиях РККА молодые офицеры, прошедшие краткосрочный курс обучения в специальной разведывательной школе. Эти люди активно стремились овладеть новыми специальностями, но им не хватало опыта, необходимого для квалифицированного управления резидентурами и отдельными группами за рубежом, знания всей специфики агентурной деятельности. Многократная смена руководства управления и основных сотрудников Центра часто сопровождалась отрицанием того, что ранее было задумано и осуществлено прежними работниками, объявленными «врагами народа». Это, к сожалению, стало приводить к серьезным ошибкам в руководстве зарубежными структурами военной разведки.

Никто из новых сотрудников не знал о Рамзае, его возможностях, успехах, достигнутых нелегальной резидентурой в Токио. По практике того времени они искали на каждого зарубежного работника компрометирующие данные, чтобы «выявить и обезвредить врага в рядах разведывательного управления». При этом в делах восточного агентурного отдела были обнаружены документы, содержащие обвинения в адрес Рихарда Зорге. В одном из них содержались его высказывания на одной из встреч с курьером, состоявшейся в 1934 году. Он якобы говорил, что линия Коминтерна построена на пассивной тактике «удержания наличного», то есть оказания помощи строительству социализма в СССР, а поддержка зарубежных компартий недостаточна. Это было расценено как уклонение вправо от линии партии.

Другим документом была характеристика Зорге, подготовленная Покладком после встречи с ним в 1935 году. В ней он написал, что резидент «…скрытный, неискренний и двойственный человек, чего-то не договаривающий… У него “резко” выражены элементы болезненного самолюбия и самомнения… большая доля верхоглядства… относится к числу лиц, которые любят хорошо пожить, ни в чем себе не отказывая и не очень усидчиво и усердно работая…». В выводах Покладок отметил, что у него «чувство недоверия к Рамзаю». В апреле 1937 года, когда НКВД начал «вычищать» Разведывательное управление от всех вызывавших сомнение лиц, тот же Покладок, который неприязненно относился к Зорге (возможно, из чувства зависти: сам он два года находился в Японии в командировке, агентурной работой не занимался, существенных успехов не добился), дал письменную оценку работы резидента в Токио за 1935–1936 годы, которая содержала только критику и противоречила тем оценкам, которые давал Зорге начальник управления Урицкий. В этом документе делался следующий вывод: «Несомненно, ряд сведений от Рамзая носит дезинформационный характер, требует критического отношения к себе и самой тщательной проверки».

В условиях кадровой чехарды, выявления и арестов «врагов народа» новые сотрудники восточного отдела Разведывательного управления не стали разбираться в сути этих бездоказательных обвинений. Во второй половине 1937 года на имя Гендина был подготовлен доклад с предложением отозвать Рамзая из командировки и ликвидировать всю его резидентуру как не вызывающую политического доверия. Старший майор госбезопасности Гендин, направленный в военную разведку, чтобы очистить ее от «шпионов, предателей и враждебно настроенных к советской власти лиц», сначала согласился с этим предложением. Однако через некоторое время отменил свое решение. На профессионального контрразведчика произвели большое впечатление уникальные результаты работы нелегальной группы в Токио, руководимой Зорге. Регулярно ему на стол ложились телеграммы, подписанные Рамзаем, а также секретные документы, добытые резидентурой. В них содержалась настолько важная информация, что прекращать результативную работу резидентуры Гендин пока посчитал нецелесообразным.