В 1931 году заместителем председателя ОГПУ при СНК СССР назначается В. А. Балицкий, ранее занимавший пост председателя украинского ГПУ. Постепенно, как поступил бы на его месте каждый, он переводит в Москву нескольких своих доверенных сотрудников, в том числе в феврале 1932 года — П. А. Судоплатова.

Вначале Павел Анатольевич был инспектором, а затем — старшим инспектором Отдела кадров ОГПУ. Подобное назначение (кадры решают все!) может говорить о желании Балицкого держать под контролем все кадровые перемещения в центральном аппарате ОГПУ. В должности старшего инспектора П. А. Судоплатов курирует комплектование и перемещения по службе в Иностранном отделе ОГПУ. Он знакомится с начальником отдела А. Х. Артузовым и его заместителем А. А. Слуцким. В 1933 году он переходит на оперативную работу в разведке в должности оперативного уполномоченного.

С 1925 года ОГПУ стало одним из главных центров по подготовке разведчиков, и здесь можно выделить два направления: создание сети разведчиков-нелегалов, которых в числе прочего готовили для проведения диверсий во враждебных СССР государствах в случае войны, и физическое устранение политических противников рабоче-крестьянской власти за рубежом.

В составе органов госбезопасности подготовкой и проведением специальных операций за рубежом занимались два подразделения: Иностранный отдел и Особая группа при председателе ОГПУ. Именно в задачи Иностранного отдела входила ликвидация лидеров контрреволюции, а также расправа с предателями из своей среды.

Особая группа, созданная председателем ОГПУ В. Р. Менжинским во второй половине 1926 года, первоначально задумывалась как параллельный (независимый от ИНО) разведывательный центр, предназначенный для выполнения специальных операций стратегического характера. Создание структур с аналогичными задачами позволяло иметь каналы перепроверки информации, а в случае провала одной из групп можно было компенсировать неудачу активизацией другой, работающей в той же стране. Формирование разведывательного центра связано с именем Я. И. Серебрянского, ближайшего соратника и одного из учителей П. А. Судоплатова.

В 1930 году П. А. Судоплатов переходит из Отдела кадров на работу в Иностранный отдел ОГПУ. В дело опять вмешался случай. В 1933 году сотрудник ИНО Т. Кулинич, отвечавшая за оперативное наблюдение и борьбу с украинской эмиграцией на Западе, подает рапорт об отставке по состоянию здоровья. Начальник Иностранного отдела А. X. Артузов, по долгу службы знавший, что П. А. Судоплатов не только родился и вырос на Украине, но и имеет опыт оперативной и аналитической работы в местных условиях, предложил ему занять вакантную должность. Сначала Судоплатов становится оперуполномоченным 5-го, а затем 8-го отделения ИНО. К тому времени его жена Эмма тоже перевелась в Москву и получила назначение в Секретно-политический отдел.

«Видную роль в руководстве Иностранным отделом, — вспоминал Павел Анатольевич, — помимо Артузова и Слуцкого, играли Берман, Федоров (возглавлявший борьбу с эмиграцией), Шпигельглаз, Минскер, Эйтингон и Горожанин».

Артур Христофорович Артузов (Артур Евгений Леонард Фраучи, 1891–1937) в 1922–1927 годах возглавлял Контрразведывательный отдел ГПУ — ОГПУ, на этом посту руководил операциями «Трест» и «Синдикат-2», в результате которых были арестованы Б. В. Савинков и С. Рейли, а также разгромлены многие подпольные террористические группы. В 1931–1935 годах Артузов руководил Иностранным отделом ОГПУ. С мая 1934 года, по совместительству, — заместитель начальника IV (Разведывательного) управления РККА, в мае 1935 года освобожден от работы в ИНО в связи с переходом в военную разведку.

Слуцкий Абрам Аронович (1898–1938) занимал руководящие должности в Экономическом управлении ОГПУ с 1926 года. В 1930 году его переводят во внешнюю разведку, а в 1931 году назначают заместителем начальника ИНО. Одновременно в 1931–1933 годах Слуцкий являлся главным «легальным» резидентом ИНО в ряде стран Европы.

Берман Борис Давыдович (1901–1939) работал в Иркутской ГубЧК с 1921 года. С 1928 по 1930 год находился на оперативной работе в Средней Азии, участвовал в операциях по ликвидации басмачества. С января 1931 года — сотрудник внешней разведки, работал в «легальной» резидентуре в Берлине, в 1933 году — в Риме. Помощник начальника ИНО, с 1934 года — заместитель начальника ИНО.

Федоров Андрей Павлович (1888–1937) в 1916 году окончил Александровское военное училище, с 1920 года — сотрудник Особого отдела 10-й армии, до 1922 года служил на Кавказе. С 1922 года — сотрудник КРО ГПУ — ОГПУ, ближайший помощник Артузова, участник операции против Б. В. Савинкова. До 1933 года официально являлся начальником отделения КРО, очевидно, параллельно работал в ИНО. Затем был назначен начальником разведотдела УГПУ по Ленинграду и Ленинградской области.

Шпигельглаз Сергей Михайлович (1897–1941) являлся соратником Артузова по «комиссии Кедрова» (1918 г.). С 1922 года — уполномоченный КРО ГПУ, а затем ИНО ОГПУ, четыре года находился на оперативной работе в Монголии. С сентября 1926 года по 1936 год — помощник начальника ИНО, неоднократно выезжал в нелегальные командировки за границу (Китай, Германия, Франция).

Минскер Яков Григорьевич (1891–1934) в 1920–1921 годах был оперативником Коминтерна и военной разведки на Дальнем Востоке и в Китае. С 1922 года сотрудник ИНО, в 1922–1924 годах работал в «легальной» резидентуре ИНО в Персии, в 1925 году — в Шанхае. С 1926 года — «легальный» резидент ИНО в Турции, с 1929 года — в центральном аппарате ИНО ОГПУ. Начальник отделения Дальнего Востока.

Горожанин Валерий Михайлович (1889–1938) — член коллегии Николаевской ГубЧК с 1920 года. В 1921–1923 годах и 1924–1930 годах — начальник Секретного отдела ВУЧК и СО ГПУ УССР. С декабря 1933 года — заместитель начальника Секретно-политического отдела ОГПУ. С июля 1933 года — помощник начальника ИНО. Горожанин вполне мог знать П. А. Судоплатова по работе на Украине.

Все перечисленные Павлом Анатольевичем руководящие сотрудники Иностранного отдела, ставшие его наставниками, в совокупности обладали колоссальным опытом подпольной, нелегальной и боевой работы. Это, несомненно, послужило одной из причин дальнейшей успешной и плодотворной работы Судоплатова в советской внешней разведке.

Исполняя распоряжение партии, руководство Иностранного отдела ГУГБ приняло решение о внедрении в среду украинских националистов собственного сотрудника. Летом 1934 года выбор был сделан в пользу П. А. Судоплатова.

«Слуцкий, к тому времени начальник Иностранного отдела, — вспоминает Судоплатов, — предложил мне стать сотрудником-нелегалом, работающим за рубежом. Сначала это показалось мне нереальным, поскольку опыта работы за границей у меня не было и я ничего не знал об условиях жизни на Западе. К тому же мои знания немецкого, который должен был мне понадобиться в Германии и Польше, где предстояло работать, равнялись нулю.

Однако чем больше я думал об этом предложении, тем более заманчивым оно мне представлялось. И я согласился.

После чего сразу приступил к интенсивному изучению немецкого языка — занятия проходили