После образования НКВД СССР 13 июня 1934 года «Группа Яши» была подчинена наркому внутренних дел и получила официальное название: Специальная группа особого назначения — СГОН. Группа была наглухо засекречена и опиралась исключительно на собственную агентуру.

1 января 1935 года руководителем абвера был назначен кадровый разведчик, капитан 1-го ранга Фридрих Вильгельм Канарис. Одним из первых его шагов было назначение на пост советника по партизанским операциям капитана Теодора фон Хиппеля, ветерана специальных подразделений, воевавших в Африке под руководством Пауля Летгов-Форбека. По линии СС в феврале 1937года в Германии было создано Главное управление по работе с этническими немцами в соседних с Германией странах. В задачу управления вход ило создание в сопредельных странах агентурных сетей, проведение активной подрывной деятельности против правительств тех стран, территории которых подлежали включению в состав Третьего рейха.

Летом 1934 года руководство ИНО ГУГБ приняло решение о внедрении в среду украинских националистов П.А. Судо-платова.

«Слуцкий, начальник ИНО, — вспоминал Судоплатов, — предложил мне стать разведчиком-нелегалом для работы за кордоном. Сначала мне показалось это нереальным. Опыта работы за границей у меня не было, ничего я не знал об условиях жизни на Западе да и знания немецкого языка у меня равнялись нулю. После некоторых раздумий я дал согласие. Сразу приступил к изучению немецкого языка. Опытные инструкторы обучали меня также приёмам рукопашного боя и владению оружием. Исключительно полезными для меня были встречи с заместителем начальника ИНО С.М. Шпи-гелыласом. У него был большой опыт работы за границей в качестве нелегала — в Китае и Западной Европе».

Куратором и наставником Судоплатова стал опытный разведчик Пётр Яковлевич Зубов. В1931—1933 годах — оперативник легальной резидентуры ИНО ОПТУ в Париже.

«В 1933–1934 гг. я работал в спецотделе РУ РККА под руководством М.Ф. Сахновской (1897–1937), — вспоминал И.Г. Старинов. — Она член РКП(б). Окончила Военную академию РККА. Репрессирована. Расстреляна. Эта была опытная, энергичная, мужественная женщина, награждённая в числе первых орденом Красного Знамени. За сравнительно небольшой промежуток времени мне удалось подготовить две группы китайцев и ознакомить партийное руководство некоторых зарубежных стран — Пальмиро Тольятти, Вильгельма Пика, Александра Завадского и других о применении минной техники».

В январе 1934 года начальник штаба РККА А.И. Егоров издал директиву о создании штатных диверсионных подразделений в Красной Армии. Существование спецназа было строго засекречено. Об этом формировании ничего не знали в IV управлении РККА. Личный состав в спецназ отбирался из бойцов, прослуживших не мене двух лет и после тщательной спецпроверки. Обучение велось по самым высоким стандартам. К 1935 году такие подразделения были практически во всех дивизиях на границе с Прибалтикой, Польшей, Румынией и на Дальнем Востоке. На территории сопредельных государств сотрудники нелегальных резидентур создавали опорные базы для диверсантов. В создании таких баз в Европе участвовали и оперативники «Группы Яши».

29 ноября 1935 года Серебрянскому было присвоено специальное воинское звание старший майор госбезопасности, что соответствовало армейскому воинскому званию комдив (первоначально две золотые звёздочки, а с 1937 года — два ромба в петлицах).

В 1934–1936 годах Серебрянский, побывавший в спецкомандировках во Франции, Китае, Японии, значительно укрепил нелегальную сеть резидентур. Резидентуры СГОН были на Балканах, в Германии, Палестине, Прибалтике, Румынии, Скандинавии, США, Франции и на оккупированной японцами территории Китая.

В составе шестнадцати разведывательно-диверсионных резидентур СГОН насчитывалось около 220 человек.

Осенью 1936 года состоялась первая встреча Я. Серебрянского и Павла Судоплатова.

В 1934–1936 годах в составе СГОН появились новые личности, в частности Э.Ф. Волльвебер, А.И. Сыркин (Бер-нари), В.Я. Сыркина, Г.Н. Косенко. Деятельность «Группы Яши» постепенно набирала обороты, а вот многие программы подготовки спецкадров с 1934 года стали постепенно сворачиваться либо консервироваться.

«Именно в столице, — вспоминает И.Г. Старинов, — я вдруг обнаружил, что подготовка к будущей партизанской войне не расширяется, а постепенно сворачивается».

17 июля 1936 года в Испании разразилась гражданская война. 22 июля 1936 года Франсиско Франко, возглавивший мятеж после гибели в авиакатастрофе генерала Хосе Санхурхо-и-Саканеля, обратился к правительствам Германии и Италии с просьбой оказать военную помощь. В свою очередь премьер-министр Испании Хосе Хираль обратился с просьбой о помощи к правительству Франции. Правительство Леона Блюма заявило от нейтралитете Франции и запретило ввоз в Испанию вооружения и иной другой продукции.

Гитлер и Муссолини в срочном порядке направили в Марокко (резиденция Франко) 20 транспортных самолётов «Юнкерс-52» и 12 бомбардировщиков «Савойя-81». Началась переброска на Пиренейский полуостров Иностранного легиона и Африканского корпуса мятежников. 20 июля 1936 года Политбюро ЦК ВКП(б) приняло решение направить руководителем аппарата НКВД в Испанию А.М. Орлова.

В конце августа в Испанию прибыли сотрудники советского посольства во главе с послом М.И. Розенбергом, генеральным консулом в Барселоне В.А. Антоновым-Овсеенко и торгпредом А.К. Сташевским. Вместе с ними прибыли и первые военные советники. Главным военным советником был назначен начальник РУ РККА Я.К. Берзин, военным советником КПИ по линии Коминтерна — Манфред Штерн (1896–1954), работавший в Испании под псевдонимом Эмиль Кребер.

В сентябре премьер-министром и одновременно военным министром правительства Народного фронта стал социалист Франсиско Ларго Кабальеро. Он обратился к руководству СССР с просьбой об оказании военной помощи. Первые пароходы с военной техникой (танки Т-26, самолёты СБ, И-15), оружием и советскими специалистами прибыли в порт Картахена в октябре 1936 года.

Сотрудники «Группы Яши» также участвовали в поставках оружия в Испанию. Они «по заказу» некоей нейтральной страны Хиджас[33]закупили у французской авиационной фирмы «БелуоШпе» 20 новых истребителей Д.500/Д.510.

В ноябре 1936 года по плану, разработанному Серебрянским, группе секретных сотрудников под руководством оперативника СГОН Б.М. Афанасьева удалось похитить часть архива Международного секретариата троцкистов в Париже. Эта операция была проведена с помощью агента М. Зборовского[34]. Он был внедрён в окружение сына Л.Д. Троцкого —

Льва Седова. После удачного завершения операции ящики с документами были переданы легальному резиденту ИНО в Париже Г.Н. Косенко (Кислову), а затем дипломатической почтой отправлены в Москву. Документы архива позволили советской разведке развернуть в западной прессе пропагандистскую компанию, значительно подорвавшую авторитет Л. Троцкого.