В начале 1928 г. О. был переведен в Берлин, где перед руководимой им резидентурой в качестве главной задачи была поставлена добыча новейших промышленных, вклю чая оборонные, технологий. Эффективность работы резидентуры в этой области была высокой, о чем свидетельствуют выводы немецких экспертов, считавших, что в результате негласной деятельности Советов в сфере промышленного шпионажа только в 1930 г. Германии был нанесен ущерб в 800 млн марок. По их же оценкам, за 1929–1930 гг. ими было зарегистрировано более 1000 случаев промышленного шпионажа, что превышало почти втрое данные за предыдущий период.

О. принимает также участие в других вербовочных мероприятиях в Германии, что явилось первым шагом к созданию нелегальной резидентуры, получившей позднее название «Красная капелла». Эта подпольная разведывательная организация сыграла позднее выдающуюся роль в первые годы Великой Отечественной войны. Ею руководил ученик О. — A.M. Короткое, ставший легендой советской разведки.

Повышенная активность советской резидентуры в Берлине не могла не привести и к ряду провалов, в результате которых О. был вынужден покинуть Германию и в апреле 1931 г. вернуться в СССР. Он возглавил VII отделение ИНО ОГПУ, занимавшееся координацией деятельности экономической разведки. Осенью 1932 г. он совершает поездку в США, где кроме выполнения заданий пытается разыскать своих родственников из Бобруйска, эмигрировавших после революции. В 1933 г. он посещает также Францию, где без особого успеха попытался создать «нелегальную» резидентуру ОГПУ.

В апреле 1934 г. О. направляется в Лондон, где руководит группой нелегалов-разведчиков. Он стоит у истоков создания впоследствии ставшей известной на весь мир так называемой «кембриджской пятерки» Кима Филби, добывавшей ценную информацию в период Второй мировой войны и в послевоенное время.

В июле 1936 г. решением Политбюро ЦК ВКП(б) О. направляется в Испанию, где в это время вспыхнула гражданская война. Являясь номинально атташе советского посольства в Мадриде, он фактически возглавил аппарат НКВД. При направлении О. в Испанию учитывалось, что он обладает опытом партизанской войны, контрразведывательной и разведывательной работы.

О. прибыл в Мадрид в тяжелый момент для республиканского правительства, которое вело подготовку к эвакуации из столицы. Однако вовремя подоспевшая помощь СССР в виде боевой техники и подготовленных кадров не позволила франкистам захватить Мадрид. В этих условиях О. разворачивает активную деятельность. Осенью 1936 г. на него была возложена обязанность организовать эвакуацию испанского золота на хранение в СССР (по мнению советского руководства, в случае захвата Мадрида Франко расплатился бы золотым запасом с Гитлером и Муссолини за военную помощь). По личному указанию И.В. Сталина О. провел соответствующие переговоры с министром финансов республиканского правительства и получил от него принципиальное согласие на вывоз золота. Под личным контролем О. золото было погружено на четыре советских судна. После успешного завершения «золотой операции» О. не менее активно принялся за создание эффективных средств разведки и контрразведки республиканской Испании.

В скором времени в полную мощь заработала Служба военных расследований, которая под контролем О. занялась прежде всего чисткой госаппарата и армии. В арсенал службы входили самые радикальные меры, включая расстрелы. Репрессии вызвали возмущение членов республиканского правительства, которое потребовало отзыва О. как их главного инициатора. Конфликт был улажен после того, как О. доложил детально об арестованных и репрес сированных лицах, среди которых были агенты резидентур французской, итальянской, немецкой и английской разведок. Одновременно О. успешно руководил проведением партизанских операций в тылу противника. Были созданы учебные лагери в Валенсии, Барселоне, Бильбао и др. городах. Отряды партизан проникали до 300 км в глубь оккупированной фашистами территории, сковывали действия крупных военных формирований врага. По мнению специалистов, активные партизанские действия позволили республиканцам удерживать военную инициативу весь 1937 г.

Руководимая О. резидентура и он лично продолжали сбор информации политического и военного характера, при этом их вербовочные акции всегда отличались смелостью и дерзостью. Кроме вербовки агентуры О. проводил негласный набор бойцов в интернациональные бригады, которые отлично зарекомендовали себя в боях с франкистами. Сохранились воспоминания одного из таких лиц — К. Хенкина, пробравшегося из Франции в Мадрид для участия в борьбе с фашизмом. Он попал на прием к О., о чем вспоминал впоследствии: «Когда меня провели в комнату, Орлов сидел довольно далеко от меня. Я поразился, насколько тщательно он ухаживал за собой. Он только что побрился и сбрызнул себя одеколоном. На нем была утренняя одежда: фланелевые брюки и шелковая сорочка без галстука. На поясе в открытой замшевой кобуре виднелся пистолет «вальтер» 7,65 калибра. Вскоре слуга в униформе вкатил сервировочный столик. Орлов помазал маслом горячий подрумяненный ломтик хлеба, откусил кусочек и занялся яичницей с ветчиной, время от времени прихлебывая кофе. Он слушал меня рассеянно, иногда задавал вопросы, чтобы смутить меня… Что касается меня, то я изо всех сил старался не пялиться на еду, — не для того, чтобы скрыть, что я голоден, а чтобы не утратить достоинства. Целые сутки у меня не было крошки во рту. Подобрав яичный желток булочкой и допив кофе, Орлов вынул пачку американских сигарет, закурил и, показывая, что разговор закончен, сказал: «Мы с вами свяжемся»».

Ключевую роль О. сыграл в разработке и пресечении деятельности троцкистских и анархистских групп. Ему удалось внедрить свою агентуру в ПОУМ (Рабочая партия марксистского единства), стоявшую на крайне левой троцкистской платформе, а также в Федерацию испанских анархистов. По инициативе ПОУМ Л.Д. Троцкий был приглашен в Барселону, чтобы возглавить свержение «буржуазной демократии» республиканцев. Особое внимание О. уделял контролю за поведением лидера ПОУМ Андрэу Нина, близкого соратника Л.Д. Троцкого. Особую активность ПОУМ проявляла в период чистки в СССР рядов ВКП(б) от троцкистских элементов, как бы бросая вызов советскому режиму.

О. удалось получить упреждающую информацию о подготовке лидерами ПОУМ вооруженного мятежа в Барселоне. Более того, он получил достоверные данные об участии в подготовке мятежа германской агентуры.

Мятеж начался в мае 1937 г., однако был жестоко подавлен. После этого О. организовал физическое устранение лидера ПОУМ.

Весной того же года службы, руководимые О., выявили и арестовали в Мадриде разветвленную агентурную сеть фалангистов. Было арестовано 270 человек, изъяты 2 радиостанции с шифром, копии донесений о расположении республиканских войск, большое количество оружия и взрывчатки.

В июле 1938 г. О. получил телеграмму из Москвы. Ему приказывали выехать в Бельгию, где в порту Антверпена его будет ждать пароход, на котором будет проведено совещание по поводу нового важного задания.

О., и не без оснований, решил, что в Бельгии его ожидает не совещание, а арест (массовые чистки и репрессии в отношении сотрудников советских спецслужб в СССР продолжались).

О. вместе с семьей выезжает во Францию, где исчезает. В результате вскрытия сейфа О. было установлено, что он похитил 60 тыс. долларов (по курсу того времени — очень значительная сумма). Кроме того, было обнаружено письмо, адресованное наркому Ежову Н.И., в котором он излагал причины побега (спасение своей жизни и жизни семьи), а также требует не мстить за побег ему лично, его матери и матери жены, проживающим в СССР. О. обещает, что в случае выполнения этого условия он не предпримет никаких шагов, наносящих вред СССР. Учитывая осведомленность О. и его личные качества, уже в августе 1938 г. в Москве принято решение оставить его родственников в покое, не проводить в их отношении «спецмероприятий».