В августе 1921 года в связи с переходом руководителя ИНО ВЧК Давыдова (Давтяна) на работу в Наркомат по иностранным делам, Могилевский был назначен руководителем внешней разведки. Начальником ИНО ВЧК он являлся до марта 1922 года. К этому времени Гражданская война в России в основном завершилась победой Красной Армии. Только на Дальнем Востоке и в Приморье оставались японские оккупанты, которые были изгнаны оттуда осенью 1922 года.

6 февраля 1922 года по предложению В.И. Ленина декретом ВЦИК РСФСР Всероссийская чрезвычайная комиссия была упразднена. На ее базе было образовано Государственное политическое управление при Наркомате внутренних дел РСФСР. Его работа ограничивалась, в основном, решением политических задач. В ГПУ было создано Секретно-оперативное управление (СОУ), в состав которого вошел и Иностранный отдел. На него по-прежнему возлагалась задача ведения разведывательной работы за рубежом. Однако поскольку в те времена Советская Россия находилась в политической изоляции, одновременно ведением разведывательной работы за рубежом занимались и полномочные представительства ГПУ в Закавказье, в Забайкалье, в Средней Азии, на Дальнем Востоке и в Приморье.

Так, в частности, полпредство ГПУ на Дальнем Востоке вело разведку против Японии с территории Китая силами резидентур в Пекине и Харбине. Полпредство в Закавказье (Тифлис) занималось организацией разведывательной работы по Турции, Ирану, Ближнему Востоку и Балканам. Аналогичные задачи решались и другими полномочными представительствами. Главное внимание при этом уделялось ведению работы по белогвардейским эмигрантским организациям, нашедшим убежище за рубежом, борьбе с их специальными службами, а также выявлению их состава и планов подрывных акций против Советской России.

Одним из первых серьезных испытаний для Могилевского на посту начальника ИНО стала оперативная подготовка к международной конференции в Генуе. Под его руководством внешней разведке удалось получить в ряде европейских стран упреждающую секретную информацию о намерениях правительств этих стран на конференции. ИНО ГПУ получило также сведения о том, что Англия и Франция стремятся создать вокруг Советской России «санитарный кордон» из стран «малой Антанты» и добиться дипломатической изоляции Москвы.

Уже в период Генуэзской конференции внешняя разведка перехватила переписку видных деятелей белой эмиграции Симона Петлюры и Василия Шульгина, присутствовавшего при акте отречения Николая II от трона. Из этой переписки чекисты узнали, что против советской делегации во главе с Г.В. Чичериным готовится террористический акт. Благодаря своевременно принятым мерам, покушение удалось предотвратить.

Советской делегации на Генуэзской конференции удалось сорвать планы Антанты по дипломатической изоляции нашего государства. 16 апреля 1922 года после заключения в итальянском городе Рапалло договора с Германией об установлении дипломатических и торговых отношений блокада Советской России была прорвана.

После открытия в Берлине официального дипломатического представительства была создана и первая совместная «легальная» резидентура ИНО ГПУ и Разведупра Штаба РККА в Германии. Ее возглавил сотрудник военной разведки Артур Сташевский. Но уже в феврале 1923 года его сменил опытный работник ИНО ГПУ Бронислав Бортновский, еще в августе 1918 года принимавший участие в ликвидации «заговора послов» с целью свержения советского правительства, который возглавлял британский разведчик Брюс Локкарт.

Берлинская резидентура ИНО становится опорным пунктом закордонной разведки органов госбезопасности в Европе. Из берлинской резидентуры Центр получал важную политическую и экономическую информацию. Германия являлась также страной, из которой в Москву активно направлялись образцы современной техники.

Однако главной задачей внешней разведки в тот период оставалась борьба с белогвардейской вооруженной эмиграцией, которая рассматривалась в качестве главного противника. Ее руководители стремились сохранить воинские формирования Белого движения, чтобы использовать их в будущей интервенции против Советской России. В одном из писем руководителя белой эмиграции генерала П.Н. Врангеля своим сторонникам прямо говорилось: «Главная и единственная задача русской военной эмиграции — борьба с советской властью». После революции из России выехало свыше двух миллионов человек. Далеко не все они вошли в вооруженные белогвардейские формирования, однако далеко не все из последних отказались от мысли об «освободительном походе» в Советскую Россию.

Подготовка к «крестовому походу» против большевиков носила различные формы. Достаточно сказать, что только в армии Врангеля, обосновавшегося первоначально на Балканах, действовала Академия Генерального штаба и несколько военных училищ. Врангель рассчитывал, что в случае вооруженной интервенции в Советскую Россию его войска «просто сметут прибалтийские страны для завоевания плацдарма против большевиков». Одновременно белая эмиграция планировала террористические акты против советских руководителей в самой стране и ее представителей за рубежом.

Важная роль в реализации планов белогвардейской эмиграции отводилась спецслужбам Врангеля. Его разведка в ту пору располагалась в Белграде и ею руководил бывший жандармский генерал Е.К. Климович. До 1920 года он возглавлял врангелевскую контрразведку и прославился своей жестокостью в Крыму. Накануне штурма Перекопа Красной Армией по приказу этого генерала были расстреляны тысячи человек, заподозренных в «симпатиях к большевикам».

После эвакуации армии Врангеля из Крыма в Турцию белая эмиграция создала в Константинополе «паспортно-пропускное отделение», возглавляемое генералом Глобачевым, которое занималось ведением разведки против Советской России. Врангелевскую контразведку — Сыскное бюро — в этой стране возглавлял бывший начальник сыскной полиции в Москве Кошко. Следует отметить, что и в других белогвардейских формированиях за рубежом также имелись собственные спецслужбы, которые, помимо ведения разведывательной работы, занимались организацией террористических акций на территории Советской России и против ее представителей за рубежом.

Свидетельством тому служит убийство советского представителя в Женеве В.В. Воровского, осуществленное белым эмигрантом Конрада. Позднее выяснилось, что за спиной террориста стояли главари белой военной эмиграции генералы А.В. Туркул и А.П. Кутепов.

В марте 1922 года Соломон Григорьевич Могилевский получил новое ответственное назначение. Поскольку он имел большой опыт контрразведывательной работы, по предложению Ф.Э. Дзержинского его назначили полномочным представителем ГПУ в Закавказье, председателем Закавказской ЧК и одновременно командующим внутренними и пограничными войсками Закавказской Федерации. В конце 1923 года Могилевский становится членом Коллегии теперь уже Объединенного Государственного политического управления при СНК CCCF.

Чекисты Закавказья под руководством Могилевского провели успешные операции по ликвидации политического и уголовного бандитизма в регионе, вскрыли контрреволюционную деятельность бюро ЦК грузинских меньшевиков и Закавказского бюро эсеров, пресекли враждебную деятельность ряда агентов английской, американской и французской разведок. Летом 1924 года Могилевский руководил ликвидацией меньшевистского восстания в Грузии.