В сентябре 1920 года, после Гиляна, Блюмкин становится слушателем восточного факультета Академии Генерального штаба РККА. После окончания академии в 1922 году он назначается офицером для особых поручений Льва Давидовича Троцкого — председателя Революционного военного совета Республики, наркома по военным и морским делам. Блюмкин выполнял особо важные и секретные поручения наркома и даже редактировал первый том книги своего шефа «Как вооружалась революция» (1923). Влияние Троцкого на Блюмкина было так велико, что он стал убежденным, последовательным сторонником его взглядов, троцкистом.

С осени 1923 года — сотрудник Иностранного отдела (ИНО) ГПУ — ОГПУ, нелегальный резидент ИНО в Палестине.

В 1924 году Блюмкин был назначен помощником полномочного представителя ОГПУ в Закавказье. В конце 1925 года он некоторое время работал ответственным сотрудником Наркомата торговли.

В 1926–1927 годах находился на оперативной работе за рубежом, являясь главным инструктором государственной внутренней охраны (службы безопасности) Монголии. Близость к Троцкому и быстрый карьерный рост вскружили Блюмкину голову, и он стал относиться к монгольским коллегам высокомерно и бестактно. В ноябре 1927 года по настоянию председателя ЦК Монгольской народно-революционной партии Дамбе-Дорчжи Блюмкин был отозван в Москву, где, несмотря на явную протекцию начальника ИНО ОГПУ Трилиссера, несколько месяцев оставался в резерве внешней разведки.

В 1928 году Трилиссер поручает Блюмкину ответственное задание — организовать нелегальную резидентуру на Ближнем Востоке. Он должен был обосноваться в Стамбуле, а затем создать нелегальную разведывательную сеть в Палестине и Сирии.

В сентябре 1928 года Блюмкин с паспортом на имя персидского купца Якуба Султанова выезжает из Одессы в Стамбул, где открывает магазин персидских ковров и успешно легализуется. Из Стамбула он совершает поездки в Иерусалим, Вену, Париж.

В марте 1929 года, находясь в Берлине, Блюмкин узнает о высылке из СССР в Турцию его кумира Льва Троцкого. Он принимает решение немедленно возвратиться в Стамбул, где 12 апреля встречается с сыном Троцкого Львом Седовым. 16 апреля встречается с самим «демоном революции» и в ходе продолжительной беседы заявляет, что «полностью передает себя в его распоряжение».

Блюмкин подробно инструктирует Троцкого относительно того, как организовать его личную охрану. Через Льва Седова он регулярно передает Троцкому секретные материалы и финансовые средства стамбульской нелегальной резидентуры ИНО ОГПУ. Одновременно соглашается нелегально переправить в СССР для активных участников оппозиции письмо Троцкого и несколько его книг. Вскоре «легальная» резидентура внешней разведки подробно информирует Москву о регулярных контактах Блюмкина с изгнанником.

В начале октября 1929 года Блюмкин был отозван из страны. В Москве он попытался объединить известных ему сторонников Троцкого. В частности, информировал видного троцкиста Карла Радека о своих встречах с Троцким в Стамбуле. Радек, находившийся в опале, немедленно сообщил об этой беседе Сталину. Одновременно Блюмкин рассказал своей близкой знакомой, сотруднице ИНО ОГПУ Елизавете Горской (в дальнейшем — видная советская разведчица-нелегал Елизавета Юльевна Зарубина), о своих контактах с троцкистами. Горская рекомендовала Блюмкину немедленно доложить о своих встречах руководству внешней разведки. Однако тот отказался. В свою очередь Горская поставила в известность о разговоре с Блюмкиным помощника начальника Иностранного отдела Михаила Горба. Тот дал ей указание прекратить все контакты с разведчиком.

15 октября Яков Блюмкин был арестован. Следствие по его делу вел заместитель начальника Секретно-политического отдела ОГПУ Яков Агранов, который впоследствии печально прославился участием в необоснованных репрессиях против чекистов. На допросах Блюмкин ничего не скрывал, надеясь на снисхождение. Однако чистосердечное признание ему не помогло. 3 ноября 1929 года Коллегия ОГПУ постановила расстрелять Якова Григорьевича Блюмкина «за повторную измену делу пролетарской революции и Советской власти и за измену революционной чекистской армии».

«Безусловно, Блюмкин являлся очень интересной фигурой, — подчеркивал в беседе с автором Анатолий Серебрянский, сын героя нашего повествования. — О нем много говорили и много писали. Но писали по-разному. Тем не менее при всех его недостатках это был действительно борец за советскую власть, хотя и с элементами авантюризма. Кстати, я считаю, что у всех работников внешней разведки, добившихся результатов в оперативной деятельности, этот элемент, хотя бы в небольших количествах, всегда присутствовал. Я думаю, что отца в Блюмкине привлек именно его авантюризм, постоянная готовность к риску, неожиданным ситуациям. Полагаю, что в молодости отцу были также присущи некоторые элементы авантюризма. Ну а первая их совместная деятельность относится к периоду существования Гилянской Красной армии».

Являясь в Реште комиссаром штаба Красной армии Гилянской Советской Республики, Яков Блюмкин одновременно руководил специальными боевыми операциями в провинции Гилян под именем Якуб-заде. Подыскивая себе помощников, он не мог не обратить внимания на бывшего однопартийца, активиста эсеровского движения Якова Серебрянского. Вряд ли в Реште в то время легко можно было найти бывших профессиональных революционеров-подпольщиков, знакомых с методами конспирации. А ведь именно они в первые годы советской власти составили костяк ВЧК.

Кроме того, оказалось, что по эсеровской партийной линии Блюмкин был хорошо знаком с братом будущей жены Серебрянского и его другом Марком Беленьким. Нельзя исключать, что именно Марк, тесно общавшийся с Серебрянским, мог рекомендовать его Блюмкину как человека, заслуживающего доверия.

Во всяком случае, знакомство двух Яковов в Реште состоялось, и Блюмкин предложил кандидатуру Серебрянского для работы в только что созданном Особом отделе Гилянской Красной армии. Так началась работа будущего разведчика-нелегала в ВЧК. Серебрянский, знавший несколько иностранных языков, был назначен начальником Общего отделения Особого отдела Гилянской Красной армии.

Это был первый опыт чекистской работы Якова Серебрянского.

В августе 1920 года армия Гилянской Советской Республики при поддержке советских войск предприняла наступление на соседнюю провинцию Зенджан с перспективой дальнейшего наступления на Тегеран, но была отброшена иранскими войсками.

В июне Кучек-хан был вынужден уйти из революционного правительства, так как не поддержал аграрную реформу. В новое правительство вошли представители недавно созданной иранской компартии. Началось проведение земельной реформы, была развернута активная антирелигиозная пропаганда.

20 сентября 1920 года, вернув уведенный белогвардейцами флот и убедившись в том, что попытка создания советской власти в Иране не удалась, правительство РСФСР приняло решение о сворачивании своей военной операции в Иране и приступило к переговорам с шахским правительством. 26 февраля 1921 года был заключен советско-иранский договор о постепенном выводе советских войск. Согласно договору советские войска начали покидать Гилян с апреля и были полностью выведены к началу сентября 1921 года.