В феврале 1919 года партия направляет Давтяна в составе миссии российского Красного Креста во Францию для решения вопроса о возвращении на родину солдат и офицеров 40-тысячного Русского экспедиционного корпуса, часть которого была задержана на французской территории. В миссию, которую возглавлял видный революционер Дмитрий Мануильский, входила также Инесса Арманд, долгие годы проживавшая в этой стране. Поначалу французы враждебно встретили посланцев революционной России, однако затем были вынуждены согласиться отпустить на родину русских солдат, оказавшихся на чужбине.

В мае 1919 года Яков Давтян и Инесса Арманд сошли с борта французского парохода в Новороссийском порту. Усевшись в пролетку, они собрались было отправиться в путь, но вдруг с трапа парохода сбежал бородатый солдат и, схватив рысака под уздцы, громко крикнул: «Товарищи! Не уезжайте! Одну минуточку!»

Седоки повернулись в сторону парохода, и с палубы корабля, как раскаты грома, донеслось троекратное «ура!». Это русские солдаты, возвратившиеся на родину, благодарили Давтяна и Арманд за свое вызволение с чужбины.

Возвратившись в Москву, Давтян обратился в ЦК партии с просьбой предоставить ему работу с учетом приобретенного зарубежного опыта. В июне 1919 года он был направлен на Украину в качестве особоуполномоченного Совета обороны для инспекции политотделов военных учреждений. В связи с отступлением Красной Армии из Киева в августе 1919 года ему был выдан мандат следующего содержания:

«Тов. Давтяну поручается восстановление порядка в районе Киевского железнодорожного узла, прекращение бесчинств в войсковых эшелонах, задержание дезертиров, выселение из вагонов всех лиц, коим по штатам ими пользоваться не положено. Тов. Давтян имеет право ареста с последующим преданием суду состоящего при нем Ревтрибунала всех не подчиняющихся его распоряжениям, право пользования прямыми проводами, телефонным, телеграфным, право проезда в любом поезде и пользования отдельным паровозом».

В сентябре 1919 года Давтян был направлен на Южный фронт начальником политотдела 1-й Кавказской кавалирийской дивизии. В начале 1920 года его вновь отзывают в Москву, теперь уже для работы в Наркомате иностранных дел. Он назначается на должность первого секретаря советского полпредства в Ревеле (Таллине) и направляется туда в командировку. Затем из Ревеля его переводят в Лондон секретарем делегации Л.Б. Каменева.

После возвращения из Лондона в октябре 1920 года Яков Христофорович работает в центральном аппарате НКИД заведующим отделом Прибалтийских стран и Польши и одновременно является членом коллегии наркомата.

По рекомендации Инессы Арманд на молодого дипломата обратил внимание Дзержинский. По его ходатайству Оргбюро ЦК РКП(б) на своем специальном заседании от 12 ноября 1920 года принимает решение «откомандировать Я.Х. Давтяна в распоряжение ВКЧ», где, как предполагалось, он должен был возглавить создаваемый Иностранный отдел (внешнюю разведку).

Дело это было новое и связанное с многочисленными трудностями. Не хватало грамотных сотрудников, владевших секретами чекистского мастерства, навыками ведения разведработы за рубежом и свободно говоривших на иностранных языках. Скудным был и бюджет внешней разведки, а задачи перед ней стояли большие. Сам Давтян, правда, имел некоторый опыт работы за рубежом, в основном по линии НКИД, однако разведка, которой он должен был руководить, была для него «терра инкогнита». К тому же, первому организатору ИНО ВЧК в ту пору было всего 32 года.

Поскольку Яков Христофорович числился сразу за двумя ведомствами, было решено, что в целях конспирации в ИНО ВЧК он будет работать под фамилией Давыдов.

В приказе Ф.Э. Дзержинского о создании Иностранного отдела ВЧК, в частности, указывалось:

«1. Иностранный отдел Особого отдела ВЧК расформировать и организовать Иностранный отдел ВЧК.

2. Всех сотрудников, инвентарь и дела Иностранного отдела ОО ВЧК передать в распоряжение вновь организуемого Иностранного отдела ВЧК.

3. Иностранный отдел ВЧК подчинить начальнику Особотдела тов. Менжинскому.

4. Врид. начальника Иностранного отдела ВЧК назначается тов. Давыдов, которому в недельный срок представить на утверждение Президиума штаты Иностранного отдела.

5. С опубликованием настоящего приказа все сношения с заграницей, Наркоминделом, Наркомвнешторгом, Центроэваком и Бюро Коминтерна всем отделам ВЧК производить только через Иностранный отдел».

Яков Христофорович активно включился в процесс разработки Положения об Иностранном отделе ВЧК, определения его структуры и штатного состава. Но если в Наркоминделе, где Давтян одновременно продолжал работать, он был официально утвержденным начальником отдела и членом Коллегии, то его статус в ИНО в качестве исполняющего обязанности начальника был менее определенным. Дзержинский, которому Давтяна рекомендовала Инесса Арманд, разумеется, знал об их дружеских отношениях. Знал он и о теплых отношениях революционерки с Лениным. Однако с официальным назначением Давтяна на ответственный пост начальника ИНО Дзержинский не торопился, желая, очевидно, более детально изучить его личные и деловые качества.

Подобное положение, видимо, не устраивало Давтяна. Через месяц официальной работы в качестве исполняющего обязанности руководителя внешней разведки органов госбезопасности он пишет служебную записку в Управление делами ВЧК:

«Ввиду того, что исполняя обязанности начальника Иностранного отдела с 30 ноября 1920 года, я числюсь в резерве назначения Административного отдела, прошу провести меня приказом по занимаемой должности».

Однако просьба Давтяна не была удовлетворена. Сегодня трудно сказать, чем это было вызвано. Возможно Дзержинский присматривался к исполняющему обязанности начальника внешней разведки, но не исключено, что причиной был его неровный характер и «кавказский темперамент», о чем речь пойдет дальше. Тогда Давтян подает рапорт с просьбой перевести его на дипломатическую работу за рубежом.

20 января 1921 года руководство ВЧК освободило Я.Х. Давтя-на от занимаемой должности в ИНО. Он возвращается в НКИД, который в ту пору возглавлял Г.В. Чичерин, и назначается советником полпредства РСФСР в Венгерской Советской Республике. Одновременно с Давтяном было оговорено, что за рубежом он будет выполнять и поручения Дзержинского. Преемником Якова Христофоровича Давтяна на посту начальника ИНО ВЧК стал Рубен Павлович Катанян.

Начальником внешней разведки Р.П. Катанян проработал недолго, всего до 10 апреля 1921 года, и по собственному желанию перешел на прокурорскую работу.

С 10 апреля 1921 года Иностранный отдел ВЧК вновь возглавил, но теперь уже в должности официального начальника, Яков Христофорович Давтян. Объяснялось это просто: пока кадровый аппарат Наркоминдела оформлял Давтяна на работу в Венгерскую Советскую Республику, революция в ней была подавлена и вопрос о его дипломатической службе за кордоном отпал.

Но Давтян снова недолго руководил Иностранным отделом. Уже в августе 1921 года он вновь переводится на дипломатическую работу и назначается полпредом РСФСР в Литве. Пробыв в Ковно до сентября того же года, он возвращается в Москву и назначается временным поверенным в делах РСФСР в Китае в ранге советника. При этом Яков Христофорович, как было оговорено ранее, одновременно утверждается главным резидентом ИНО ВЧК в Китае, где в ту пору работало около десятка разведывательных коллективов.