Начальником иностранного отдела ВЧК Давтяна так и не утвердили. Не сложились у него отношения с чекистским руководством. Он, подумав, все-таки предпочел дипломатию, как более надежное дело, и в конце января 1921 года вернулся в Наркоминдел. Его назначили советником полпредства в Венгрию, где власть перешла к революционному правительству.
На посту руководителя иностранного отдела ВЧК Давтяна сменил Рубен Павлович Катанян, который до этого работал в политуправлении Реввоенсовета Республики, а потом в аппарате ЦК партии. Катанян был родом из Тифлиса, окончил юридический факультет Московского университета, до революции работал адвокатом. В студенческие годы присоединился к социал-демократам и находился под негласным надзором полиции.
Он был начальником разведки с 20 января по 10 апреля 1921 года. Из разведки ушел в прокуратуру. Юридическая стезя привлекала его больше оперативной работы. В 1938 году Катаняна посадили, он провел семнадцать лет в местах не столь отдаленных. В пятьдесят шестом реабилитировали, и еще десять лет он прожил на свободе.
В иностранный отдел вернулся Яков Давтян. Его поездка в Венгрию не состоялась, потому что социалистическое правительство там уже свергли. Но и второе пришествие Якова Христофоровича было недолгим. В августе 1921 года он был утвержден полпредом в Литве. Впрочем, и на дипломатическом посту он охотно выполнял поручения разведки. Он работал в Китае, Туве, Франции, Иране, Греции, Польше, часто совмещая дипломатическую должность с обязанностями резидента внешней разведки.
В Париж Давтян поехал советником полпредства. Полпредом был Христиан Георгиевич Раковский, бывший руководитель Украины, отправленный в дипломатическую ссылку за дружбу с Троцким. Давтян не только вел основную часть дипломатической работы, но и успешно занимался вербовкой агентуры.
«Длительное пребывание в Европе оставило на нем резкий отпечаток, выделивший его среди других крупных советских работников. Высокий, красивый брюнет с правильными чертами лица, корректно обращавшийся к окружающим, Давтян производил очень выгодное впечатление. В отличие от прежних послов Давтян имел еще то преимущество, что владел европейскими языками» — таким полпред в Иране Давтян запомнился Георгию Сергеевичу Агабекову, назначенному в 1927 году резидентом советской внешней разведки в Тегеран.
Атабеков стал первым советским разведчиком, бежавшим на Запад. Свои воспоминания он написал еще в 1930 году. Они вышли под названием «Секретный террор: записки разведчика». Летом 1937 года Атабеков, судя по всему, был ликвидирован недавними сослуживцами из летучей группы иностранного отдела, уничтожавшей перебежчиков.
У Якова Давтяна разведчик Атабеков обнаружил не одни только достоинства: «Оборотная сторона его характера сводила на нет все его преимущества. Он был трусливым, нерешительным человеком, без всякой инициативы. Трудолюбие его ограничивалось исполнением без размышления всех директив Москвы. По самым незначительным вопросам он запрашивал разрешения Москвы».
Осенью 1937 года Якова Давтяна отозвали из Варшавы, где он был полпредом. 21 ноября арестовали. Его обвинили в работе на польскую разведку и в создании правотроцкистской организации в советском полпредстве в Варшаве, выжимали нужные следствию показания совершенно фантастического свойства.
30 апреля 1938 года нарком внутренних дел генеральный комиссар госбезопасности Николай Иванович Ежов отправил Сталину «сводку важнейших показаний арестованных Управлениями НКВД за 28-е апреля». В списке значится и Давтян, бывший полпред в Польше.
«Давтян дал дополнительные показания о том, что в 1937 году в Париже представитель Закавказской Федерации Пирумов Симон связал его с крупным нефтяником — английским подданным Гульбенкяном, который договорился с Давтяном о совместной работе под руководством англичан за отрыв Армении от СССР…
Давтян будучи в Персии вел практическую контрреволюционную националистическую работу, имея связь с Местроном (представитель духовенства, английский разведчик) и английским консульством…»
28 июля 1938 года первого начальника советской разведки расстреляли.
Некоторое время иностранный отдел ВЧК (а с 6 февраля 1922 года ИНО ГПУ) возглавлял Соломон Григорьевич Могилевский.
Он родился в 1885 году в Екатеринославской губернии. Совсем молодым присоединился к социал-демократам, в 1904 году был арестован. Его, как и Давтяна, выпустили под залог. И он точно так же уехал за границу — в Швейцарию. Он поступил на юридический факультет Женевского университета и познакомился с Лениным, безоговорочно поверив в его правоту. Вернувшись в 1906 году в Россию, вел подпольную работу. После первой русской революции поступил на юридический факультет Петербургского университета, оттуда перевелся в Москву.
В Первую мировую Соломона Могилевского мобилизовали в царскую армию. Служил под Минском. После Февральской революции вошел в состав Минского совета. После Октябрьской революции Могилевский работал в Иваново-Вознесенске, где его сделали сначала губернским комиссаром юстиции, затем председателем революционного трибунала.
Весной 1918 года его взяли в Москву в Наркомат юстиции и почти сразу отправили восстанавливать советскую власть в Поволжье, оттуда перебросили на Украину, назначили заместителем председателя ревтрибунала 12-й армии.
Осенью 1919 года Могилевского вернули в Москву заведующим следственной частью Московской чрезвычайной комиссии, затем повысили — утвердили заместителем начальника особого отдела МЧК.
В августе 1921 года, после ухода Давтяна, Соломон Могилевский стал руководителем иностранного отдела ВЧК. Видимо, учли, что до революции он некоторое время жил в эмиграции, следовательно, среди не слишком грамотных чекистов считался знатоком иностранной жизни.
В феврале 1922 года ВЧК преобразовали в Государственное политическое управление при Наркомате внутренних дел (ГПУ). В утвержденном политбюро, а затем и ВЦИК «Положении о Государственном политическом управлении» перечислялись задачи нового ведомства:
предупреждение и подавление открытых контрреволюционных выступлений;
борьба с вооруженными восстаниями;
раскрытие контрреволюционных организаций в народном хозяйстве;
охрана государственных тайн и борьба со шпионажем;
охрана железнодорожных и водных путей сообщения, борьба с хищениями грузов;
охрана государственных границ;
выполнение специальных заданий ВЦИК и Совнаркома по охране революционного порядка.
Разведка в этом исчерпывающем перечне задач ГПУ даже не упоминается. Это свидетельствует о том, что закордонная разведка в тот момент мало интересовала руководство страны. Иностранный отдел включили в состав секретно-оперативного управления ГПУ.
Разведкой Могилевский руководил недолго. В те годы шла кадровая чехарда, более или менее ценных работников перебрасывали с места на место. В марте 1922 года Могилевского назначили полномочным представителем ГПУ в только что созданной Закавказской Федерации, объединившей Грузию, Азербайджан и Армению. Одновременно он получил под командование внутренние и пограничные войска Закавказской Федерации. Заместителем ему дали Лаврентия Павловича Берию, молодого, но подававшего большие надежды чекиста.