В Москве Наум Эйтингон был назначен заместителем Якова Серебрянского, возглавлявшего Особую группу при председателе ОГПУ. Этот отдел, не подчинявшийся начальнику ИНО ОГПУ, был создан по инициативе председателя ОГПУ Рудольфа Менжинского в 1930 году с целью глубокого внедрения агентуры на объекты военно-стратегического значения и подготовки диверсионных операций в тылу противника на военный период. В начале 1930 года Наум Эйтингон вместе с Яковом Серебрянским выезжал в США для вербовки китайских и японских эмигрантов, которые могли бы пригодиться советской разведке в случае начала военных действий против Японии. В США Наум Эйтингон действовал параллельно с сотрудником нелегальной резидентуры Исхаком Ахмеровым. Он внедрил в одно из американских учреждений двух агентов, выведенных из Полыни на длительное оседание в США. Одним из завербованных Эйтингоном агентов был японский художник Потоку Мияги, который впоследствии вошел в знаменитую группу «Рамзай» Рихарда Зорге в Японии.

Однако, несмотря на существенные положительные результаты, Наум Эйтингон не сработался с Яковом Серебрянским и в 1931 году поставил перед руководством ОГПУ вопрос о своем переводе обратно в ИНО. Он был назначен руководителем 8-го отделения ИНО ОГПУ (научно-техническая разведка), сменив на этом посту своего будущего резидента в Испании Александра Орлова.

Что же произошло с Наумом Исааковичем Эйтингоном дальше? На должности начальника научно-технической разведки он проработал всего несколько месяцев. Уже в конце 1931 года Эйтингон был командирован во Францию, а затем в Бельгию, откуда возвратился лишь в 1933 году. В апреле 1933 года Наум Эйтингон назначается на должность начальника 1-го отделения ИНО, иными словами, становится руководителем нелегальной разведки ОГПУ.

К этому времени во внешней разведке произошли серьезные изменения. 1 августа 1931 года начальник Иностранного отдела Станислав Мессинг за открытое выступление против действий первого заместителя председателя ОГПУ Генриха Ягоды, сфабриковавшего дело так называемой «Промпартии», а также явившегося инициатором операции «Весна», направленной против военных специалистов Красной Армии, был снят с работы и в дальнейшем репрессирован. Руководителем ИНО был назначен выдающийся чекист Артур Христианович Артузов, разработавший свыше 50 оперативных игр типа «Трест» и «Синдикат», возглавлявший до этого Контрразведывательный отдел ОГПУ. Это был сильный и грамотный оперативник, блестящий организатор. Он принял решение укрепить кадры внешней разведки и расширить ее штат. Предвидя неизбежность прихода Гитлера к власти в Германии и, следовательно, неизбежность новой мировой войны, Артур Артузов еще в ноябре 1932 года отдал распоряжение об усилении нелегальной работы и о подготовке «легальных» резидентур к переходу на нелегальные формы работы в «особый период». По предложению Артура Артузова Наум Эйтингон, которому исполнилось всего 33 года, был назначен руководителем нелегальной разведки.

Именно в это время состоялось знакомство Эйтингона с Павлом Судоплатовым, который позже стал его непосредственным начальником и товарищем. В своих мемуарах «Разведка и Кремль», опубликованных во второй половине 1990-х годов, Павел Анатольевич следующим образом охарактеризовал своего коллегу:

«Красивое лицо Эйтингона и его живые карие глаза так и светились умом. Взгляд пронзительный, волосы густые и черные, как смоль, шрам на подбородке, оставшийся после автомобильной аварии (большинство людей принимало его за след боевого ранения), — все это придавало ему вид бывалого человека. Он буквально очаровывал людей, наизусть цитируя стихи Пушкина, но главным его оружием были ирония и юмор. Пил он мало — рюмки коньяку хватало ему на целый вечер. Я сразу же обратил внимание на то, что этот человек нисколько не похож на высокопоставленного спесивого бюрократа. Полное отсутствие интереса к деньгам и комфорту в быту у Эйтингона было просто поразительным. У него никогда не было никаких сбережений, и даже скромная обстановка в квартире была казенной. Эйтингон был по-настоящему одаренной личностью и, не стань он разведчиком, наверняка преуспел бы на государственной службе или сделал бы научную карьеру».

Однако и нелегальную разведку органов госбезопасности Эйтингон возглавлял недолго. Уже в конце 1933 года он надолго выезжает в командировки в США, Китай, Иран и Германию. Основные задачи, которые были поставлены Артузовым перед Эйтингоном в этих странах, заключались в организации работы по совершенствованию деятельности нелегальных резидентур и созданию условий для перевода «легальных» резидентур на нелегальные методы работы в «особый период». С поставленными задачами Наум Эйтингон справился успешно, о чем свидетельствует присвоение ему в начале 1936 года звания майора госбезопасности, что соответствовало армейскому званию полковника.

В 1936 году в Испании вспыхнул мятеж франкистов против демократически избранного правительства Народного фронта. Мятежников активно под держали нацистская Германия и фашистская Италия, оказывавшие им всестороннюю военную помощь, в том числе людскими ресурсами. Советское правительство, первоначально придерживавшееся принципа невмешательства во внутренние дела Испании, после открытого выступления Германии и Италии на стороне франкистов приняло решение об оказании помощи республиканскому правительству и о направлении туда советских военных советников.

Резидентуру НКВД в Испании возглавил Александр Орлов, который прибыл в Мадрид 16 сентября 1936 года. Его заместителем был назначен Наум Эйтингон, использовавший в оперативной переписке псевдонимы «Котов» и «Пьер». В качестве основной перед ним была поставлен? задача по организации партизанских отрядов и диверсионных групп в тылу франкистов. Однако Эйтингону пришлось принимать участие практически во всей оперативной деятельности резидентуры.

Помимо Наума Эйтингона в Испании работали такие видные чекисты-разведчики, как бывший резидент в Берлине Наум Белкин, Григорий Сыроежкин, бывший парижский резидент Лев Василевский и многие другие. В Испанию также неоднократно выезжал первый заместитель начальника внешней разведки Сергей Шпигельглас. Представители НКВД при испанском правительстве принимали участие в реорганизации испанской контрразведки (СИМ), которая формально подчинялась военному министерству, но на самом деле контролировалась ими. К концу 1937 года советские советники помогли испанскому республиканскому правительству создать Службу периферийной разведки (СИЕП), армейскую контрразведку (СЕ), закордонную разведку (СИЕЕ). Испанские спецслужбы под руководством Орлова и Эйтингона вели тайную войну против германских, итальянских, французских и британских спецслужб. В декабре 1936 года по их наводке были арестованы агенты резидентуры военной разведки Франции — знаменитого

2-го бюро Генштаба. В июне 1937 года испанская контрразведка обезвредила агентов британской Интеллидженс сервис индийцев Эриу Эдуарда Дута и Кинга, которые собирали информацию о республиканской армии.

Советские чекисты организовали надежную охрану лидеров компартии Испании во главе с Долорес Ибаррури, на которых франкисты готовили покушение. Они наладили работу испанской разведки за границей, в том числе по получению сведений о вербовке и отправке в страну штурмовых отрядов СА. С территории Испании они вели также разведку Испанского Марокко, Гибралтара и Франции.