В июне 1923 года Слуцкого переводят в Москву и назначают на должность председателя военного трибунала 2-го стрелкового корпуса Московского военного округа.

В июне 1926 года молодого, но уже опытного чекиста направляют на руководящую работу в Экономическое управление ОГПУ, где он занимается экономическими преступлениями. Слуцкий участвует в расследовании «Шахтинского дела», избирается секретарем парткома ОГПУ.

В конце 1929 года А.А. Слуцкий с должности помощника начальника Экономического управления ОГПУ переводится на работу во внешнюю разведку и назначается помощником начальника Иностранного отдела. В 1931–1935 годах — заместитель начальника Иностранного отдела. Несмотря на столь высокий пост, он одновременно являлся главным резидентом ИНО ОГПУ по странам Европы. Действуя под прикрытием должности сотрудника торгпредства СССР в Берлине, А.А. Слуцкий неоднократно лично участвовал в специальных операциях, проводимых внешней разведкой в Германии, Испании и Франции. Выезжал в спецкомандировки в США и Швецию, успешно выполняя задания по линии научно-технической разведки.

В частности, в ходе командировки в Швецию Слуцкий проявил себя как мужественный, находчивый и способный разведчик. Подобрав нужных людей, он с их помощью сумел добыть техническую документацию, касающуюся технологии производства шарикоподшипников, остро необходимых в тот период народному хозяйству СССР.

Там же, в Швеции, Слуцкий сумел убедить крупного промышленника пойти на контакт с советской внешней разведкой с одновременным оказанием ей финансовой помощи. Дерзкая операция разведчика увенчалась успехом.

По имеющимся сведениям, Слуцкий не менене успешно действовал и на американском континенте, где приобрел ценных источников информации, долгие годы снабжавших советскую внешнюю разведку важными сведениями.

Итак, будучи заместителем начальника Иностранного отдела, Слуцкий курировал направление разведки по добыванию в западных странах информации о новой технике и новейших технологиях. Однако фактически круг его деятельностиыл значительно шире. В частности, Слуцкий контролировал работу сотрудников внешней разведки с перспективной агентурой в Англии, получившей впоследствии название «Кембриджской пятерки». Он активно поддерживал идею привлечения к разведывательной работе в западноевропейских странах близких нам в идеологическом плане перспективных молодых людей в расчете на их внедрение в дальнейшем в интересовавшие Москву правительственные объекты и местные спецслужбы.

Интересовали опытного чекиста и вопросы борьбы с проявлениями крайнего национализма, прежде всего — украинского. Историк отечественных спецслужб Владимир Пещерский рассказывал в одной из своих публикаций, что Слуцкий был принят Сталиным и имел с ним беседу по данной проблеме. В частности, он приводит следующий диалог из этой беседы:

— Фашисты, как известно, сделали ставку на националистов и намереваются их использовать в будущей войне против СССР. Особое место в этих планах Гитлера занимает Организация украинских националистов (ОУН). Что может сделать разведка, чтобы сорвать эти замыслы, товарищ Слуцкий?

— Товарищ Сталин, разведка разрабатывает мероприятие против руководства ОУН, в котором участвует наш оперработник, сумевший войти в доверие к украинским националистам.

— Вы предусмотрели все возможные последствия? У вас есть запасные варианты действий на случай срыва основной операции?

— Да, товарищ Сталин, имеются.

— Хорошо, товарищ Слуцкий, представьте мне ваши соображения. Привлеките к этому делу лучшие силы чекистов.

— Будет исполнено, товарищ Сталин!

Обычно Слуцкий принимал у себя на квартире в неофициальной обстановке разведчиков, отправлявшихся за кордон или вернувшихся с особо важных и опасных заданий.

После ликвидации лидера украинских националистов Коновальца Слуцкий пригласил к себе домой своего заместителя Шпигелыла-за, непосредственного исполнителя операции Судоплатова, а также возвратившегося в Москву из Берлина разведчика-нелегала Зарубина. Встреча прошла в непринужденной товарищеской обстановке.

После образования 10 июля 1934 года НКВД СССР Слуцкий становится заместителем начальника, а с 21 мая 1935 года — начальником Иностранного отдела Главного управления государственной безопасности НКВД СССР (25 декабря 1936 года Иностранный отдел был преобразован в 7-й отдел ГУГБ НКВД). В ноябре 1935 года Слуцкому было присвоено специальное звание комиссара госбезопасности 2-го ранга (генерал-полковник Красной Армии). На посту начальника внешней разведки Слуцкий находился вплоть до своей смерти.

С 21 марта 1936 года А.А. Слуцкий одновременно являлся членом Военно-технического бюро при Комиссии обороны, а с 11 мая 1937 года — членом Комиссии ЦК ВКП(б) по загранкомандировкам.

Следует отметить, что Слуцкий принимал активное участие в партийной жизни наркомата и неоднократно выступал с докладами и яркими речами на собраниях. В период активизировавшейся борьбы с троцкистской оппозицией он не раз критиковал ее подрывную деятельность, считая ее не менее опасной, чем фашизм.

Комиссар госбезопасности Слуцкий был награжден двумя орденами Красного Знамени, двумя нагрудными знаками «Почетный работник ВЧК — ГПУ» и именным маузером.

17 февраля 1938 года Абрам Аронович Слуцкий внезапно скончался в кабинете заместителя наркома внутренних дел СССР, командарма 1 ранга Михаила Петровича Фриновского во время доклада последнему.

Вокруг смерти А.А. Слуцкого по сей день распространяются противоречивые слухи.

По официальной версии, смерть Слуцкого наступила в результате острой сердечной недостаточности.

В тот день Слуцкий был крайне озабочен тревожными сообщениями из Австрии, предупреждавшими о скором ее захвате фашистской Германией. Необходимо было принимать срочные меры, чтобы обеспечить бесперебойную работу разведки в новых условиях.

Одновременно из Италии пришло срочное сообщение о побеге из Рима высокопоставленного советского дипломата. Требовалось принять незамедлительные меры по локализации возможных неблагоприятных для СССР последствий этого предательства. Слуцкий намеревался согласовать необходимые действия с заместителем наркома. Он собрал нужные документы и направился на доклад к недавно назначенному на этот пост М.П. Фриновскому.

В коридоре Слуцкий почувствовал себя плохо. Едва войдя в кабинет и поздоровавшись, он попросил разрешения присесть. Неожиданно он начал заваливаться набок и затем осел в кожаном кресле. Срочно вызванный врач констатировал смерть от разрыва сердца.

На следующий день газета «Правда» опубликовала траурные сообщения руководства, партийного комитета и общественных организаций НКВД СССР о безвременной кончине видного чекиста и активного члена партии А.А. Слуцкого. В заявлении НКВД указывался порядок прощания с усопшим и его похорон. Там же был опубликован пространный некролог, подписанный группой товарищей по работе:

«17 февраля с.г. умер на боевом посту один из видных солдат нашей партии орденоносец-чекист, начальник отдела ГУГБ НКВД, комиссар госбезопасности второго ранга товарищ Слуцкий Абрам Аронович, — говорилось в некрологе. — Имя его знали во всех концах необъятной Родины. Враги боялись этого имени.