Первым звеном в цепи событий, приведших в конечном итоге к смерти Слуцкого, стало появление в Иностранном отделе некоего А. И. Баранова — одного из тех посланцев партии, которые в течение всего 1937 года в соответствии с решением ЦК ВКП(б) направлялись в НКВД для усиления там партийного влияния и восполнения убыли в личном составе. В начале февраля 1937 г. Баранов был зачислен в штаты Главного управления государственной безопасности и прикомандирован к Контрразведывательному отделу. Позднее он был переведен в Иностранный отдел, где и остался после окончания стажировки. В марте 1937 года его избрали заместителем секретаря партийной организации отдела, а в конце апреля, получив звание старшего лейтенанта госбезопасности, он был назначен помощником начальника одного из отделений.

То, что приход в отдел Баранова не сулит им ничего хорошего, работники ИНО поняли довольно скоро. Пообвыкнув и осмотревшись, Баранов зорким глазом новичка подметил много разного рода упущений и недостатков, главным образом политического свойства, и как принципиальный коммунист не стал о своих открытиях молчать, а, дождавшись очередного партийного собрания, заявил о них во всеуслышание. В отделе, сообщил он своим коллегам, отсутствует критика, процветает семейственность, все разговоры о бдительности так разговорами и заканчиваются, нет той большевистской принципиальности, которая сейчас необходима, и т. д.

Прошло еще немного времени, и на заседании партийного комитета отдела Баранов заявил, что, по его мнению, в ИНО скопилось слишком много сомнительных в политическом отношении людей, от которых необходимо как можно скорее избавиться. К их числу он отнес начальников отделений Ф. А. Гурского, С. А. Саулова, Б. И. Куренкова, помощника начальника отдела К. И. Сили и некоторых других чекистов. Слуцкий и секретарь парткома отдела Н. Е. Долматов постарались поставить новичка на место. «Побольше бы таких Гурских, Сауловых и Сили в отделе, — заявил Слуцкий. — Вы еще профан в нашей работе». Долматов в свою очередь предложил привлечь Баранова к партийной ответственности за клевету. После столкновения на парткоме Слуцкий провел с Барановым «воспитательную беседу» и предупредил, что если тот будет продолжать вести себя подобным образом, то будет уволен из отдела.

Обо всей этой истории Слуцкий, по-видимому, рассказал заместителю начальника Секретариата НКВД (и по совместительству секретарю парткома Главного управления госбезопасности) И. И. Шапиро, который, вызвав Баранова к себе, также предостерег его от продолжения избранной им линии поведения. После этого Баранов на время изменил тактику и, не устраивая публичных скандалов, стал писать в Контрразведывательный отдел и на имя Ежова заявления, в которых рассказывал о «безобразиях», творящихся в Иностранном отделе, и о его засоренности политически неблагонадежными элементами.

Однако эти усилия никакого результата не принесли, и Баранов вернулся на прежний путь. На очередном заседании парткома отдела он заявил, что его новый начальник Ш. М. Партин (после предыдущего скандала Баранов был переведен в другое отделение) — скрытый троцкист, и потребовал его исключения из партии и увольнения из органов.

На этот раз сдержать натиск Баранова уже не удалось. Хотя, благодаря заступничеству Слуцкого, доказывавшего, что Партин — отличный работник, ему был объявлен лишь выговор, это была уже явная сдача позиций. А на состоявшемся после заседания парткома общем партийном собрании отдела Баранову удалось развить свой успех и добиться, пусть и незначительным перевесом голосов, чтобы Партин был исключен из партии и снят с работы.

На заседании парткома, так же как и на общем собрании, Баранов, не ограничиваясь обвинениями в адрес Партина, подверг резкой критике и самого Слуцкого, а также секретаря парторганизации Долматова, которые, по его словам, вместо того, чтобы возглавить борьбу с врагами народа в собственных рядах, всячески препятствуют очищению отдела от разного рода «политической сволочи».

А тем временем во всех остальных структурных подразделениях ГУГБ НКВД чистка, к которой призывал своих коллег Баранов, шла полным ходом. 20 июля 1937 года был арестован Я. С. Агранов — самая крупная после Ягоды фигура в доежовском НКВД. В апреле 1937 года он был по распоряжению Сталина отстранен от обязанностей начальника Главного управления госбезопасности и возглавил Секретно-политический отдел. Однако, пробыв здесь всего лишь месяц, был отправлен в Саратов руководить местным УНКВД, и вот теперь закономерным результатом этого скольжения вниз стал его арест.

Ежов, находившийся с Аграновым в дружеских отношениях, похоже, не собирался заниматься им всерьез. Об этом свидетельствует хотя бы то, что следствие по его делу он поручил вести начальнику Тюремного отдела ГУГБ НКВД Я. М. Вейнштоку. Последний уже с середины двадцатых годов не работал на оперативных должностях, и выставить его против такого «зубра», как Агранов, значило заранее согласиться с весьма скромными результатами расследования.

Но тут к Ежову с неожиданной просьбой обратился Слуцкий, попросивший передать следствие по делу Агранова в его руки. Свою просьбу он мотивировал тем, что все остальные отделы ГУГБ уже вовлечены в работу по разоблачению заговорщиков внутри НКВД и только Иностранный отдел остается в стороне, что может быть воспринято как выражение недоверия к нему, Слуцкому, и его людям. (Агранов был давним приятелем Слуцкого, и можно предположить, что последний, настаивая на своем участии в следствии, возможно, стремился предотвратить разглашение какой-то нежелательной для себя информации.)

Немного поколебавшись, Ежов согласился. Начав работать с Аграновым, Слуцкий подключил к следствию также и Баранова, рассчитывая, видимо, отвлечь его этим посторонним занятием от внутриотдельских интриг. Первое время Баранову поручили допрашивать жену Агранова, затем он был привлечен к допросам самого Агранова. И вот однажды, когда Баранов оказался с Аграновым наедине, тот вдруг «активизировался», то есть выразил желание дать показания по собственной инициативе. К этому времени Агранов, обозленный, видимо, тем, что под него «копает» старый товарищ, ждал, вероятно, лишь случая, чтобы поквитаться с ним. Выразившись в том духе, что прежде, когда его допрашивала «разная сволочь, которой еще очень много в отделе Слуцкого», он не был готов к излишней откровенности, Агранов заявил, что Баранову он доверяет и хочет сообщить все, что знает о враждебной деятельности самого Слуцкого в органах НКВД.

Выслушав Агранова и взяв у него письменное обязательство дать на следующий день развернутые показания по этому вопросу, Баранов отправил его обратно в камеру, а сам поспешил к Ежову. Придя в секретариат, он заявил И. И. Шапиро, что имеет сообщение особой важности для наркома и просит, чтобы Ежов срочно его принял. Узнав, о чем идет речь, Шапиро доложил Ежову, но тот уклонился от встречи с Барановым, сославшись на необходимость ехать по делам в ЦК; под каким-то предлогом отказался с ним встретиться и присутствовавший при разговоре М. П. Фриновский. Однако уже на следующий день они вызвали Агранова к себе и допросили его. Затем Фриновский встретился с Барановым и выслушал его рассказ. Результатом этих разбирательств стало отстранение Баранова от следствия под предлогом необходимости готовиться к командировке за границу (куда он так и не поехал). Вместо него в следственную группу по указанию Ежова был включен другой посланец партии — бывший сотрудник аппарата ЦК ВКП(б) И. В. Курмашев, пришедший на работу в Иностранный отдел в мае 1937 года.