Все пятеро были освобождены от занимаемых должностей, трое из них навсегда покинули ОГПУ, а Евдокимов, пострадавший меньше других, был переведен на вполне престижный пост полномочного представителя ОГПУ по Ленинградской области. Однако уже через две недели стараниями Ягоды он был освобожден и от этой должности и направлен руководить полномочным представительством ОГПУ по Средней Азии. Для здоровья Евдокимова тамошний климат был просто губительным, и с того времени его неприязненное отношение к Ягоде сменилось уже ничем не прикрытой враждой.

В конце 1932 года Евдокимов был возвращен на Северный Кавказ, где, в связи с проводившейся в тот период коллективизацией, сложилась очень непростая обстановка. Действуя решительно и жестко, Евдокимов сумел переломить ситуацию, и к весне 1933 г. с крестьянскими волнениями в крае было покончено.

В январе 1934-го Сталин перебрасывает его на партийную работу и делает первым секретарем Северо-Кавказского крайкома партии. С этого момента начинают складываться отношения Евдокимова и Ежова, которые становятся особенно тесными после того, как в начале 1935 года Ежова назначают заведующим Отделом руководящих партийных органов. В этом качестве он помогает «молодому» партработнику Евдокимову подбирать кадры для партийного и советского аппарата, дает ценные советы в отношении проводившихся в тот период проверки, а затем и обмена партийных документов.

Как секретарь ЦК, курирующий органы госбезопасности, Ежов в беседах с Евдокимовым неоднократно затрагивал вопросы, касающиеся НКВД, всячески поощряя при этом критические замечания Евдокимова в адрес Ягоды. Во время одной из таких бесед, незадолго до назначения Ежова наркомом внутренних дел, когда вероятность такого назначения стала уже вполне очевидной, Евдокимов обратился к нему с таким предложением: «Бери, Николай Иванович, в НКВД и меня. На пару рванем так, что чертям станет тошно». Ежов промолчал, но по выражению его лица Евдокимов понял, что идея руководить НКВД с кем-то на пару не показалась ему особенно привлекательной.

В дальнейшем, став наркомом и столкнувшись со сложностью управления громоздкой машиной НКВД, Ежов готов уже был взять Евдокимова себе в помощники, однако на этот раз против оказался Сталин.

На протяжении 1936 года в северокавказской парторганизации, как и во множестве других, были выявлены всевозможные «антипартийные элементы». Обнаружились они и в окружении Евдокимова, и на февральско-мартовском пленуме ЦК ему пришлось каяться в том, что он, «прожженный чекист», не сумел вовремя распознать врага.

Человека с притупившейся политической бдительностью нельзя было ставить на НКВД, поэтому на просьбы Ежова назначить Евдокимова его первым заместителем вождь ответил отказом. А между тем вопрос о первом заместителе стал для Ежова в начале 1937 года весьма актуальным. Выполнявший эти обязанности Я. С. Агранов на том же февральско-мартовском пленуме ЦК подвергся резкой критике за недостаточную решительность в борьбе с врагами народа — троцкистами и зиновьевцами. Это был верный признак того, что его карьера подходит к своему завершению. Для самого Агранова такой поворот, возможно, стал неожиданностью, но Ежов о претензиях Сталина к его первому заместителю знал, естественно, еще до пленума, и, поскольку кандидатура Евдокимова тоже не проходила, нужно было подыскивать какой-то другой вариант.

После непродолжительных раздумий Ежов сделал выбор в пользу М. П. Фриновского. Свою деятельность в органах госбезопасности Фриновский начинал под руководством Евдокимова в Особом отделе Московской ЧК. Когда в конце 1919 г. Евдокимов был переведен на Украину, он вызвал Фриновского к себе, и на протяжении последующих семи лет они работали вместе. В 1926 году Фриновский, тогда первый заместитель полномочного представителя ОГПУ по Северо-Кавказскому краю, был командирован на курсы усовершенствования высшего начсостава при Военной академии РККА им. Фрунзе. После окончания учебы был оставлен в Москве и назначен сначала помощником начальника Особого отдела ОГПУ Московского военного округа, а затем командиром-комиссаром дивизии особого назначения им. Дзержинского при коллегии ОГПУ. В 1930 году во главе войскового отряда был направлен в Дагестан, а затем в Азербайджан, где участвовал в подавлении крестьянских восстаний, происходивших там в период коллективизации. С сентября 1930 г. по апрель 1933 г. выполнял обязанности председателя ГПУ Азербайджана, затем был возвращен в Москву и назначен начальником Главного управления пограничной охраны и войск ОГПУ, переименованного в 1934 г. в Главное управление пограничной и внутренней охраны НКВД.

Несмотря на то, что его бывший патрон Евдокимов имел очень плохие отношения с Ягодой, сам Фриновский числился среди фаворитов наркома. Пользовался он доверием и Сталина, с которым, так же как Евдокимов, был, вероятно, знаком со времени работы в 1920 г. в Особом отделе Юго-Западного фронта.

Ежов познакомился с Фриновским еще до своего назначения в НКВД. Будучи секретарем ЦК, контролирующим органы государственной безопасности, он имел среди руководящих работников наркомата нескольких информаторов, докладывавших ему о ситуации в чекистском ведомстве, о вопросах, обсуждаемых на совещаниях, проводимых Ягодой, и т. д. Одним из таких информаторов был Фриновский.

Летом 1936 г. находившийся в Москве Евдокимов пригласил Ежова и Фриновского к себе в гости. Зашел разговор о чекистских проблемах, и Ежов, рассказав о каких-то делах, высказался в том духе, что если бы он работал в НКВД, то взял бы себе в заместители Фриновского (при этом он дружески похлопал его по плечу), а в аппарат набрал бы людей из северо-кавказского управления.

Став наркомом, Ежов обещание назначить Фриновского своим заместителем выполнил, а теперь уже готов был сделать его и первым замом. Он стал приглашать Фриновского на обед к себе на квартиру, советоваться с ним по делам НКВД, приглашал на совещания по оперативным вопросам, тогда как другие заместители на эти совещания приглашались не всегда.

В одной из бесед, состоявшейся в начале 1937 г., Ежов дал понять Фриновскому, что рассматривает его как наиболее подходящую кандидатуру на должность своего первого заместителя и собирается обратиться с соответствующим ходатайством к вождю. Однако Фриновский не только не обрадовался предстоящему служебному росту, но, напротив, стал всячески отказываться от сделанного ему предложения, объясняя, что почти весь период своей службы в органах госбезопасности провел на командно-строевых должностях в войсках и с оперативно-чекистской работой знаком плохо.

Ежов все это выслушал, но от своего намерения отказываться не стал, и при очередной их беседе, происходившей уже после февральско-мартовского пленума, сообщил Фриновскому о своем окончательном решении выдвинуть его кандидатуру на пост первого заместителя.

В середине апреля 1937 г., вызвав Фриновского к себе на квартиру, Ежов завел с ним разговор о предстоящих кадровых перестановках в НКВД. Затем на беседу были приглашены начальник Секретариата НКВД Я. А. Дейч, начальник Секретно-политического отдела В. М. Курский, заместители Ежова М. Д. Берман и Л. Н. Вельский. Ежов объявил собравшимся о своем решении назначить Фриновского первым заместителем. Тот, по обыкновению, стал отнекиваться, предлагал вместо себя Л. Н. Вельского, однако последний сразу же отказался, после чего все присутствовавшие принялись убеждать Фриновского согласиться занять предложенную ему должность.