Прошло в сего шесть лет. И Леплевский с Балицким, с травленные Сталиным и Ежовым, терзали друг друга, как пауки в банке, а спецгруппы НКВД рыскали по всей стране и вылавливали их выдвиженцев. Но тогда, в начале 1930-х гг., Украина и они «гремели» своими результатами в борьбе с контрреволюцией. И этот гром услышали в Кремле.

Первым взяли в Москву Леплевского. Вслед за ним, 17 августа 1931 г., в центральный аппарат ОГПУ СССР отправился Люшков и там за короткий срок вырос до заместителя начальника одного из ведущих отделов — Секретно-политического отдела (СПО) ГУГБ НКВД СССР, занимавшегося оперативной разработкой политической и внутрипартийной оппозиции. За пять лет совместной работы у него сложились близкие отношения с начальником отдела Г. Молчановым, игравшим одну из ключевых ролей в планах Сталина по ликвидации партийной оппозиции. Впоследствии эта близость с Молчановым и Леплевским сыграла роковую роль в судьбе Люшкова, а пока он шел в гору.

29 ноября 1935 г. ему было присвоено генеральское звание — комиссар госбезопасности 3-го ранга. Не прошло и года, как 29 августа 1936 г. его назначили на важнейший участок — начальником УНКВД громадного Азово-Черноморского края, площадь которого занимала территории нынешней Ростовской области и Краснодарского края. Направляя Люшкова в Ростов, глава НКВД СССР Г. Ягода преследовал вполне конкретную цель — ослабить позиции своего возможного соперника, полпреда ОГПУ на Северном Кавказе Евдокимова. Но уже в сентябре его сняли с должности, и место наркома занял очередной выдвиженец Сталина Ежов. Но Люшков остался на плаву. Новый нарком поставил перед ним новую задачу: убрать авторитетного секретаря крайкома Б. Шеболдаева и «зачистить» местные партийные организации, «сильно засоренные троцкистским и оппортунистическим элементом».

Люшков сразу понял, куда подул ветер, и с учетом прошлого опыта принялся плести вокруг Шеболдаева плотную оперативно-осведомительскую сеть. Но тот оказался тертым калачом и по-крупному нигде не подставился. Тогда Люшков зашел к нему с другой стороны: начал разработку его ближайшего окружения — Белобородова и Глебова. Осведомители ловили каждое неосторожно оброненное ими слово в адрес Сталина и критические высказывания в адрес «генеральной линии партии». Сын портного знал, как «шить» политические дела, и к ноябрю 1936 г., помимо троцкистов и зиновьевцев Белобородова и Глебова, в тюрьме УНКВД оказалось свыше двухсот человек руководящего партийно-хозяйственного актива.

Результаты проделанной Люшковым «работы» оценили не только в наркомате НКВД, но и выше. 2 января 1937 г. Политбюро ЦК ВКП(б) приняло специальное постановление «Об ошибках секретаря Азово-Черноморского края т. Шеболдаева и неудовлетворительном политическом руководстве крайкома ВКП(б)». После такого разгромного постановления судьбы Белобородова, Глебова и остальных «коммунистов-перерожденцев» были решены. Не избежал их участи и сам Шеболдаев. Сработала известная схема: сначала его «задвинули» в курский обком, потом сняли с должности, исключили из партии и репрессировали.

Казалось бы, Люшков снова на коне. Но тут на место Шеболдаева назначили Евдокимова, под которого по поручению предыдущего наркома Ягоды он копал. Тучи вновь сгустились над Люшковым. На февральском пленуме ЦК ВКП(б) Ежов обвинил бывшего его покровителя Ягоду в том, что тот позволил «предателям» и «вредителям» проникнуть в центральный аппарат органов. Люшков оказался в подвешенном состоянии и, страхуя себя от обвинений в связях с «врагами народа», сделал ловкий ход: одним из первых выступил застрельщиком в изобличении перерожденцев-предателей в рядах сотрудников органов госбезопасности и «развернул» дела на своих подчиненных, начальника Таганрогского горотдела УНКВД Е. Баланюка и Новочеркасского райотдела УНКВД Д. Шаповалова.

Это его «начинание» подхватили ретивые начальники из других управлений и завалили Центр докладами о разоблаченных «предателях». Кровавое колесо репрессий в органах безопасности сделало свой очередной поворот.

Наряду с политической задачей — «зачисткой» парторганизации края — перед Люшковым стояла и другая, не менее важная задача, связанная с оперативным обеспечением безопасности Сталина во время его пребывания на спецобъектах — черноморских госдачах. Одна из них строилась в Сочи — «Сосновая роща».

Перед его сдачей Люшков оттуда не вылезал, вместе с архитектором М. Мержановым подчищали последние «хвосты». Приехав на объект, Хозяин остался доволен, и награда не заставила себя ждать. 3 июля 1937 г. Люшков был награжден орденом Ленина и, казалось бы, трамплин в Москву готов, но неудача свалилась оттуда, откуда ее не ждали.

На объект прилетел с проверкой начальник личной охраны Сталина Николай Власик. Приехал он не в духе. Люшков с Мержановым решили поднять ему настроение и приготовили сюрприз. На площадке перед дачей Власика ожидал загадочный шатер. Машины остановились, он вышел, Люшков махнул рукой рабочим. Те дернули за веревки, полог слетел на землю, заработали насосы, и мощные струи фонтана забили в воздух. И тут произошла досадная оплошность: то ли Люшков, то ли Мержанов чего-то там недоглядели. Власика окатило с головы до ног. Он взбеленился и потом долго гонял их по даче, тыча мордами в цветочные вазы и задницы древнегреческих богов, которые Люшков утащил из сухумского музея. В общем, хотели как лучше, а получилось как всегда. Перед отъездом Власик пригрозил отправить обоих туда, куда Макар телят не гонял.

С того дня неудачи одна за другой начали преследовать Люшкова. Его давние покровители, Леплевский и Балицкий, не смогли между собой поделить власть в Киеве. Позже это аукнулось Люшкову. В мае Балицкого сняли с должности наркома внутренних дел Украины и направили с понижением начальником УНКВД по Дальневосточному краю.

Новый нарком Леплевский, долгое время проработавший «правой рукой» — заместителем Балицкого, припомнил тому прошлые обиды и вскоре вскрыл «заговор» среди украинских чекистов. К августу 1937 г. были сняты с должностей и затем арестованы все заместители Балицкого, большинство начальников отделов центрального аппарата и областных управлений. В своей мести Леплевский зашел так далеко, что бывших выдвиженцев Балицкого оперативные группы разыскивали и арестовывали по всей стране. В далеком Ташкенте отыскали начальника второстепенного 3-го отдела П. Рахлиса. Вскоре был арестован и сам Балицкий.

Люшкову на первый взгляд можно было не опасаться, что волна репрессий накроет его: давний покровитель Леплевский круто шел в гору. Но он не был всесилен, чтобы замять показания Балицкого и других арестованных коллег Люшкова по прошлой работе в ГПУ Украины. На его счастье, они против него ничего не дали, и тем не менее он не мог чувствовать себя спокойно.

Новый назначенец, начальник ГУГБ НКВД СССР М. Фриновский, близко связанный с Евдокимовым и много лет проработавший в органах на Северном Кавказе, резко негативно воспринял деятельность Люшкова по разоблачению «чекистов-перерожденцев» в УНКВД по Азово-Черноморскому краю и начал под него копать.

Вывел Люшкова из-под удара Фриновского сам Ежов, с которым он познакомился в Ленинграде во время работы по делу об убийстве Кирова. Тогда по поручению Сталина по линии партии Ежов курировал ход расследования, а Люшков с позиций органов вел оперативную разработку. Не желая столкновений Фриновского и Люшкова, нарком «развел» их по дальним углам.