Накануне, 10 марта 1935 года, Ежов был освобожден от обязанностей руководителя Промышленного отдела ЦК и назначен заведующим Отделом руководящих партийных органов (ОРПО). Именно ОРПО должен был стать движущей силой задуманной чистки, и во главе его Сталин, естественно, хотел видеть человека, которому он мог полностью доверять.

13 мая 1935 г. Ежов выступил на Политбюро с докладом «Об упорядочении учета, выдачи и хранения партийных билетов» и представил проект (тогда же и утвержденный) закрытого письма ЦК ВКП(б) по данному вопросу. В письме отмечалось, что в партийных организациях царит грубейший произвол в обращении с партийными билетами и совершенно нетерпимый хаос в учете коммунистов, что имеются многочисленные факты, когда враги партии и рабочего класса, пользуясь доступом к партийным документам, получали партбилеты и прикрывались ими в своей гнусной работе по подрыву дела партии и советского государства.

Всем парторганизациям было предложено в двухмесячный срок проверить наличие и подлинность партийных билетов и учетных карточек у всех коммунистов страны. Такой сравнительно небольшой срок должен был свидетельствовать, что речь идет об обычной технической процедуре, не являющейся разновидностью партийной чистки, поскольку, как уже отмечалось, такая чистка во многих парторганизациях только недавно прошла, а, кроме того, решение о ее проведении мог принимать, согласно Уставу партии, только пленум ЦК, но не Политбюро.

Однако, хотя времени на проверку выделили немного, объем работы, которую предстояло выполнить за эти два месяца, был достаточно большой. По каждому члену партии необходимо было сверить номер его партбилета со справочником аннулированных билетов и сопоставить записанные в билете сведения с данными учетной карточки, хранящейся в райкоме. При отсутствии у коммуниста партбилета или в случае обнаружения в нем каких-либо помарок, исправлений, расхождений в данных следовало тщательно проверить личность такого коммуниста, запросить сведения о нем в той парторганизации, где он принимался в партию и состоял на учете, а также предложить ему представить свидетелей, готовых подтвердить его партийную принадлежность. Ну и, конечно, необходимо было выяснить причины расхождений и помарок в документах — не скрывается ли за ними обман партии.

На местах пришедшие из Москвы указания были восприняты, как и любые распоряжения начальства, с одобрением. «Первое время, — отмечал позднее Ежов, выступая на одном из партактивов, — когда люди получили такое письмо, и пока шло его обсуждение на собраниях… все приветствовали это замечательное решение ЦК: «Вот это да! Вот это вынесли решение!» Писали хорошие резолюции, произносили приветственные речи. А потом, когда через три-четыре дня первый угар приветствия прошел и надо было взяться за работу, у людей началось такое состояние: «Как бы от этого дела увильнуть».

И не удивительно. В соответствии с инструкциями ЦК в парторганизациях численностью до 500 человек проверку, предполагающую личную встречу с проверяемым, должны были проводить секретари райкомов партии, а в более крупных организациях им разрешалось привлекать себе в помощь нескольких членов бюро райкома. Разделив численность парторганизаций на число отведенных для проверки дней, местные партработники обнаружили, что если все делать по инструкции, то в ближайшие два месяца ни на что другое времени уже не останется, хотя спрашивать с них, как и прежде, будут, разумеется, за все.

Поскольку на обращения с просьбой расширить круг проверяющих или продлить отведенное для этой работы время руководство в Москве никак не реагировало, на местах пошли по самому простому пути и повели эту внезапно свалившуюся на них проверку форсированными темпами, стремясь отделаться от нее как можно быстрее. В Свердловске райком Уралмашзавода за шесть дней проверил 1566 человек, уделяя каждому коммунисту, согласно плану, утвержденному бюро райкома, не более 5 минут. В Донецкой области первый секретарь Артемовского горкома в один из дней проверил 58 человек, а второй секретарь того же горкома — 78 человек. Фактически в большинстве районов все свелось к простой сверке партийных билетов с учетными карточками.

8 июня Ежов выступил на заседании Оргбюро ЦК ВКП(б) с сообщением о ходе проверки партийных документов. Тут-то и выяснилось, что все это время возглавляемый им Отдел руководящих партийных органов внимательно наблюдал за маленькими хитростями местных партийцев и брал на заметку особенно примечательные случаи. По итогам состоявшегося на Оргбюро обсуждения, комиссии во главе с Ежовым было поручено разработать конкретные предложения «в связи с выявившимися в парторганизациях извращениями в ходе реализации мероприятий, вытекающих из письма ЦК от 15 мая 1935 года».

Комиссия Ежова свои предложения представила, и 26 июня они были утверждены постановлением Политбюро ЦК ВКП(б) «О проверке партийных документов». В нем на основе анализа ситуации в Западной и некоторых районах Воронежской и Харьковской областей делался вывод, что начавшаяся проверка проходит явно неудовлетворительно и сопровождается грубыми нарушениями правил, установленных Центральным комитетом.

Еще более доходчиво имеющиеся у Сталина претензии к местным партработникам сформулировал Ежов, который накануне принятия постановления беседовал с представителями Западного обкома.

Решением Политбюро проверка в Западной области и ряде районов других областей была признана несостоявшейся, и ее предложено было провести повторно, а особо отличившийся секретарь Починковского района Западной области В. П. Степанов, проверявший по 80 человек в день, был исключен из партии. Постановление Политбюро обсуждалось во всех парторганизациях, почти везде были созваны повторные инструктивные совещания секретарей райкомов, и фактически с этого момента проверка началась по-новому, превратившись из технической процедуры, каковой она выглядела первоначально и каковой продолжала формально считаться, в самую настоящую партийную чистку, только гораздо более жесткую, чем раньше.

В прежние времена, когда чистку парторганизаций проводили специальные комиссии, присылаемые «сверху», особой активности от коммунистов ждать не приходилось, наоборот, был интерес прикрыть «своих», чтобы организация выглядела как можно лучше. Как выразился Ежов, «люди рассказывали свои вымышленные автобиографии и проходили чистку под аплодисменты». Теперь же все проверялись аппаратом собственных организаций, скрыть от которых те или иные моменты своей биографии было гораздо труднее, тем более в условиях, когда главным показателем результативности проверки стал процент исключенных из партии.