Не позже 1927 года ОГПУ перешло к активным арестам троцкистов. Ягода, видимо, действительно был близок к правым (Рыкову, Бухарину, Томскому, Угланову), что было особенно заметно в конце 1920-х. Сам Ягода признает, что был близок к правым по «идейным мотивам», кроме того, он мог считать, что со временем правые победят. В 1928 — начале 1929 гг. он несколько раз встречался с лидерами правых на даче Томского.

Всем старым членам ЦК было хорошо известно, что в июле 1928 года между оппозиционером Л. Каменевым и Н. Бухариным произошел разговор, в котором правые пытались договориться с троцкистско-зиновьевской оппозицией о совместной борьбе против Сталина. В ходе этого разговора Бухарин якобы заявил: «Наши потенциальные силы огромны. Рыков, Томский, Угланов абсолютно наши сторонники. Я пытаюсь оторвать от Сталина других членов Политбюро, но пока получается плохо. Орджоникидзе не рыцарь. Ходил ко мне и ругательски ругал Сталина, а в решающий момент предал. Ворошилов с Калининым тоже изменили нам в последний момент. Я думаю, что Сталин держит их какими-то особыми цепями. Оргбюро ЦК ВКП(б) наше. Руководители ОГПУ Ягода и Трилиссер — тоже. Андреев тоже за нас». Упомянутый в разговоре, Меер Абрамович Трилиссер, руководитель иностранного отдела ОГПУ, пришел в центральный аппарат только в 1922 году, но благодаря уму и организаторским способностям быстро сделал карьеру. В 1928 году он стал заместителем председателя ОГПУ и уполномоченным ОГПУ при СНК СССР.

Информация об этом разговоре была опубликована зимой 1929 г., а 6 февраля 1929 г. Менжинский, Ягода, и Трилиссер официально заявили, что считают ее ложью и клеветой. Но поверил ли Сталин им? По крайней мере, «неприятный осадок остался».

Вслед за этим в ОГПУ разгорелся скандал вокруг банальных попоек руководства ОГПУ. Как можно понять, эта история привела к острому конфликту между Трилиссером и Ягодой. Трилиссер обвинял Ягоду в сочувствии правым и говорил о необходимости самокритики в органах. Это вызвало решительное осуждение со стороны Сталина. 16 сентября 1929 года вождь писал Менжинскому письмо: «Прежде всего, как Ваше здоровье? А потом — два слова о делах чекистских. Дело в том, что считаю нужным предупредить Вас о некоторых болезненных явлениях в организациях ГПУ, о которых рассказал мне на днях Реденс. Оказывается у вас (у чекистов) взят теперь курс на развернутую самокритику внутри ГПУ. Иначе говоря, чекисты допускают те же ошибки, которые были допущены недавно в военведе. Если же верно, то это грозит разложением ГПУ и развалом чекистской дисциплины. Не забудьте, что ГПУ — не менее военная организация, чем военвед. Нельзя ли проверить это дело и если оно подтвердится, принять решительные меры против этого зла».

27 октября 1929 года решением Политбюро ЦК ВКП(б) начальник Иностранного отдела ОГПУ Меер Абрамович Трилиссер был освобожден от занимаемой должности. Почему Сталин встал на сторону Ягоды и не поддержал Трилиссера? Было ли дело только в «самокритике»? Возможно, что не менее важную роль сыграл арест Якова Блюмкина.

Дело в том, что весной 1929 убийца Мирбаха был одним из организаторов и резидентов советской разведки. Бывший троцкист Блюмкин установил контакты с Троцким в Константинополе и выразил готовность выполнять поручения высланного вождя в СССР. Ситуация была сложная: в Москве шла борьба с правыми, многие бывшие троцкисты возвращались в партию, считая, что Сталин «понял правоту левой оппозиции». Троцкий говорил, что в «трудные часы Сталину придется призвать» оппозиционеров против натиска правых, как «Церетели призвал большевиков против Корнилова». Обсуждалась и вероятность падения «группы Сталина» в «ближайшие месяцы», если он не поймет необходимости союза с троцкистами. С этими мыслями Блюмкин в середине августа 1929 г. вернулся в Москву.

Сначала Блюмкин планировал выполнить ряд поручений Троцкого. Кроме того, он рассказал бывшим оппозиционерам К. Радеку и И.Т. Смилге о своих константинопольских встречах. Затем, поняв, что его могут арестовать, Блюмкин 14 октября 1929 года написал признательное письмо своему руководителю Трилиссеру и попытался сбежать, однако был задержан. Безусловно, дело Блюмкина резко подорвало авторитет Трилиссера. В 1928 г. Блюмкин успешно пережил партийную чистку, во многом благодаря отличной характеристике начальника иностранного отдела ОГПУ. Партийный комитет ОГПУ и руководитель чисток Абрам Сольц тогда характеризовали чекиста как «проверенного товарища». Даже после ареста Блюмкина, на Коллегии ОГПУ Менжинский и Ягода голосовали за расстрел, а Трилиссер — против. 5 ноября 1929 года было принято решение Политбюро о расстреле Блюмкина. Кажется, что позиция Трилиссера в «деле Блюмкина» могла предопределить отношение к нему Сталина.

Спустя два года в ситуации нового внутреннего конфликта в ОГПУ, который возник из-за якобы существовавшей военной контрреволюционной организации, Сталин вновь поддержал Ягоду. Остановимся на этой проблеме подробнее. Значительная часть офицеров царской армии, служивших в РККА, была настроена по отношению к Советской власти весьма скептически. В борьбе Сталина и Троцкого военспецы были на стороне первого, прежде всего, потому, что были «настроены юдофобски».

В первой половине 1930 г. накопилось достаточно много информации об «ужесточении отношения» многих бывших генштабистов к Советской власти. И связано это было, прежде всего, с политикой сплошной насильственной коллективизации села, с политикой уничтожения кулачества как класса. В ГПУ УССР от источников в Иностранном отделе стали поступать тревожные сведения, что «уже разработан план восстания», начало которому положили бы боевые действия перешедших советскую границу петлюровских отрядов. Затем в дело должны были вступать некоторые части Красной армии, дислоцированные на Украине и обработанные в антибольшевистском духе.

Руководство украинского ГПУ полагало, что часть секретных сотрудников являются «двойниками», подставленными польской разведкой.

Докладные записки по делу «Весна» (такое агентурное название оно получило в связи с тем, что восстание якобы планировалось на весну 1931 г.) были направлены в Центр, и их рассмотрели Менжинский и Ягода. Поскольку нити от «киевской организации тянулись в Москву и другие крупные военные гарнизоны», в октябре 1930 г. Менжинский проинформировал об этом Сталина: «Считаю необходимым представить Вам сообщение об… организации, открытой Украинским ГПУ, представляющей выдающийся интерес».

Сталин дал санкцию на активные действия, и уже в феврале 1931 г. украинские чекисты (В. Балицкий и И. Леплевский) заявили, что вышли на след «всесоюзной военно-офицерской контрреволюционной организации», а нити заговора тянутся в Генштаб РККА.

Этот вывод не мог «встретить понимания и поддержки у контрразведчиков и особистов из центрального аппарата ОГПУ», потому что получалось, что они проглядели «заговор военных» в Москве. Начальник Секретно-политического управления Е.Г. Евдокимов санкционировал инспекторскую проверку, которая показала, что «отдельные фигуранты дела «Весна» действительно настроены негативно к Советской власти, критиковали некоторые решения партии и правительства, многие знают друг друга, однако организационно не связаны». Эта формулировка («организационно не связаны») означает, что никакой «всесоюзной военно-офицерской контрреволюционной организации» не было.