В 1936 году поступил агентурный материал о связи АБАКУМОВА с женой германского подданного НАУШИЦ /выслан в Германию/. Наушиц и его жена подозревались в шпионаже.

АБАКУМОВ в своих объяснениях связь с женой НАУШИЦА отрицает, но этим объяснением АБАКУМОВА установлено, что он был знаком с некой гражданкой МАТИСОН, с которой 2 раза встречался в деловом клубе в Москве.

Проверкой установлено, что ее муж был расстрелян за к.р. деятельность, а второй муж проживает за границей…»

На фоне «злодеяний, совершенных Ягодой (бывшим главой НКВД) и бандой заговорщиков, пробравшейся в органы госбезопасности», прегрешения Абакумова выглядели детским лепетом.

15 апреля 1937 года его возвратили в Секретно-политический отдел (4-й) ГУГБ НКВД СССР. Службу на новом месте он начал с должности оперуполномоченного, на ней не задержался, благодаря деловой хватке и организаторским способностям быстро поднялся по ступенькам служебной лестницы.

Войну Абакумов встретил в звании комиссара государственной безопасности 3-го ранга, в качестве руководителя военной контрразведки. После тяжелейших потерь, понесенных в первые месяцы войны, он железной, но разумной рукой навел порядок в рядах военных контрразведчиков. Его, а также усилиями заместителей Н. Селивановского, И. Бабича, а также П. Ивашутина, И. Устинова, А. Матвеева и В. Федорчука, впоследствии занявших ключевые посты в отечественных спецслужбах, была создана самая эффективная контрразведка того времени.

К середине 1944 года Смерш начисто переиграл спецслужбы фашистской Германии и ее сателлитов. Абакумов и его подчиненные сформировали надежную систему контрразведывательных мер в частях Красной армии. Как результат, ни абвер, ни «Цеппелин» не смогли внедрить своих агентов даже в штаб дивизии, не говоря уже о звене армия — фронт — флот.

Не менее результативно Смерш действовал и на таком направлении, как разведка. Ее зафронтовые разведчики проникли практически во все разведывательные и диверсионные школы абвера и «Цеппелина», расположенные не только на оккупированной территории СССР, а и в большинстве стран Восточной Европы. На основании добытых ими данных во второй половине 1944 года в Смерше подготовили уникальный документ — «Сборник материалов об органах германской военной разведки, действующих на советско-германском фронте». В нем содержались подробные сведения не только о местах дислокации и характере деятельности разведцентров (школ) абвера, «Цеппелина», ГФП, других специальных органов, но и приводились установочные, характеризующие данные, описание внешних примет и привычек кадровых сотрудников.

Профессионализм Абакумова и его подчиненных, их блестящая организаторская работа не позволили гитлеровским и другим спецслужбам добыть значимых сведений ни об одной важной операции советского командования. Это признавал такой компетентный противник, как начальник штаба Верховного главнокомандования вооруженными силами Германии генерал-фельдмаршал Вильгельм Кейтель. В июле 1945 года на допросе у следователя Смерша он признал:

«Данные нашей агентуры касались только тактической зоны, и ни разу не было получено сведений, которые бы оказали серьезное воздействие на развитие военных операций».

Эффективная работа Смерша и его руководителя — Виктора Абакумова — не остались без внимания Сталина. При реорганизации советских спецслужб он учел их несомненные заслуги во время войны. Выбирая будущего главу министерства госбезопасности МГБ СССР, Вождь, видимо, руководствовался еще тем, что Смерш имел огромную негласную армию — агентуру, внедренную во все армейские звенья, от стрелкового отделения и до Генштаба. Десятки тысяч агентов — рядовых, офицеров и генералов — ловили каждое неверно сказанное слово в адрес вождя и линии партии на строительство социализма «в отдельно взятой стране» — СССР.

15 марта 1946 года Наркомат внутренних дел был преобразован в министерство госбезопасности. В его состав, помимо контрразведки, вошли внутренние войска, милиция, пограничные войска и другие подразделения. Этот монстр с неограниченными оперативными и людскими ресурсами 4 мая 1946 года, возглавил генерал-полковник Абакумов. Ранее, 9 июля 1945 года, ему было присвоено это столь высокое звание. В новом качестве он обратил всю мощь МГБ не только против агентов и диверсантов иностранных спецслужб, ликвидацию бандподполья на Западной Украине и в Республиках Прибалтики, а и против тех, кто имел иную, чем Сталин и его окружение, точку зрения на положение в стране и пути ее дальнейшего развития.

После завершения войны она появилась не только у «маршалов и генералов победы», но и у рядовых. В поверженной Германии они увидели свинарники и коровники, которые выглядели лучше, чем хибары в стране «полностью, но не окончательно победившего социализма». В их глазах непогрешимость Сталина уже не казалась столь бесспорной. На память приходили его роковые ошибки 1941 года, оплаченные огромной ценой.

В армейской среде началось брожение. Об этом Абакумову говорили донесения агентуры и данные прослушивания телефонов и квартир советских военачальников. Он незамедлительно доложил Вождю о новой угрозе. Тот не стал медлить и первым делом задвинул двух выдающихся полководцев — маршалов Георгия Жукова и Константина Рокоссовского. Они пользовались всенародной славой, а в войсках — непререкаемым авторитетом, по одному их слову армия готова была бы штурмовать не только Кремль, а и небо.

В июле 1945 года Рокоссовского «сослали» на историческую родину — в Польшу, чтобы формировать Северную группу войск. С 1949 года он возглавил министерство обороны страны. За это время пережил два покушения и бесчисленные нападки со стороны националистов. Поляк по национальности, Рокоссовский оказался чужим среди своих и был втянут в бесконечные козни «польского двора», перед которым блекли интриги некогда знаменитого «мадридского». Так был нейтрализован один из самых популярных советских маршалов. Сталин не хуже Черчилля представлял, чего стоит польская правящая элита. Бывший британский премьер, как никто другой, знал ее истинную цену и позже в своих воспоминаниях писал:

«…Героические черты польского народа не должны заставлять нас закрывать глаза на его безрассудство и неблагодарность, которые в течение ряда веков причиняли ему неизмеримые страдания… Слава в периоды мятежей и горя, гнусность и позор в периоды триумфа. Храбрейшими из храбрых слишком часто руководили гнуснейшие из гнуснейших! И все же всегда существовали две Польши: одна из них боролась за правду, а другая пресмыкалась в подлости».

Рокоссовскому пришлось иметь дело и с теми, и с другими. Человек честный и не терпевший интриг, он вынужден был с головой уйти в военные дела и держаться подальше от политики.

В отношении другого прославленного маршала — Георгия Жукова — Сталин использовал более грубый, но безотказно действовавший прием. В июне 1946 года МГБ начало расследование по т. н. «трофейному делу». По его результатам Абакумов доложил Вождю:

«…Жуков, используя служебное положение, вывез из Германии в значительных количествах мебель, произведения искусства, различное другое трофейное имущество для своего личного пользования».