Вся успешная работа советской контрразведки проходила под руководством Грибанова, полномочия которого были тогда же значительно расширены.

В феврале 1960 года по инициативе председателя КГБ А.Н. Шелепина (по мнению которого «…в деятельности КГБ и его органов на местах… еще немало параллелизма и распыленности сил, не изжито стремление обеспечить чекистским наблюдением многие объекты, где по существу нет серьезных интересов с точки зрения обеспечения госбезопасности…») произошло слияние контрразведки с другими подразделениями Комитета: в состав 2-го Главного управления были включены 4-е (борьба с антисоветским подпольем и националистами), 5-е (контрразведка в оборонной промышленности) и 6-е (контрразведка на транспорте) управления КГБ. Таким образом, Грибанову подчинялись теперь сотрудники: бывшей секретно-политической контрразведки (возглавлявшейся ранее Питоврановым), первых отделов на оборонных заводах и НИИ (бывший начальник — генерал И.И. Бетин), управлений и отделов госбезопасности на всех видах транспорта (бывший начальник — генерал М.И. Егоров).

Заместителями Грибанова после проведенной реорганизации стали бывший партийный работник Лев Иванович Панкратов, контрразведчики Сергей Георгиевич Банников и Филипп Денисович Бобков (в то время все они были в звании полковника).

Генерал армии Бобков — один из немногих мемуаристов, вспоминающих Грибанова, считает его «крепким профессионалом, не жалующим лентяев». Надо отметить, что о Грибанове пишут мало и кратко, но положительно. Генерал-полковник В.И. Алидин (начальник 7-го управления КГБ в 1960–1971 гг. и УКГБ Москвы и Московской области в 1971–1986 гг.) также пишет об Олеге Михайловиче буквально одной фразой, называя его «высококвалифицированным профессионалом».

23 февраля 1961 года Грибанову было присвоено звание генерал-лейтенанта.

Причиной отставки Грибанова традиционно считается «уход» к американцам заместителя начальника 7-го отдела 2-го ГУ КГБ, капитана (представлен к званию майора) Юрия Ивановича Носенко в Женеве (где он находился под видом эксперта советской делегации на совещании Международного комитета 18 государств по разоружению) 4 февраля 1964 года. Сын Ивана Исидоровича Носенко, министра судостроительной промышленности СССР, умершего в 1956 году (похоронен в Кремлевской стене) после окончания МГИМО в 1950 году служил в Управлении военно-морской разведки ГРУ, затем в 1-м (англоамериканском) и 7-м (контрразведывательные операции среди иностранных туристов в СССР) отделах 2-го ГУ КГБ. Носенко был в хороших отношениях с Грибановым.

Контакты с ЦРУ Носенко, по одной версии, установил в 1962 году в Швейцарии. Именно он выдал ЦРУ советского агента в Центральном пункте курьеров вооруженных сил в парижском аэропорту Орли сержанта Роберта Ли Джонсона, завербованного советской разведкой в 1953 году в Германии. Через курьерский центр проходили чрезвычайно важные секретные документы, включая списки ключей для шифровальных машин. Военные планы и планы действий в нештатных ситуациях, большие документы, которые были слишком длинными и засекреченными, чтобы передавать их с использованием шифромашин, также направлялись через курьерские центры. Центр в Орли оперировал криптоматериалами и высокосекретными документами, предназначавшимися НАТО, командованию вооруженных сил США в Европе и Шестому флоту США в Средиземном море. Джонсон имел доступ к сейфу, в котором они хранились в перерыве между прибытием из Вашингтона и отправкой их с курьером по месту назначения.

По другой версии, в Женеве Носенко с помощью психотропных средств был похищен американской разведкой и пошел на предательство под физическим и психологическим давлением.

В Женеве Носенко должен был завербовать гражданку Франции, сотрудничавшую с несколькими западными разведками. Участвовать в вербовке планировал и Грибанов, собиравшийся приехать в Женеву. Понятно, что американцы вряд ли упустили возможность каким-либо образом захватить начальника советской контрразведки. Получается, что Носенко не сообщил о предполагаемом визите Грибанова.

Есть и другие версии побега Носенко, обобщенные бывшим сотрудником советской разведки полковником А.А. Соколовым в статье «Юрий Носенко и ЦРУ: похищение или предательство?» (электронный журнал «Мир истории», 2003. № 3). По его мнению, «Носенко был похищен ЦРУ, чтобы получить с наибольшей вероятностью единственно достоверную на то время информацию о советском периоде жизни Освальда и о так называемом "советском следе" в убийстве Кеннеди, наличие которого в то время реально предполагали немалое число политических лидеров и пресса. Первые месяцы поддерживал его и президент Джонсон. План похищения возник в январе 1964 года в бернской резидентуре и в Советском отделе ЦРУ и был, безусловно, одобрен Президентом».

Генерал армии Ф.Д. Бобков (в 1964 году — заместитель Грибанова), в общем положительно оценивающий Носенко, писал в 1995 году о возможных причинах побега:

В 2002 году Бобков дополнительно сообщил: «Главной заботой Носенко перед отъездом в Швейцарию было: как он будет встречать в Женеве начальника контрразведки Олега Михайловича Грибанова, который собирался там быть… Какие-то оперативные вопросы, которые он мог там решать, во 2-м Главном управлении не обсуждались. Инструктаж в основном шел по линии разведки… Между тем, находясь в Женеве, Носенко активно готовился к встрече с Грибановым, который в это время находился в командировке за рубежом, естественно, под другой фамилией. В Женеву он должен был прибыть 5 февраля. Наши товарищи говорили, что в эти дни Носенко бегал по магазинам, купил лекарство, куклу для дочери… Логика подсказывает, что если Носенко был агентом, то, значит, он рассказал, что завтра в Швейцарии будет начальник советской контрразведки. В этой ситуации не было никакого смысла его убирать с «поля» — американцы могли получить в свое распоряжение начальника 2-го Главка. Грибанов к Носенко относился очень хорошо, тот мог его пригласить куда угодно. Стоит учесть, что Олег Михайлович был человек твердый, смелый — в общем, во всех отношениях нормальный мужик. Носенко приглашает его в загородный ресторан, во время застолья появляются американцы. Официально они не знают, кто это, и им не обязательно хватать Грибанова — достаточно провокации. А то, что начальник советской контрразведки приехал в Женеву под чужой фамилией, уже достаточно для компрометации…В течение четырех дней после исчезновения Носенко находился в Швейцарии и никаких акций, чтобы выйти на наших людей за эти дни не было. Все, что за этот срок можно было сделать, чтобы обезопасить людей, было сделано…Я твердо убежден в том, что Носенко не был агентом, заранее завербованным. Его захватили американцы — он мог дать повод для этого, потому что парень он был с точки зрения своего поведения, так сказать, лихой».

Также читаем в воспоминаниях В.Е. Семичастного: «В январе 1964 г. Носенко поехал, уже не в первый раз, в Женеву как член советской делегации на переговоры по разоружению. Официальное назначение было лишь прикрытием для его настоящей работы: разведчик Носенко имел довольно важное задание от КГБ. В Женеве он должен был встретиться также с начальником контрразведки Грибановым.