Двенадцатого мая 1945 года Серов отправил в Москву донесение, согласно которому планировалось «во всех уездах, городах, округах и провинциях создать оперативные группы НКВД, зашифрованные под видом органов военной администрации». Указывалась и их общая предполагаемая численность: 1700 оперативных работников (на тот момент в наличии уже имелось 800 сотрудников).

В июне 1945 года на занятой РККА территории Германии для руководства деятельностью оперативных групп были созданы оперативные сектора НКВД, а при коммендатурах СВАГ отдельных земель и провинций — сектора (впоследствии отделы), официально называвшиеся секторами общественной безопасности и внутренних дел.

В Берлине имелось также официальное представительство советской внешнеполитической разведки (с мая 1947 года она именовалась Комитетом информации при МИД СССР). База советской разведки, как и представительство МГБ СССР, располагались в берлинском пригороде Карлсхорст.

Первоначально были созданы пять таких оперативных секторов НКВД — МГБ в границах бывших земель Германии, а также особый Берлинский оперативный сектор, в зону ответственности которого входили и западные сектора Берлина: американский, английский и французский.

Ставший новым наркомом внутренних дел С. Н. Круглов совместно с наркомом госбезопасности СССР В. Н. Меркуловым 31 января 1946 года докладывал Сталину, что в подчинении Серова оперативную работу ведут 2230 сотрудников НКВД и 339 сотрудников НКГБ СССР. Оперативная группа в Берлине насчитывала 35 человек.

С мая 1946 года, после назначения бывшего начальника ГУКР СМЕРШ В. С. Абакумова министром госбезопасности СССР, деятельность оперативных секторов на территории Германии полностью перешла под его контроль, а оперативное руководство ими было возложено на 2-е (контрразведывательное) главное управление МГБ СССР.

Оперативные сектора МГБ СССР на территории Германии являлись оперативными подразделениями, которые (с учетом специфики пребывания в оккупационной зоне, установленной соглашением участников антигитлеровской коалиции) решали весь комплекс задач, возложенных на территориальные управления министерства в СССР.

Возглавлял этот весьма многочисленный аппарат официальный полномочный представитель МГБ СССР в Германии. После Серова этот пост занимали: генерал-лейтенант Н. К. Ковальчук (1946–1949), полковник С. П. Давыдов (1950–1951), генерал-майор М. К. Каверзнев (1951–1953), полковник И. А. Фадейкин (1953), генерал-лейтенант Е. П. Питовранов (1953–1957). С 1957-го по 1961 год на этой должности находился генерал-майор Александр Михайлович Коротков, создавший первую послевоенную резидентуру советской внешнеполитической разведки в Германии.

Поскольку до марта 1953 года представительство МГБ в Германии фактически имело статус Главного управления (в это время оно насчитывало более 2000 сотрудников), Ковальчук являлся также заместителем министра госбезопасности. Заместителем самого Ковальчука с декабря 1946 года был назначен генерал-лейтенант Фитин, до этого возглавлявший внешнюю разведку НКВД — НКГБ СССР.

Штаты оперативных секторов НКГБ укомплектовывались как военными контрразведчиками из фронтовых управлений СМЕРШ, так и командируемыми в Германию сотрудниками территориальных управлений НКГБ (с 15 марта 1946 года — Министерства госбезопасности СССР). (При образовании МГБ в его структуру по праву были возвращены органы военной контрразведки — особые отделы армий, корпусов, дивизий, полков и военных округов, флотов.)

При частях и соединениях советских оккупационных войск в Германии (с конца 1949 года — Группы советских войск в Германии, или ГСВГ) также действовали особые отделы МГБ, имевшие свои специальные задачи, отличные от тех, что ставились перед военной контрразведкой на территории страны. Оперативным секторам МГБ СССР в процессе работы приходилось взаимодействовать как с органами военной контрразведки (так называемыми особыми отделами), так и с подразделениями представительства КИ (разведкой); причем они не только осуществляли обмен информацией, но и проводили совместные оперативные мероприятия.

Для решения задач по сбору информации о спецслужбах нацистского рейха, их сотрудниках и архивах, а также с целью добывания иной разведывательной информации в оперативных секторах НКГБ — МГБ были образованы 1-е (разведывательные) отделы. Помимо этого в составе оперсекторов имелись 2-е (контрразведывательные) отделы, причем последние осуществляли также оперативные мероприятия в отношении выявленных сотрудников спецслужб иных государств в западных зонах оккупации и в западных секторах Берлина. Третьи отделы оперсекторов были призваны осуществлять контрразведывательную работу среди немецкого населения, в том числе в органах народной полиции (Volkspolizei), администрации, политических партиях, профсоюзах, религиозных и культурных организациях.

Помимо трех упомянутых оперативные сектора МГБ имели в своей структуре также розыскные, транспортные и следственные отделы.

Какие же силы противостояли Советскому Союзу на этом театре незримых военных действий?

Главным европейским резидентом американской внешнеполитической разведки Управления стратегических служб (УСС) США являлся Аллен Даллес, который в апреле 1945 года вместе со значительной частью своего разведывательного аппарата перебазировался из швейцарского Цюриха в Германию. Небольшой немецкий городок Гейдельберг, находившийся в американской оккупационной зоне, надолго стал штаб-квартирой американской разведки в этой стране. Именно Даллес, будущий директор ЦРУ, признанный авторитет в мире спецслужб, создавал американскую невоенную разведку в Германии.

Интересно, что вплоть до образования в конце 1941 года УСС американская внешнеполитическая разведка, входившая в структуру Государственного департамента США, была достаточно слабой и малочисленной, долгое время пребывая в статусе младшего партнера знаменитой британской Сикрет интеллидженс сервис (СИС). Паритет американской разведки в отношениях с СИС начал складываться только после образования в Соединенных Штатах в октябре 1947 года ЦРУ и был достигнут к началу 1950-х годов. Именно тогда советское руководство провозгласило США главным противником СССР, способным, вследствие своих глобальных планов по установлению «нового мирового порядка» (проводником которого и выступало ЦРУ), в любой момент превратиться из врага потенциального в реального.

Четвертого июля 1945 года команда сотрудников УСС во главе с Алленом Даллесом прибыла из Гейдельберга в Берлин и обосновалась в прекрасно приспособленном для функционирования спецслужб особняке на улице Ференверг в пригороде Далем: здание имело целых три подземных этажа, и до апреля 1945 года в нем размещался штаб фельдмаршала Кейтеля.

Однако в связи с последовавшей вскоре ликвидацией УСС его берлинская опергруппа уже 1 октября 1945 года была переподчинена Департаменту стратегической служба (ДСС), то есть военной разведке Министерства обороны США, и стала официально именоваться Берлинской оперативной базой (БОБ). После образования ЦРУ в октябре 1947 года БОБ была передана новому разведывательному ведомству. Но и помимо нее на территории как Западного Берлина, так и западных оккупационных зон Германии действовали многочисленные подразделения американской военной разведки и контрразведки.