По инициативе Ельцина была создана оперативная группа захвата во главе с Генеральным прокурором РСФСР Степанковым и министром внутренних дел РСФСР Баранниковым, которая с санкции Степанкова и арестовала вечером 21 августа 1991 года министра обороны СССР Д. Т. Язова и председателя КГБ СССР

В. А. Крючкова. С этого же времени Прокуратура РСФСР начала самостоятельное расследование по делу ГКЧП.

Трубин также создал следственную группу Прокуратуры СССР. Как только Горбачев вернулся в Москву, Трубин лично встретился с ним и получил информацию о возникновении и развитии заговора непосредственно от него.

Создалось парадоксальное положение, когда по одному и тому же факту были возбуждены два уголовных дела и расследование производилось одновременно и Прокуратурой Союза, и Прокуратурой РСФСР. Так долго продолжаться не могло. Следствие по делу должно было находиться в одних руках. И вскоре такое решение было принято. Трубин объединил в одно производство материалы следствия Прокуратуры СССР и Прокуратуры РСФСР и поручил расследование по делу в полном объеме Прокуратуре РСФСР, оставив за собой решение вопросов, входивших по закону в исключительную компетенцию Генерального прокурора СССР. Все это было оформлено соответствующим постановлением.

Вот что пишет об этом В. Г. Степанков в книге «Кремлевский заговор»:

«Мы в своем праве на главную роль не сомневались, но знали, что Трубин так просто нам ее не уступит. Его надо было убеждать и аргументы при этом использовать веские. А потому мы решили хорошенько подготовиться к разговору с ним, все обдумать заранее. В результате у нас сложилась достаточно стройная, на наш взгляд, система доказательств.

Было воскресенье, но Генеральный прокурор СССР, как мы и предполагали, оказался на месте. Ему тоже в эти горячие денечки забот хватало. Однако он был не против встречи с нами, поскольку понимал, что откладывать ее не имеет смысла. Мы сразу же приступили к сути и изложили ему свои аргументы…

Трубин наши доводы выслушал очень внимательно, и реакция его на них была реакцией человека разумного и трезвого. Он сказал, что сам прекрасно понимает уязвимость своих позиций в этой ситуации и что в целом он с нами согласен: у Прокуратуры России действительно больше моральных прав на ведение этого дела. Однако в процессе его расследования могут возникнуть такие вопросы, которые без содействия Генерального прокурора Союза решить будет невозможно, поэтому нужно так сформулировать „отречение”, чтобы в нужный момент оба прокурора могли действовать совместно. На том и порешили. К вечеру поторапливаемый нами Трубин подготовил постановление, подписал его, и с понедельника 26 августа противостояние двух прокуратур закончилось.

…Нужно отдать должное Трубину: никакой обиды на нас он не затаил, и дальнейшие наши отношения были отношениями коллег, заинтересованных в успехе общего дела. Подтверждением этого стала история с арестом Лукьянова. У нас были серьезные основания считать, что в заговоре он сыграл далеко не последнюю роль, однако занимаемый им высокий пост и тот факт, что официально он не входил в состав ГКЧП, продлили срок пребывания Анатолия Ивановича на свободе.

Вечером 27 августа мы встретились с Трубиным и договорились, что оставлять в подвешенном состоянии вопрос с Лукьяновым дальше нельзя, надо просить согласие на привлечение его к ответственности, и эта акция должна носить совместный характер, чтобы подчеркнуть единство мнений обеих прокуратур. Таким образом, 28 августа подписанное двумя генеральными прокурорами ходатайство было направлено в Верховный Совет».

После падения ГКЧП было еще неясным, каким будет обновленное государство: Союз республик или Союз суверенных государств, кто в них войдет, каковы будут союзные структуры? Ясно было только одно – прежнего Союза уже нет.

Положение самого Трубина оказалось сложным и неустойчивым. Средства массовой информации обвиняли тогда Прокуратуру Союза во всех мыслимых и немыслимых грехах. Например, в «Независимой газете» появилось сообщение о том, что якобы Прокуратурой СССР оформлялись документы на интернирование руководства РСФСР и других лиц. Руководству прокуратуры пришлось официально заявить, что «документ, подготовленный со ссылкой на Прокуратуру СССР, является грубой ложью и фальсификацией».

А вот что рассказывает о тех днях сам Трубин:

«Тем временем политическая обстановка вокруг Прокуратуры СССР и лично Генерального прокурора СССР продолжала нагнетаться… Любое мое публичное выступление с объяснением позиции Прокуратуры СССР по отношению к ГКЧП воспринималось неоднозначно, сопровождалось репликами недоверия. Содержание моих высказываний на Кубе проверялось по поручению Горбачева по дипломатическим каналам, истребовалась стенограмма.

Все это вынудило меня представить в установленном порядке к освобождению от занимаемых должностей Васильева А. Д. (за шифровку), Абрамова И. П. (за необеспечение надзора за соблюдением законности в КГБ СССР) и Катусева А. Ф. (за необеспечение надзора за состоянием законности в Вооруженных Силах СССР), а также сделать заявление о своей отставке, со ссылкой на то, что в условиях недоверия работать не могу. Однако, приняв решение об освобождении Васильева А. Д., Абрамова И. П. и Катусева А. Ф., Верховный Совет СССР оставил без реагирования заявление о моей отставке. К этому времени Горбачев ознакомился со стенограммой моих высказываний на Кубе, ничего крамольного в них не нашел (я видел и читал эту стенограмму, показывал Голик Ю. В.). Ну а дальше все покатилось к закату».

Понимая, что поражение ГКЧП может вызвать волну репрессий, так называемую «охоту на ведьм», Трубин счел нужным направить специальное обращение ко всем работникам органов прокуратуры страны. В нем он писал:

«Сегодня, когда на смену эмоциям и страстям приходит осознание всей глубины событий трех дней, потрясших страну, перед органами прокуратуры встает огромная ответственность – полно, объективно, без поверхностных суждений и суетливости дать правовую оценку действий тех, кто участвовал в подготовке и проведении государственного переворота, своими деяниями способствовал этому. Важно, чтобы каждый прокурор, каждый следователь, занятый проверкой или расследованием таких фактов и обстоятельств, постоянно помнил, что он служит Закону и только Закону. Здесь нет и не может быть места амбициям, нездоровым эмоциям и политическим пристрастиям. Должны решительно пресекаться произвол и самоуправство, нарушение прав человека.

Речь идет о судьбах людей, об их чести и достоинстве, правах и свободах. Ни малейшей тени не должно быть брошено на людей честных и ничем себя не запятнавших.

Виновность или невиновность человека не зависит от его убеждений, принадлежности к той или иной партии, движению, вероисповеданию. Лишь конкретные деяния могут быть поставлены ему в вину.

Нельзя допустить, чтобы вернулись времена повального доносительства, всеобщей подозрительности, анонимных обвинений, навешивания ярлыков.

Не призываю к снисходительности – да воздастся каждому по заслугам его, но я хочу, чтобы ни один человек не оказался без вины виноватым».