Именно в этот период в сознании Канариса происходят крутые перемены. Афера с Тухачевским, наряду с другими событиями, убедила его в том, что мелкими актами противодействия уродства существующей системы не исправить, ибо эти события – всего лишь один из симптомов насквозь преступного гитлеровского режима, который не излечить простым удалением наиболее скверных его компонентов. Чем дольше нацисты будут оставаться у руля, считал Канарис, тем вероятнее опасность деморализации здоровых элементов общества и моральное разложение всей немецкой нации. Исходя из поступавшей со всех сторон информации, Канарис имел четкое представление о мощи гиммлеровской организации тотальной слежки и террора и хорошо понимал, что обычными политическими средствами устранить нацистское правление невозможно. Значит, полагал он, спасение только в вооруженном восстании, которое в состоянии осуществить лишь вермахт, и прежде всего сухопутные войска; военно-воздушные силы, руководимые Герингом, слишком близки нацистскому режиму, а военно-морские силы численно слабы, удалены от важных политических центров и еще не забыли бунт на флоте 1918 г. Канарис принадлежал к немногим морским офицерам, которые понимали различие между давним прошлым и тем, что творилось в Германии с приходом к власти Гитлера. Подобные воспоминания не лишили его способности к непредвзятому анализу. И кроме того, Канарис достаточно хорошо знал людей, занимающих командные посты в ВМС, чтобы не рассчитывать всерьез на их участие в выступлении против Гитлера. Трудности, связанные с подготовкой выступления вооруженных сил, Канарис представлял себе лучше большинства немцев, вынашивавших в то время планы ликвидации власти нацистов. В вермахт уже проникла нацистская зараза, сухопутные войска тоже были не свободны от политической инфекции. Давно превратился в чистую фикцию официальный тезис, будто вермахт – единственная в Германии вооруженная сила и такой же столп государства, каким является НСДАП. Формирование Гиммлером втихомолку частей СС было в тот период не самой страшной угрозой политическому нейтралитету войск. С введением всеобщей воинской повинности характер вооруженных сил в корне изменился. Были подорваны основы созданной генералом фон Сеектом профессиональной армии. Сотни тысяч молодых немцев, прошедших идеологическую обработку в молодежной организации гитлерюгенд и школу военизированной трудовой повинности, учрежденной нацистами для реализации собственных целей, привнесли в солдатские казармы политический дух, вернее, образ политизированного солдата. И что еще хуже: среди многих тысяч вновь призванных на действительную службу офицеров запаса, помимо честных и порядочных людей, оказалось немало убежденных нацистов и приспособленцев, занявших командные должности низшего и среднего звена. Но больше всего Канариса беспокоил и огорчал тот очевидный факт, что и в верхних эшелонах руководства вермахта стали забываться освященные традициями понятия долга и чести. Бурные темпы увеличения численности вооруженных сил и связанное с этим быстрое повышение в воинских званиях помогли закрепиться наверху честолюбивым карьеристам, в то время как по-настоящему компетентные и совестливые офицеры были оттеснены на задний план. С помощью всевозможных доплат и вознаграждений послушным генералам Гитлер всячески содействовал данному процессу. И Канарис в конце концов с тяжелым сердцем, не думая о себе лично, принял решение в пользу вооруженного переворота. Несмотря на все опасения и огромные трудности, которые предстояло преодолеть, он не видел иного пути.

Одновременно с этим решением Канарис получил ответ и на вопрос, который в 1937 г. впервые встал перед ним во весь рост: может ли он, не вступая в конфликт с собственной совестью, и дальше служить нацистам, не честнее и не целесообразнее ли не помогать больше Гитлеру и уволиться из вооруженных сил? Аналогичный вопрос задавали себе в те годы многие офицеры и чиновники, занимавшие высокие должности в Третьем рейхе. Некоторые просто отмахнулись от него, другим решение досталось тяжело. Канарису эта проблема на протяжении целых семи лет не давала покоя, пока смерть не подвела роковую черту. Она мучила его с короткими перерывами день и ночь, лишала душевного равновесия, не давала ему покоя, гоняя беспрерывно в последующие годы по «служебным командировкам» с места на место, из одной страны в другую. Он без колебаний отверг то, что в 1937 г. было бы удобным выходом из сложившейся ситуации, а добровольно оставить службу во время войны было уже значительно труднее, хотя, разумеется, шеф абвера, при всей его изворотливости, безусловно, сумел бы найти подходящий предлог, если бы счел нужным так поступить. Канарис не покинул абвер по двум причинам. Во-первых, он понял, что свергнуть преступный режим в состоянии только авторитетные лица, возглавляющие влиятельные ведомства в государственном аппарате и в вооруженных силах. И во-вторых, Канарис считал себя не вправе покинуть ключевой пост руководителя Управления военной разведки и контрразведки, так как не было гарантий, что его преемник сможет успешно защищаться от попыток гестапо взять эту спецслужбу под свой контроль. Видимо, сыграло свою роль и сознание необходимости обеспечить надежное прикрытие Остеру и молодым сотрудникам, вместе с которыми он вел партизанскую войну против НСДАП и СС.

Как логическое следствие такого решения, Канарис стал лично помогать Остеру готовить условия для ликвидации нацистского господства, налаживать контакты с другими группами Сопротивления. Остер постоянно держал его в курсе предпринятых им шагов. Остер, между прочим, сообщил, что с некоторых пор поддерживает постоянную связь с Ялмаром Шахтом, а также ведет активный обмен мнениями с группой чиновников министерства иностранных дел, в том числе с братьями Тео и Эрихом Кордтами, которые с согласия и под защитой фон Вайцзеккера стараются подготовить за рубежом почву для формирования будущего свободного от нацистов германского правительства. Невзирая на частые разочарования, Остер продолжал неустанно действовать, убеждая высокопоставленных генералов в том, что армия должна проявить инициативу в деле устранения Гитлера. Таким образом, партизанская война против наиболее дурных проявлений нацизма постепенно перерастала в борьбу с существующим режимом в целом.

Государственный переворот Остер готовил весьма основательно. Разрабатывая свои планы, он и его ближайшие помощники взяли за основу рекомендации, содержавшиеся в книге «Государственный переворот», опубликованной в 30-х гг. и запрещенной в Германии вскоре после прихода Гитлера к власти. (Ее автор скрывался под псевдонимом Малапарте.) Кроме того, группа Остера детально проанализировала причины неудач капповского и так называемого «пивного путча» (ноябрь 1923 г.). Остер не предусматривал начинать, как ранее Гальдер, а затем участники заговора 20 июля 1944 г., с убийства Гитлера, и Канарис, с которым Остер часто советовался, был с ним согласен. Предполагалось Гитлера арестовать и объявить душевнобольным. И Канарис, и Остер прекрасно сознавали, что успех государственного переворота возможен только при благоприятных сопутствующих обстоятельствах. Чтобы подорвать веру в Гитлера значительной части немцев, вовсе не приверженцев идей нацизма, нужно было наглядно продемонстрировать всю лживость его заверений о стремлении сохранить мир. Немецкий народ, который в подавляющем большинстве своем не желал войны, должен был понять, что Гитлер уже поставил Германию на грань войны с остальным миром и что его свержение имеет целью предупредить вооруженные конфликты. Участники Сопротивления вполне сознавали, с каким огромным риском связано ожидание того момента, когда воочию проявятся захватнические намерения Гитлера, но не видели другого пути избежать широкомасштабной гражданской войны во введенном в заблуждение нацистской пропагандой немецком обществе.