Тем временем Эрнст Рём пытался определить, как должны были выстраиваться отношения СА и рейхсвера. Поначалу штурмовикам планировалось поручить допризывную подготовку молодежи, затем эта идея трансформировалась в мысль о создании из штурмовиков отрядов вооруженной милиции, а затем и «народной армии СА». В «народной армии» рейхсверу отводилась всего лишь роль учебно-подготовительной базы, на что никак не могли пойти кадровые военные. Чтобы положить конец этим метаниям, 28 февраля 1934 года Гитлер публично заявил, что «военные» планы Эрнста Рёма не имели под собой никакого основания.

Весной 1934 года в консервативных кругах планировали использовать недовольство СА, чтобы вновь создать коалиционное правительство. Некоторые из консерваторов даже планировали реставрацию монархии, что, по их мнению, могло произойти после смерти 86-летнего рейхспрезидента Гинденбурга. Глашатаем этих кругов был вице-канцлер фон Папен. В итоге стала складываться коалиция, которая должна была противостоять СА. Она состояла из партийных функционеров, представителей рейхсвера и руководства СС, связанного с политической полицией. В начале 1934 года Дильс, еще бывший главой прусского тайного государственного полицейского управления, стал собирать компромат на руководство СА. В начале февраля 1934 года к этой деятельности подключился рейхсвер. После того как руководство прусским гестапо перешло к Гиммлеру и Гейдриху, они не только не оставили этой затеи, но значительно активизировали деятельность в этом направлении. Данные действия не остались незамеченными. В мае 1934 года Эрнст Рём отдал приказ о сборе сведений о «враждебной по отношении к СА деятельности». В июне 1934 года национал-социалисты планировали начать кампанию против «ворчунов», под которыми подразумевали консерваторов. Казалось бы, что конфликт с СА отошел на второй план. Однако именно консерваторы во многом спровоцировали «ночь длинных ножей».

17 июня 1934 года фон Папен произнес в Магдебургском университете речь, в которой критиковал национал-социалистический произвол. Естественно, министерство пропаганды, возглавляемое Геббельсом, всячески препятствовало распространению текста этой речи. В ответ на это фон Папен пригрозил подать в отставку, а также принять меры, чтобы одряхлевший Гинденбург направил в отставку Гитлера. Правительственный кризис было решено использовать, чтобы успокоить консерваторов. В данной ситуации было решено пожертвовать СА. Тем более что подготовка к устранению руководства штурмовиков началась еще до того, как фон Папен произнес свою речь. Тогда комендант Дахау Теодор Эйке провел в окрестностях Мюнхена «штабные учения». В конце июня в том же самом Мюнхене собрались командиры оберабшниттов СС и СД, которым Гиммлер и Гейдрих заявили, что в ближайшее время «предстоял мятеж СА», а потому надо было быть готовыми к «соответствующим контрмерам».

30 июня 1934 года Эрнст Рём и большинство руководителей СА были арестованы в Бад Висзее. Аналогичные аресты происходили в Берлине и в Силезии. После этого началась расправа с предводителями штурмовиков. Всего же во время «ночи длинных ножей» было казнено около 200 человек. Во время этой волны террора были уничтожены также старые противники Гитлера — бывший рейхсканцлер фон Шлейхер, Густав Риттер Карр, Грегор Штрассер. Во время указанных событий Генрих Гиммлер, как рейхсфюрер СС, формально должен был подчиняться Эрнсту Рёму. Однако он предпочел выбрать сторону «победителей». Он продолжал лавировать, не занимая постоянной позиции в конфликте между партийной организацией НСДАП, рейхсвером и консервативными политиками. Он не позволял себе открыто вмешиваться в это противостояние. В самой «ночи длинных ножей» Генрих Гиммлер фактически не принимал участия. Более показательным является тот факт, что его подчиненные расправились с Эрнстом Рёмом и Грегором Штрассером, людьми, которым Гиммлер был обязан своей политической карьерой. В НСДАП знали о том, что рейхсфюрер СС сохранял с ними связь даже в 1934 году. Но в итоге это молчаливое согласие стало самым убедительным доказательством личной преданности Гитлеру. Не стоило сбрасывать со счетов и расчетливое планирование. После устранения Эрнста Рёма Генрих Гиммлер становился самостоятельной фигурой, а СС могли выйти из подчинения СА. Что, собственно, и произошло в июле 1934 года. Тогда СД провозглашалось единственной разведывательной службой НСДАП, а СС самостоятельной структурой, полностью независимой от С А.

И это было отнюдь не единственное последствие «ночи длинных ножей». На базе «Лейбштандарта» и «политических батальонов» летом 1934 года стали возникать «части оперативного реагирования СС». Кроме этого Теодор Эйке был назначен инспектором всех концентрационных лагерей Германии и командующим всеми караульно-охранными подразделениями, из которых возникла вторая составная часть СС — соединения «Мертвая голова». Сам же Гиммлер, находясь в Берлине, смог начать формирование единой для всей Германии структуры гестапо. Однако он еще не был хозяином положения. Фрик продолжал настаивать на том, что самостоятельный репрессивный аппарат, созданный Гиммлером, был всего лишь «временным явлением», а потому со временем он должен был подчиниться государству. Этому пытался открыто противостоять Герман Геринг. Гиммлер же был более осторожным и пытался не вмешиваться в назревавший конфликт. Это был очень удачный тактический ход. Он предоставил Герингу возможность отстоять его позиции. В итоге гестапо осталось самостоятельной структурой, над которой сохранялся некий контроль со стороны Имперского министерства внутренних дел. Гиммлер провел реорганизацию лишь в 1936 году, когда был назначен главой немецкой полиции.

Противоречия между СС и СА сказались даже на событиях, которые могли иметь статус международных. Речь прежде всего идет о провалившемся путче австрийских национал-социалистов. С весны 1933 года отношения между Германией, где находились у власти национал-социалисты, и Австрией, где был установлен клерикально-авторитарный режим, существенно ухудшились. В июне 1934 года австрийские национал-социалисты решили свергнуть австрийского канцлера Дольфуса. Вооруженные группы планировали ворваться в здание правительства, арестовать министров и провозгласить новым правителем Австрии Антона Ринтелена, близкого к национал-социалистам политика. Поскольку правительство Дольфуса распустило парламент и навязало стране новую конституцию, национал-социалисты тешили себя надеждой, что не будет возникать вопросов относительно легитимности «новой власти». Итогом переворота должно было стать воссоединение Германии и Австрии. Австрийцы не решались действовать на свой страх и риск, а потому решили согласовать свой план с Берлином. В осуществлении путча центральная роль отводилась венскому подразделению СС, 89-му штандарту. Это подразделение, состоявшее из бывших военных и полицейских, которых уволили с работы из-за членства в Национал-социалистической партии, с весны 1934 года подчинялось непосредственно Генриху Гиммлеру, что вызывало немалое недовольство у австрийских штурмовиков.

25 июля 1934 года эсэсовцы из 89-го штандарта захватили канцелярию главы правительства. Узнав о готовящемся путче, большая часть членов правительства смогла вовремя покинуть здание. В распоряжении эсэсовцев, которыми командовал бывший офицер Отто Планетта, оказался лишь канцлер Дольфус. Во время скоротечного боя он был тяжело ранен и скончался тремя часами позже, так как ему не была оказана медицинская помощь. После этого здание оказалось окружено войсками и частями полиции. К вечеру путчисты капитулировали. Часть из них была приговорена к смерти. Тем временем в австрийских провинциях (Каринтия и Штирия) события в Вене восприняли как знак к началу восстания. Между национал-социалистами и силами правопорядка стали вспыхивать стычки, которые превратились в форменные боевые действия. В течение месяца властям удалось подавить все очаги национал-социалистического сопротивления. Между тем в Берлине задавались вопросом: почему провалился венский путч? Оказалось, что после того, как эсэсовцы захватили правительственное здание, на улицы Вены должны были выйти австрийские штурмовики. Однако этого не произошло. После событий «ночи длинных ножей» даже в Австрии отношения между СС и СА были крайне напряженными. Настолько напряженными, что штурмовики отказались участвовать в перевороте, фактически поставив крест на всех берлинских планах.