После своего назначения министром Гиммлер появлялся в здании министерства внутренних дел всего лишь три или четыре раза. Он предпочитал отдавать указания из своего штаба, где за деятельность МВД отвечал референт Гиммлера Рудольф Брандт. По большому счету министерство внутренних дел, которое уже давно утратило контроль над карательным аппаратом, жило своей самостоятельной жизнью, непосредственно подчиняясь распоряжениям статс-секретаря Штукарта. Гиммлер не посещал министерство отнюдь не только потому, что был занят множеством других заданий, но в значительной мере потому, что питал недоверие к государственной бюрократии. Он никогда не скрывал своего презрительного отношения к юристам и чиновникам. Став министром, Гиммлер даже предпринял несколько попыток преодолеть традиционный бюрократический формализм и схематичность действий. Чтобы избавиться от безликости административных распоряжений, рейхсфюрер СС приказал чиновникам собственноручно подписывать подготовленные бумаги и документы. Также Гиммлер высказал идею, что ландраты не должны были сохраняться в одном и том же составе более десяти лет. Кроме этого Гиммлер, пытаясь бороться с коррупцией в органах управления, подписал указ, согласно которому близкие родственники не могли работать в одном и том же органе власти. Однако в небольших городках едва ли можно было выполнить это требование.

Вообще Гиммлер в очередной раз пытался закрепить за собой репутацию «заботливого» начальника. Например, он призывал своих служащих в министерстве, чтобы они «достойно» (едва ли не самое популярное слово в лексиконе Гиммлера) обходились с гражданами. Новый министр гневно советовал обер-бургомистрам: «Обращайтесь с этими господами чиновниками по-свински, то есть точно так, как они обращаются с простым народом». Гиммлер дал задание по «перевоспитанию чиновничества»: «Мы заново воспитаем их. Тот же, кто не поддастся воспитанию, в одночасье вылетит из своего кресла».

Гиммлер пытался сделать ставку на «укрепление самоуправления», хотя под «самоуправлением» он понимал нечто свое. В любом случае он планировал провести перераспределение обязанностей между бургомистрами и ландратами. У этой инициативы была предыстория. Первые попытки провести реорганизацию системы управления были предприняты в начале 1943 года. Эта необходимость была вызвана войной, а потому чиновничья структура в целом должна была быть упрощена. Большая часть административных заданий должна была быть передана на нижний уровень. В партийной канцелярии НСДАП придерживались несколько иного мнения. Там подразумевали, что необходимо было усиливать инстанции среднего уровня, что якобы позволило бы укрепить авторитет партии. На практике это должно было выглядеть следующим образом: гауляйтеры становились независимыми от министерской бюрократии, а обер-бургомистры — от ландратов. Если Фрик пытался противостоять этой инициативе Мартина Бормана, то Гиммлер открыто ее поддержал. Когда он говорил об «укреплении самоуправления», то в первую очередь подразумевал ослабление государственной бюрократии. В этом отношении Гиммлер мог рассчитывать на поддержку Бормана. Далеко не случайно за несколько дней до назначения Гиммлера министром они оба обсуждали будущую политику министерства внутренних дел. Впрочем, этот союз оказался недолгим.

Надо отметить, что, после того как Гиммлер стал министром внутренних дел, он автоматически попал в «ближний круг» Гитлера, куда входили: Геббельс, Борман и Шпеер. Гиммлер сразу же поддержал курс Геббельса на «тотальную войну», что должно было привести к радикальному изменению всего немецкого общества. Геббельс в ответ дал несколько лестных отзывов в адрес Гиммлера. Однако министра пропаганды пугало растущее влияние главы СС. Эти опасения Геббельс доверил своему дневнику: «Так или иначе, но в руках Гиммлера оказалось слишком многое. Он не может сам справиться со многими делами». Геббельс, всегда чуткий к настроениям и оттенкам «борьбы компетенций», сразу же заметил, когда союз Бормана и Гиммлера дал трещину. «Борман стал относиться к Гиммлеру более скептически, так как тот присвоил себе слишком много дел. Едва ли будет хорошо, если он станет единственной влиятельной фигурой среди национал-социалистических руководителей». Среди людей, приближенных к Гитлеру, вообще никогда не было постоянных союзов. «Борьба компетенций», которую всячески поддерживал Гитлер, желая выступать в роли третейского судьи и беспристрастного арбитра, предполагала наличие баланса между соперничеством и общими интересами.

Когда 20 июля 1944 года произошло неудачное покушение на Гитлера, Генрих Гиммлер оказался в сложной ситуации. С одной стороны, он получил дополнительные полномочия, которые позволяли ему карать заговорщиков, с другой стороны, он должен бы объяснить, как гестапо «проморгало» заговор армейских офицеров. Нельзя сказать, что агенты гестапо совсем ничего не знали о тайных встречах консервативно настроенных офицеров. В этой среде было проведено даже несколько арестов. Однако никто среди руководства СС даже предположить не мог, что готовится самый настоящий заговор, который предполагал физическое устранение Гитлера и захват власти в стране. Кроме этого Гиммлеру было затруднительно объяснить, как руководство СС смогло допустить, что Гитлер во время покушения не погиб только благодаря чистой случайности. Чтобы избежать всех этих «неудобных» вопросов, Гиммлеру надо было в срочном порядке развить бурную деятельность, что он, собственно, и сделал. Уже 21 июля 1944 года при 4-м управлении РСХА была создана специальная комиссия, состоявшая из одиннадцати оперативных групп, в которых в общей сложности числилось около 400 человек. Этой комиссии буквально в считанные дни удалось провести около 700 арестов и выяснить все детали плана заговорщиков. Однако даже в этом случае в гестапо не знали, насколько глобальным был антигитлеровский заговор.

30 июля 1944 года Гиммлер в очередной раз встречался с Гитлером. На этой встрече должны были обсуждаться предполагаемые действия в отношении «преступников». В тот день Гиммлер записал у себя в блокноте: «1) судебный процесс; 2) семья Штауффенберга; 3) родственники Зейдлица». Эти записи означали, что предполагалось начать преследование не только самих заговорщиков, но и членов их семей. В случае с генералом Вальтером фон Зейдлицем ситуация была несколько иной. Он физически не мог принимать участие в заговоре, так как находился в советском плену. Его вина состояла в том, что он согласился возглавить «Союз немецких офицеров», который активно использовался в СССР для военной пропаганды. Всего же в июле и августе было арестовано 140 человек, которые были родственниками армейских заговорщиков. 25 октября 1944 года Кальтенбруннер сообщил Мартину Борману, что Гиммлер отказывался вводить в общую практику «особые принципы семейной ответственности». Он предполагал, что каждый случай надо было разбирать отдельно. Так или иначе, но до весны 1945 года в концентрационном лагере Дахау пребывали около 200 человек, которые попали под действие «выборочной семейной ответственности». Кроме этого Гиммлер использовал заговор против Гитлера в качестве повода для очередной волны террора, который должен был быть направлен против коммунистов и социал-демократов. 14 августа 1944 года Гиммлер записал в своем служебном календаре: «Пора исполнять Тельмана». Четыре дня спустя бывший председатель Коммунистической партии Германии Эрнст Тельман был казнен.