Кроме всего прочего, Вирта отличало своевольное использование финансовых средств. Часть из них он весьма нерационально якобы тратил на исследования, другие, не скрываясь, пускал на личные цели. Для щепетильного на этот счет Гиммлера этого было вполне достаточно, чтобы невзлюбить исследователя. Не имея никаких финансовых полномочий, Вирт тем не менее в 1935–1936 годах фактически растранжирил весь бюджет «Аненербе» и окончательно запутал бухгалтерию. Для Генриха Гиммлера марбургский историк стал невыносимой обузой. Однажды рейхсфюрер вышел из себя, когда узнал, что Вирт занимал деньги у частных жертвователей, прикрываясь его авторитетом. Кстати, деньги Вирт так и не вернул. Кредиторы обратились лично к Гиммлеру с просьбой погасить долг. Примечательно, что Гиммлер вернул долги Вирта, которые не только не вычел из его жалованья, но обеспечил ему шикарное финансирование. В 1937 году он получал ежемесячно 800 рейхсмарок от «Аненербе» и 700 рейхсмарок от Берлинского университета (1500 рейхсмарок — по тем временам сумма почти фантастическая).

Зиверса в фигуре Вирта не устраивало очень многое. Например, прошлые контакты, когда он был фактически подчинен исследователю, что Зиверс, как честолюбец, очень тяжело переживал. Вообще крайне напряженные отношения, которые сложились к 1937 году между Виртом и Зиверсом, можно объяснить только при помощи психологического анализа их неясных связей накануне создания «Аненербе». Несомненно, при создании «Наследия предков» Вирт рассчитывал на поддержку Зиверса. Только этим можно объяснить восстановление отношений, разорванных в 1933 году. Эго подтверждало его письмо, в котором Зиверс писал своей будущей жене, что он вынужден был согласиться на более тесные взаимоотношения с ученым, так как это могло сделать его полностью независимым. Но договоренность с Виртом осталась только словами. С первых же дней работы в «Аненербе» Зиверс начал выступать на стороне Гиммлера. Он прекрасно осознавал, какие возможности давал его пост в решении административных проблем, и собирался использовать его как можно эффективнее. Зиверс пришел в «Аненербе» восторженным романтиком с идеалистичными представлениями о будущей элите Германии. Но постепенно он стал меняться. К 1938 году он превратился в «холодного эсэсовского технократа», чему способствовали его частые встречи и непосредственное подчинение рейхсфюреру СС. Не являясь сторонником эсэсовской идеологии, Зиверс представал в виде расчетливого функционера, готового ради своего карьерного роста поддерживать любую, даже самую бесчеловечную, идею. Он презирал наивную романтику Генриха Гиммлера. Но вместе с тем он полностью отказался от мечтательных теорий Хильшера и мифологических конструкций Вирта. Отныне он руководствовался лишь своим ненасытным честолюбием, а элитарность понималась им исключительно как личные успехи.

Кроме этого, Зиверс был лично заинтересован в том, чтобы избавиться от Вирта, которому он до сих пор продолжал формально подчиняться. Он хотел предать забвению отдельные страницы из прошлого, о коих Вирт был более чем осведомлен. Ранее он был открытым, не определившимся с жизненными ориентирами юношей, который хотел, чтобы Вирт, авторитет для многих молодых людей, сделал его своим учеником. По мере того как Зиверс врастал в структуру СС, он все чаще ловил себя на мысли, что его юношеские увлечения были минутной слабостью. Он цинично решил, что необходимо во что бы то ни стало избавиться от свидетеля его «юношеских заблуждений», пока Вирту самому не пришла в голову мысль использовать эти знания в собственных целях. Зиверсу удалось нанести первый удар, когда в 1936 году он предложил свои услуги для подготовки молодых эсэсовцев. Он мотивировал этот шаг тем, что как никто знал взгляды Вирта, а потому мог легко заменить его.

Это оскорбление Вирт так и не смог никогда простить своему бывшему ассистенту.

Зиверс, сначала как генеральный секретарь, а затем как имперский руководитель общества (организационный руководитель) был в курсе всех дел «Аненербе», к тому же Гиммлер доверял ему. Это был хороший стартовый капитал для карьеры внутри СС. Он полагал, что был просто предназначен для того, чтобы заменить Вирта. Устав 1937 года дал ему возможность осуществить свою мечту. Заручившись поддержкой президента (Вюста), Зиверс начал интригу. Он стал распускать слухи, что назначение его на пост почетного председателя было бы логичным шагом в развитии «Аненербе». Вюст, присутствовавший на этих разговорах, подчеркивал, что это было бы не просто логично, но и целесообразно. Даже Райшле, который когда-то благожелательно относился к Вирту, вторил, что прошли все сроки для того, чтобы образумить нынешнего почетного председателя Вирта. К январю 1938 года Вирт сдал последние позиции в «Наследии предков». В это время Вюст совместно с Зиверсом планировали будущую работу «Аненербе», предоставляя свои наброски лично рейхсфюреру СС. Раньше подобные задачи были сферой деятельности Вирта, к которой Зиверса даже не подпускали.

Пик кризиса в «Аненербе» пришелся на май 1938 года. Тогда Вюст и Зиверс написали Вирту нелицеприятное письмо, в котором заявили, что его чудачества противоречили научным и культурным целям рейхсфюрера СС. Авторы письма с «неподдельным» ужасом обнаруживали, что Вирт не понимал ни структуры, ни важнейших задач, ни объема работ, предстоящих «Аненербе». Вюст и Зиверс приходили к уничижительному выводу, что он подменял цели и задачи «Наследия предков» своими собственными научными и исследовательскими интересами. Далее Вирту было даже заявлено, что и свое свободное духовное творчество он должен был согласовывать с руководством СС. В последних строках письма Вюст и Зиверс подчеркивали, что в сложившихся условиях они как представители «Аненербе» наотрез отказались ходатайствовать перед Имперским министерством воспитания и образования о присуждении Вирту научной степени. Не имея возможности продолжать свою работу в рамках «Наследия предков», Вирт теперь потерял всякие надежды и на научную карьеру. Он был подавлен.

Это письмо как никакой другой документ того времени показывало, что Вирт мог продолжить свою исследовательскую деятельность только в одном случае. Он должен был оставить все посты и покинуть «Аненербе». Это шаг он сделал в декабре 1938 года.

Бурные «разборки» между Виртом и новым руководством «Аненербе», как ни парадоксально, фактически никак не отразились на деятельности «Наследия предков». После того как в 1938 году рухнули надежды Вирта создать собственную кафедру в Берлинском университете и получить титул профессора, он отправился в своей дом в Марбурге, где вел жизнь отшельника. Надо подчеркнуть, что он не таил зла на рейхсфюрера и по мере возможности поддерживал с ним контакт. Этому способствовало и то, что, покинув «Аненербе», Вирт все-таки остался хауптштурмфюрером СС, подчиненным лично Гиммлеру. Проведя несколько лет в изоляции, Вирт все же защитил в 1941 году диссертацию и получил звание «профессора — исследователя истории древней символики и религиозности». Этот факт можно было бы не упоминать, если бы после войны не всплыли документы, говорящие о том, что Гиммлер лично противодействовал этому. Получалось, что отношение Гиммлера к нему не изменилось даже после того, как сын Вирта вступил в СС, а у себя на родине, в Голландии, ученый как пособник нацистов был объявлен вне закона. В 1944 году Герман Вирт получил в Геттингене кафедру этнографии, но покинул ее из-за конфликта с местной профессурой.