Орден был у цели, которую он наметил себе в 1226 году, вступив в переговоры с князем. Теперь можно было начинать борьбу за Пруссию. Это взял на себя Герман Балк, первый ландмейстер ордена в Пруссии. Поскольку орденское посольство 1228 года прибыло из Галле, то и сопровождали Германа Балка главным образом выходцы из Саксонии и Тюрингии. Осенью 1230 года, впервые за много лет, папа призвал к крестовому походу на Пруссию. И с тех пор вооруженные и жаждущие битвы паломники ежегодно отправлялись в поход. С их помощью братья год от года углублялись во вражеские земли, вынуждая покоренных пруссов принимать христианство и расширяя территорию своего государства на север и на юг.

Ибо сначала путь им указывала Висла. Крепость Торн возникла в 1231 году, Кульм — в 1232, а потом последовало стремительное наступление на исконные прусские земли, завершившееся основанием Мариенвердера. В конце 1233 года орден впервые заявил о себе как суверен, закрепив права граждан Торна и Кульма в Кульмском городском праве. Подобно тому, как в 1226 году Герман фон Зальца, не удовлетворившись одним лишь императорским подтверждением предложения князя Мазовецкого, добился документального закрепления основ будущего орденского государства, так и Кульмское городское право не сводилось лишь к перечислению прав двух городов. Императорский документ 1226 года касался внешнеполитических прав ордена, а Кульмское городское право столь же подробно определяло внутренний строй государства и жизнь немецкого населения, от которого в будущем зависела и сама природа этого государства: на Торн и Кульм распространялось теперь Магдебургское и Фламандское право, а также Фрейбергское и Силезское горное право, устанавливался на будущее порядок чеканки монет, определялись единицы меры и веса.

Хотя в преамбуле Кульмского городского права и упоминается имя Германа фон Зальца, на самом деле он никогда не ступал на прусскую землю. В 1237 году братья Немецкого ордена, продвигаясь к востоку от Вислы и достигнув побережья, основали там Эльбинг и намеревались и далее идти на восток вдоль залива Фришес-Хафф, а Герман тем временем мог лишь на расстоянии заботиться о будущем государстве. Но он по-прежнему принимал все серьезные решения, что свидетельствует о его немаловажной роли в строительстве государства. Летом 1234 года император и папа одновременно оказались в Риети, в центральной Италии, и тогда Григорий IX взял орденское государство под власть и опеку курии. С политической точки зрения эта мера призвана была защитить государство ордена от прочих церковных властей, в особенности от епископа, а также от князя Конрада; этим образование государства и завершилось. По понятиям того времени, связь с курией ни в коей мере не противоречила императорскому документу 1226 года и, в частности, тому, что орденское государство входило в состав империи. В силу своей церковно-светской сущности государство духовного ордена подчинялось двум государям — императору и папе. Поскольку в момент составления документа они оба были в Риети, орден (а вместе с ним и его великий магистр) оказался втянутым в соперничество между церковью и государством, между императором и папой, и для утверждения своей власти нуждался в них обоих, хотя намерение папы создать в Пруссии епископство не могло способствовать независимости орденского государства. Важно то, что, в отличие от случая с орденским государством в Семиградье, присоединение прусского государства к собственности курии не было началом государственного самоопределения. В Бурценланде самостоятельность орденского государства ограничивалась венгерским королем и венгерским духовенством. В Пруссии же государственная самостоятельность помогала ордену противостоять возможным внешним угрозам, однако она никогда не довлела над его политикой, затрудняя тем самым внутреннее развитие его государства, поскольку у него были обязательства перед империей и местные политические задачи.

Процедура образования государства была завершена, и теперь Герман фон Зальца попытался поставить на службу ордену германскую знать. В орден вступил ландграф Конрад Тюрингский, маркграф Генрих Мейсенский и герцог Оттон Брауншвейгский сражались за него. Герману удалось дополнительно расширить территорию орденского государства, и, помимо Пруссии, у ордена появилась еще одна балтийская колония. Основанный в 1202 году Орден меченосцев уже давно пытался воссоединиться с Немецким орденом. У братьев Немецкого ордена были свои внутренние и внешние причины медлить с принятием решения. В 1236 году меченосцы были наголову разбиты литовцами в сражении при Зауле, недалеко от курляндского селения Аа, — теперь на карту было поставлено существование молодого ордена и само христианство. Через несколько лет Орден меченосцев вошел в состав Немецкого ордена, ставшего его правопреемником в Ливонии. Архиепископ Рижский и епископы, а также сам город Рига, сдерживали развитие земель Ливонского ордена, однако сам характер владения по форме напоминал государство, с собственной, независимой от Пруссии, администрацией, во главе которой стоял магистр. Это серьезно осложняло задачу, которая стояла перед Немецким орденом в восточной части Балтийского моря. Но для Германа фон Зальца на первый план уже выступила большая политика, отнимавшая у него все больше сил, как ни пытался он сопротивляться течению времени. Он вмешался в конфликт между императором и его сыном, германским королем Генрихом (VII), и одержал еще одну победу. Потом ему снова пришлось мирить императора и папу: эта задача потребовала немалых усилий. Фридрих собрался войной на Ломбардию, чтобы покончить с непокорным союзом городов, а это задевало интересы курии, боявшейся утратить последнего союзника в своем противостоянии императору. Между императором и папой начался открытый политический поединок, а церковные вопросы почти полностью отошли на второй план. Герман по-прежнему был верен своей миротворческой политике, хотя в ней не было уже прежней твердости и ясности.

Сам орден противостоял Герману фон Зальца на генеральном капитуле в Марбурге в 1237 году. По правилам ордена, великий магистр должен был согласовывать свои действия с конвентом ордена. А этого согласия он не получил. Теперь он вообще не имел права вмешиваться в ломбардский вопрос. Ведь братья ордена принадлежали к немецкой аристократии и тоже жаждали путем имперской войны заставить города Северной Италии повиноваться. Император, по выражению Германа, уже готов был «дать волю воинственности своих германцев», а князьям и дворянам просто надоело вести переговоры. И судя по тому, что императорское войско одержало победу над Ломбардией в ноябре 1237, они были правы. Именно теперь стала очевидна вся трагичность исторической роли магистра. Он сказал о себе однажды, что дорожит честью империи и церкви, и вот теперь Григорий IX настаивал, чтобы он вел переговоры о том, что напрямую затрагивало честь империи и церкви. Император еще четче определил позицию великого магистра по отношению к высшим властям того времени, сказав, что «он всегда горячо любил общее благо церкви и империи». Такова была его сущность: он был предан и папе, и императору. Вот в чем была суть его политики. Хотя ни папе, ни императору уже не нужна была его преданность. Еще больнее было для старого Германа слышать критику со стороны братьев. Ведь речь шла не о временной политической ситуации, а о деле всей его жизни. Ему пора было оставить тот мир, за единство которого он боролся, и ограничиться лишь участком великого строительства, над которым трудилась его политическая воля, — орденом.