Кровь знаменитых предков не текла в его жилах, но, тем не менее, он был их наследником, а наследием, которое он в свою очередь старался сохранить, он управлял как хороший отец семейства. Больше всего его подданные ждали от него сохранения мира. Накануне коронации он провозгласил всеобщее перемирие и постановил, что все незаконно взимаемые дорожные пошлины будут отменены. Назначение верховного судьи показало, что Рудольф серьезно относился к судебным органам, созданным Фридрихом II в 1235 г. Затем он сам взялся за дело и совершил поездку на запад и юго-запад империи, без колебаний разрушая замки, служившие логовом бандитов. В конце правления, перед стенами Эрфурта было казнено по его приказу двадцать девять «рыцарей-разбойников». Он направился туда в 1289 г., чтобы покончить со ссорами между ландграфом Тюрингским и его сыновьям, и покинул страну, только полностью наведя в ней порядок. Граф, который смог постоянно увеличивать свои владения, проявил те же стремления, став королем. Во время междуцарствия владения империи были разорены одними и захвачены другими. В 1273 г. в ходе общего совета князья, собранные под руководством правителя, решили, что все эти вторжения должны постоянно пресекаться. Рудольф применил политику так называемых протестов: королевские чиновники, поставленные во главе округов (Landvogteien), объединявших все, чем обладала империя в данном регионе, были ответственны за то, чтобы заставить любого, кто не имел законных прав, вернуть награбленное. В Эльзасе, Швабии, так же как во Франконии, деятельность этих чиновников, отобранных среди самых преданных слуг короля, была эффективной. Ее эффективность уменьшалась в регионах, куда Рудольф отправлялся с меньшей охотой; эта задача там была поручена князьям, которых, кажется, больше заботили их династические интересы, чем защита империи. Самым преданным и деятельным союзником Римского короля была буржуазия городов, которая под его покровительством, окончательно получила статус civitates imperii, граждане империи. Эти общины были ему благодарны за упорство в борьбе по восстановлению безопасности; они ему предоставляли войска и деньги. Действительно, когда он начал взимать с них слишком большой налог, их сопротивление было настолько яростным, что он был вынужден его уменьшить.

Родившись на юго-востоке империи, Рудольф Габсбург вынужден был покинуть этот регион, любимый и оказывавший ему поддержку. Власть, которую он считал своим долгом заставить уважать, высмеивал Оттокар Богемский: он не считал необходимым испрашивать у «бедного маленького графа» инвеституру своих ленных владений. Спустя один год и один день закон, наказывающий неверных вассалов, была введен в силу. Король Богемии насмехался над ним; в 1275 г. он был объявлен предателем и изгнан из пределов империи. Рудольф тщательно подготовил выполнение приговора. Его силы были столь велики, что Оттокар был вынужден принести публичное покаяние и в 1276 г. преклонить колено перед Рудольфом, который специально для этого случая, надел кожаный плащ разоренного мелкого помещика.

Между обоими противниками было заключено перемирие; однако не прошло и двух лет, как оно было нарушено. Военные действия возобновились, и 26 августа 1278 г. Оттокар был разгромлен и убит. Его сын Вацлав сохранил Богемию, но его австрийские владения в 1282 г. были переданы Рудольфом его собственным сыновьям, Альбрехту и Рудольфу. Событие стало историческим: отныне Габсбурги становились князьями, а эта семья, зародившаяся недалеко от Рейна, чувствовала себя на берегах Дуная как дома; она стала правящим домом Австрии.

Этот огромный успех не отвлек Рудольфа от его главной миссии — сохранения империи, под которой понимались также королевства Италии и Бургундии. В Италии папа Николай III, озабоченный сохранением могущества христианства, добился от Карла Анжуйского, чтобы тот отказался от своей роли «миротворца», и король римлян восстановил свои права на то, что он называл «мой сад». Правда, это стоило Рудольфу Романии. Папский престол требовал этого уже давно; это было наградой за его посредничество. В Бургундии дипломатия требовала поддержки военными действиями: граф Монтбельярд был призван к порядку первым, затем в 1283 г. был наведен порядок в Савойе. В следующем году Рудольф, шестидесятилетний старик, сочетался браком с сестрой герцога Бургундского, девочкой-подростком пятнадцати лет. Он полагал, что его зять поможет ему укрепить связи королевства Арль с империей; он ошибся: герцог не оказал ему никакой помощи. В 1289 г. Рудольф вновь вынужден был прибегнуть к силе: наместник Франш-Конте, Оттон, не считал себя обязанным присягать на верность никому, кроме императора, однако Рудольф был только римским королем. К тому же Оттон распространил свое влияние на имперский город Безансон. Рудольф дал ему понять его неправоту и вынудил его полностью подчиниться. На севере, на лотарингской границе, Филипп Красивый действовал, не поднимая шума. Он хотел заполучить два аббатства империи, Монтфокон и Боль; следственная комиссия доказала ему, что он не имел никаких прав на эти обители.

Шли годы, а Рудольф все еще не стал императором. Для этого, казалось бы, не было никаких препятствий. Он даже решил, что будет коронован 2 февраля, как Оттон I. Но переговоры с Папским престолом были бесконечны. Григорий X был готов встретить короля римлян и короновать его, однако в 1276 г. он умер. Его три преемника умерли один за другим, а затем к власти пришел Николай III, мечтавший перекроить политическую карту Европы: говорили, что он намеревался разделить империю и сделать из Германии наследственное королевство Габсбургов. После него Мартин IV занялся главным образом Анжуйцами, на которые в 1282 г. претендовала Сицилия. Переговоры между Рудольфом и Гонорием IV, не имевшие никакого успеха, возобновились. Рудольф чувствовал себя старым и уставшим от жизни.

Когда он почувствовал приближение смерти, он отправился в Шпейер и там умер на следующий день после своего прибытия, 15 июля 1291 г. Как он и хотел, он был погребен в Салийском склепе Сен-Дени, рядом с самым дорогим его сердцу Гогенштауфеном, Филиппом Швабским. Выбор могилы в последний раз показал, что было главной мечтой его правления — восстановление Священной империи и продолжение, таким образом, дела своих предков.

Рудольф не решил заранее проблему престолонаследия. Он бы смог заставить избрать королем римлян одного из своих сыновей, если бы сам был императором, но он таковым не являлся. По крайней мере, он мог рекомендовать выборщикам избрать одного из них после своей кончины. Он предпринял эту попытку, но по причине трагических обстоятельств это ничего не дало: в 1281 и 1290 гг. сначала Хартман, а затем Рудольф скоропостижно скончались. Оставался Альбрехт, старший сын; но Рудольф считал, что было необходимо различать управление империей и управление своими родовыми землями и что Альбрехт должен довольствоваться управлением семейными владениями.

Итак, выборщики были свободны в своем выборе. Но они неудачно распорядились своей свободой. Как и в 1273 г., выбор пал на графа Адольфа Нассауского, ничем непримечательного человека. Он был смелым и образованным, настоящим рыцарем, но те, кто его выбрал, хотели, чтобы он всецело подчинялся им. Архиепископ Кельнский потребовал от кандидата чрезмерных обязательств: чтобы Адольф всегда был его союзником; никогда не вводил в свой совет людей, против которых выступал архиепископ. Целый ряд сильных позиций достался выборщикам; и последним, но не менее важным пунктом стали 25 000 марок, выплаченных архиепископу для покрытия расходов, связанных со службой империи. Ошибка Адольфа состояла в том, что он согласился на это. Он был избран 5 мая 1292 г. и коронован 24 июня. Но роль марионетки ему не подходила. Он старался найти возможность сопротивляться тем, кто считал, что дергает его за веревочки. Случай, которого он ждал, представился ему в Тюрингии, где уже бывал его предшественник. Ландграф, чье поведение полностью осуждали сыновья, продал свое ландграфство королю римлян, который в 1296 г. смог торжественно объявить о включении этой важной территориальной единицы в состав империи. Выборщики поняли, что Адольф мог выскользнуть из-под их влияния. Самым недовольным оказался представитель Майнца, у которого были свои виды на Тюрингию, где он уже располагал землями. Что касается архиепископа Кельнского, король уже не обращал на него внимания, поскольку сделал герцога Брабантского, самого ненавистного противника выборщиков, представителем империи между Маасом и Рейном.