Таким образом, перед Хубилаем, в отличие от типичного китайского императора, стояла более сложная задача поставить под контроль не только китайцев, но и монголов. Кроме того, он претендовал на более высокое положение и хотел быть повелителем вселенной, а не только императором Китая. Однако этим надеждам не суждено было сбыться. Главные монгольские улусы — Средняя Азия, Персия и Россия — начали утверждать свою независимость еще в начале его царствования. Хотя титул великого хана еще пользовался уважением, они уже уверенно стали на путь самоуправления. Так называемая Монгольская империя «разваливалась на ряд обособленных политических образований — Золотую Орду (Россия), улус ильханов (Персия), Чагатайский улус (Средняя Азия) и великое ханство Северного Китая и Монголии. Хубилай не мог рассчитывать на единодушие монгольской элиты, символом которой служил курилтай, обсуждавший важнейшие направления военных походов и провозглашавшие новых великих ханов. Тем не менее, он не довольствовался положением Китайского императора и принял все атрибуты правителей Монгольской империи, хотя под его властью в общем оставались только Китай и Монголия. Впрочем, в конце концов ему хватило благоразумия смириться с обстоятельствами и создать систему управления, рассчитанную на монгольские владения в Восточной Азии.

Таким образом, введенные им институты были хорошо знакомы его китайским подданным, так как напоминали китайские, хотя и не являлись их копиями. Спустя месяц после своего восшествия на престол в мае 1260 он учредил Секретариат, поставив во главе его Ван Вэньтуна и назначив его главным помощником Чжан Вэньцяня. В ведении Секретариата находилось большинство гражданских дел. В 1263 г. он создал Тайный Совет (кит. Шуми юань) для решения военных вопросов. Через пять лет было учреждено Управление Цензуры (Юйшитай), последнее из главных ведомств, надзиравшее за чиновниками во всех китайских владениях Хубилая. У всех трех учреждений имелись отделения (син) в различных провинциях для проведения в жизнь решений, принятых в столице. Наряду с этими институтами, полномочия которых распространялись на всю страну, существовало бесчисленное количество особых служб при хане и его дворе, например, Служба Снабжения Императорского Двора и Палата Императорских Регалий.

Хубилай упростил и упорядочил гражданскую администрацию. Он упразднил Канцелярию и Государственный Департамент, существовавшие со времен династии Тан, но сохранил Секретариат, доверив ему все гражданские дела. При единственном оставшемся ведомстве гражданское управление, скорее всего, осуществлялось более четко. Все доклады на высочайшее имя проходили через Секретариат, который также разрабатывал проекты законов и решал «судебные дела, касающиеся преступлений, караемых смертной казнью, для разбирательства которых к нему была приставлена коллегия судей (дуаньши гуань), чтобы помогать в этой работе». Глава Секретариата (Чжуншу лин), с одобрения Хубилая, принимал важнейшие внутриполитические решения, которые затем проводились одним из ведомств. Левый министр (Цзо чэнсян) и правый министр (Ю чэнсян) выступали в качестве императорских советников и возглавляли работу шести функциональных министерств, проводивших политику правительства, а также замещали Главу Секретариата, когда он болел, путешествовал или был недоступен по каким-то другим причинам.

Глава Секретариата также напрямую контролировал работу шести функциональных министерств, которые составляли характерную черту китайской правительственной структуры со времен династии Тан. Министерство кадров надзирало за гражданскими чиновниками. Министерство доходов проводило переписи, собирало налоги и дани и регулировало денежное обращение. Министерство обрядов ведало придворными церемониями, праздниками, музыкой, жертвоприношениями и развлечениями, а также обеспечивало прием иностранных послов. Военное министерство управляло военными округами и поселениями, а также почтовыми станциями, снабжало военных припасами и обучало армию (хотя большая часть военных дел была передана Тайному Совету). Министерство юстиции следило за соблюдением законов и ведало тюрьмами. Наконец, министерство общественных работ чинило укрепления, заведовало дамбами и государственными землями и разрабатывало правила для ремесленников.

При структуре местной администрации, введенной Хубилаем и его советниками, Китай был разделен на провинции, каждая из которых управлялась особым отделением Секретариата. После завоевания Южной Сун в 1279 г. Китай состоял из десяти таких провинций, а столичная провинция, личные владения хана, которая включала в себя современный Хэбэй, Шаньдун, Шаньси и часть Внутренней Монголии, являлась важнейшей частью империи. Главным чиновником в каждой провинции был начальник (министр, кит. Чэнсян), которому помогали чиновники, занимавшие должности, по названиям сходные с чинами центрального Секретариата. Провинции далее делились на примерно 60 управлений по умиротворению (Сюаньвэй сы), которые состояли примерно из 180 округов (лу). На пост Главного Управляющего (Цзунгуань) часто назначались китайцы. Параллельно с Главным Управляющим действовали местные уполномоченные (монг. даругачи), часто посылавшиеся в эти округа. Должность даругачи обычно занимали монголы или выходцы из Средней Азии, а их функции пересекались с функциями Главных Управляющих. В сущности, они должны были следить друг за другом.

Одной из главных особенностей, отличавших монгольское управление от административной системы китайских династий, было стремление к всестороннему контролю. Борьба с Ариг-Букой, мятеж Ли Таня и сомнительные обстоятельства собственного восшествия на престол научили Хубилая остерегаться всецело доверять своим чиновникам, будь то монголы или китайцы. Хубилай требовал от должностных лиц, многие из которых не были монголами, чтобы они были верными, честными и неподкупными. Кроме того, даже в монгольских землях он стремился ограничить самостоятельность удельных князей. Таким образом, он наделил Управление Цензуры большей властью, чем все предшествующие китайские династии. Подобно Секретариату, Управление Цензуры имело отделения, надзиравшие за чиновниками на местах. Цензоры периодически объезжали страну, чтобы выискивать финансовые и политические нарушения, допущенные придворными, военными или местными чинами. Как пишет один ученый, «монгольская система цензуры проникала гораздо глубже, чем любая предшествующая, а степень ее централизации не имеет себе равных в китайской истории. Монгольский инспекционный аппарат можно считать одним из институционных чудес китайской истории». Подавив мятеж Ли Таня, Хубилай возымел желание создать такую структуру, чтобы обезвреживать и уничтожать любое сопротивление еще до того, как недовольство перерастет в вооруженное восстание. В этой связи надзор и контроль приобретали жизненно важное значение.

Другими весьма показательными отклонениями от китайской традиции являлись его установки и внутренняя политика. Главная цель Хубилая состояла в контролировании чиновников и ограничении их злоупотреблений властью. Его указы и эдикты были направлены на то, чтобы не дать чиновникам, пользуясь своим положением, угнетать местное население и подрывать престиж центрального правительства. Чиновников, плохо или медленно выполнявших свои обязанности, ждали палки или даже смертная казнь. Те из них, кто принимал от населения дары или взятки или же был уличен во лжи вышестоящим, подвергалась бичеванию. За тяжелые проступки чиновник снимался с занимаемой должности. За различные формы взяточничества и нарушений долга были установлены четко определенные наказания. Суровые наказания несли чиновники, использовавшие общественную собственность или военных в своих целях. Столь же строго взыскивалось с должностных лиц, вводивших тяжелые налоги или трудовые повинности или любым другим путем угнетавших своих подчиненных.