Филипп и Изабелла присутствовали на аутодафе 4 июля 1624 г.; помимо них в числе зрителей был почти весь двор. Среди жертв инквизиции было много евреев, которые обвинялись в том, что они собирались в одном из домов и совершали иудаистские ритуалы и оскорбляли распятие. Филипп поклялся во что бы то ни стало хранить чистоту католической веры, и клятву эту повторили члены Высшего совета. Королевский духовник прочел проповедь, после чего огласили приговоры. Семеро обвиняемых были приговорены к сожжению на костре. Конечно, посещая подобные церемонии, король и королева искренне верили, что они искупают таким образом собственные грехи.

В такой обстановке процветала инквизиция, и народ следовал в этом смысле по тому же пути, что и королевский двор.

Оливарес был полон решимости сам править страной, стоя за спиной короля. Граф не позволял никому входить в королевские покои прежде, чем это сделает он сам. Оливарес был не таким человеком, чтобы просто довольствоваться властью ради власти. Он хотел сделать свою страну могущественной, и, если не мог полностью достичь своей цели, причиной тому было отсутствие внутреннего единства в Испании. Арагонцы и каталонцы были подвержены сепаратистским настроениям, а подчиненная Испании Португалия также на деле не проявляла особой преданности испанской короне. Власть Оливареса в тот период была велика. И даже инквизиция не могла с ним не считаться, что видно на примере одной довольно комичной истории.

В то время были в моде большие круглые жесткие воротники. Некоторые из них выглядели смешными, и модельеры подумывали о возвращении к более простым, плоским валлонским воротникам. Однако эти воротники, популярные у голландцев, у многих испанцев ассоциировались с образом жизни еретиков. В это время городской портной из Калле изобрел новый жесткий воротник, прозванный «голилья», сделанный из картона, обшитого тканью. Это новое изделие отличалось изяществом и пришлось очень по нраву королю. Однако конкуренты закройщика, опасавшиеся разорения, стали распространять слухи, что изобретатель, очевидно, пользуется какой-то дьявольской машиной для производства своих изделий и ему покровительствует нечистая сила. Потом кто-то донес в инквизицию, будто закройщик связался с дьяволом и стал колдуном, и вскоре он был арестован. Будучи королевским поставщиком, он послал Оливаресу отчаянное письмо с просьбой о помощи. Оливарес, которого новый воротник вполне устраивал, потому что мог служить около года и его не надо было стирать, был раздражен действиями инквизиции. Он вызвал инквизиторов, высмеял их за глупость и потребовал освободить портного, что и было сделано. Это — бесспорное свидетельство могущества графа Оливареса в тогдашней Испании.

В 1634 г., когда финансы страны были расстроены, Оливарес начал переговоры с иудеями Леванта и Африки, с тем чтобы какому-то количеству из них разрешили вернуться в страну для обеспечения ее финансового процветания. По его плану им должно было быть предоставлено право жить в специальном квартале в Мадриде.

После этого, однако, инквизиция потребовала отставки Оливареса, поскольку воплощение «сумасбродных фантазий» этого человека могло бы привести к умалению истинной веры. Хотя Филипп и подчинялся воле Оливареса, но он не мог не считаться с инквизицией, тем более что его мучила совесть за свои грехи и он хотел загладить их. План Оливареса не осуществился.

В другом случае Оливарес потребовал несколько дел лиц, арестованных инквизицией. Великий инквизитор не соглашался на это, но Оливарес употребил всю свою власть и добился своего — Великому инквизитору пришлось уступить. Получив дела, королевский фаворит сжег их и освободил арестованных.

По одной из версий, у Оливареса даже был план вовсе упразднить инквизицию, но религиозный король на это бы никогда не пошел.

Инквизиция же не могла не помнить, что этот человек причинил ей столько хлопот.

В 1627 г. король Филипп тяжело заболел (придворные считали даже, что он смертельно болен). Его маленькая дочка скончалась, а королева была снова беременна. Однако Оливарес не верил в то, что королева может родить здорового ребенка. Враги Оливареса, самым влиятельным из которых был Карл, старший брат короля, воспользовавшись болезнью Филиппа, стали интриговать, чтобы избавиться от всесильного фаворита. Но король выздоровел, и Оливарес восторжествовал над своими противниками. Филипп, как обычно в таких случаях, был полон чувства раскаяния в своих грехах. У него было много незаконных детей, и некоторые из них достигли высокого положения и почестей. Самым любимым был дон Хуан Австрийский, здоровый и красивый мальчик. К тому же король очень любил его мать, актрису Марию Кальдерой, которая, будучи религиозной, хотела, чтобы Филипп поскорее оставил ее и она ушла бы в монастырь. После того как родился дон Хуан, Мария упросила короля разрешить ей стать монахиней, на что он неохотно согласился из любви к ней и ее сыну.

Но через полгода после этого родился законный сын Филиппа, наследник престола Бальтазар-Карлос.

Оливарес завоевал также и ненависть королевы — за то, что он потакал любовным интригам короля, и за то, что не допускал ее до политических дел. С рождением же Бальтазара-Карлоса, который оказался вполне жизнеспособным мальчиком, позиции королевы очень усилились, а она была далеко не единственным врагом временщика.

Всесильный министр считался виновным в ссоре между инквизицией и королевскими судьями, в росте преступности в столице, в начавшейся войне с Францией. Однажды некий дворянин Луханес в придворной церкви встал на колени перед королем, умоляя его избавить страну от Оливареса. Беднягу Луханеса объявили сумасшедшим, он был заключен в тюрьму. А потом умер при загадочных обстоятельствах. Сразу появились слухи, что с ним разделался королевский фаворит. Число врагов Оливареса еще возросло, когда он представил при дворе двадцативосьмилетнего Фелипе де Гусмана, которого объявил своим сыном, и даже потребовал для него руки дочери герцога Фриаса, коннетабля Кастилии (на что последний вынужден был согласиться). Ропот против Оливареса усилился. Он не мог найти денег на войну, Португалия вышла из-под испанского контроля, деньги обесценились, а в Мадриде были арестованы многие королевские подданные, которые не могли или не хотели платить налоги. Теперь у Оливареса было слишком много врагов — королева, придворные, народ, инквизиция.

Испания терпела поражения на море и на суше, и король сам решился стать во главе армии.

Оливарес противился этому. Но король на этот раз не послушался своего министра. Регентшей стала королева, которая вовсе не жаловала Оливареса, а последний присоединился к королю в военном походе. Королева сумела найти средства на ведение войны и этим снискала себе поддержку народа. А к числу противников Оливареса прибавились некоторые его родственники, поскольку, усыновив Фелипе, он лишил их надежды на наследство.

В 1642 г. армия короля потерпела тяжелое поражение, и придворные сказали королю, что он потеряет корону, если не сменит советника.

Когда король вернулся в Мадрид, королева принесла к нему сына и стала умолять мужа избавиться от Оливареса, хотя бы ради счастья их ребенка.