Несмотря на все усилия халифа — а может быть, именно в результате его действий, — шиизм не пользовался большой популярностью у населения. Тем не менее Зал науки, учрежденный халифом в Каире для пропаганды шиитского учения, стал одним из крупнейших интеллектуальных центров исламского мира, а величественная мечеть Аль-Хакима, строительство которой было завершено уже после его смерти в 1031 году, стала второй по величине из всех, возведенных Фатимидами. Личный интерес Аль-Хакима к астрологии привел к созданию прекрасно оборудованной обсерватории на горе Мукаттам, доминирующей над городом. Халиф покровительствовал таким ученым, как Ибн Юнус — астроном, чьи расчеты использовались вплоть до XIX века, и Ибн аль-Хайтам (Альхазен) — великий математик и физик, впервые разработавший формулы механической оптики. Но когда Альхазен не сумел по требованию халифа урегулировать паводок Нила, ему пришлось притвориться сумасшедшим и прятаться вплоть до смерти Аль-Хакима.

К концу правления Аль-Хаким счел себя воплощением Бога и отказался от прежней карательной политики, но подобные кощунственные заявления вызвали волнения среди правоверных подданных. Однажды халиф впал в ярость и направил солдат на недовольный Фустат. В течение трех дней войска грабили город, насиловали женщин, убивали всех, кто пытался оказать сопротивление. Но вскоре халиф испытал глубокое сожаление и искренне сокрушался, увидев, что половина городских богатств расхищена, а треть домов лежит в руинах.

Безумный халиф таинственно исчез во время ночной прогулки по горе Мукаттам. Его осла позднее нашли мертвым, рядом на земле валялись изрезанные на клочки лохмотья — все, что осталось от одежды. Многие подозревали в убийстве его сестру, Ситт аль-Мульк. Однако тело Аль-Хакима так и не нашли, и секта друзов (сегодня обитающая преимущественно в Леванте), хранящая веру в божественность халифа, по-прежнему ждет, что однажды он вернется, чтобы возвестить наступление золотого века. Его мечеть сочли неподходящим местом для богослужения и использовали в светских целях — как тюрьму для крестоносцев, конюшню, товарный склад, музей исламского искусства в XIX веке — вплоть до 1980 года, когда мечеть восстановили шииты из султаната Бруней.

Преемники Аль-Хакима оказались неэффективными правителями, которые позволили славе династии закатиться. Они столкнулись с проблемами, которые оказались непреодолимыми. Во-первых, быстро менялся политический климат за пределами Египта, и империя Фатимидов вынуждена была «подстраиваться» под окружающий мир. К 1048 году влияние Фатимидов в Северной Африке существенно сократилось, поскольку многие местные правители отвергли шиизм и вернулись к суннизму. В Сирии интересы Фатимидов ущемляли турки-сельджуки, представлявшие грозную силу, особенно после захвата ими Багдада в 1055 году и победы над византийцами при Мансикерте (Армения) в 1071 году. В тот же год была потеряна Сицилия, захваченная норманнами; это был первый признак угрозы со стороны Западной Европы, которая будет беспокоить Египет на протяжении XII и начала XIII века.

Второй проблемой стал голод, вызванный серией низких паводков Нила; голод начался в правление Аль-Захира (1021–1036) и достиг апогея при Аль-Мустансире (1036–1094). В первые десятилетия долгого царствования этого халифа Египет наслаждался процветанием, но с 1065 по 1072 год невероятная засуха и низкий уровень воды привели к сокрушительному голоду, вынудившему жителей Каира съесть лошадей, мулов, собак и кошек. Когда все животные были съедены, горожане взялись за людей: одиноким путникам стало небезопасно ходить по улицам — их ловили длинными крюками и затаскивали в окна близлежащих домов. Покупать еду могли только самые богатые, за буханку хлеба отдавали целое состояние в 15 динаров, а за несколько мешков муки можно было приобрести дом. Даже халиф, недавно считавшийся богатейшим человеком на земле, вынужден был продавать драгоценности из казны. Конюшня в десять тысяч отборных скакунов исчезла, в распоряжении халифа остались лишь три тощих лошади.

Третей проблемой стали непрестанные распри в армии между различными этническими группами, в основном между берберами, турками и нубийцами. Конфликт при Аль-Мустансире завершился тем, что халиф смог успокоить бесчинствующих солдат только взятками их предводителям; это опять-таки не могло не сказаться на казне. Во время одной уличной стычки была разграблена библиотека, бесценные иллюминованные рукописи топтали ногами, а турецкие командиры разрывали книги, используя страницы как трут, а переплеты — для починки башмаков.

Халиф окончательно подавил бунт лишь в 1073 году, призвав из Акры армянина Бадра аль-Джамали, располагавшего собственными войсками. Бадр усмирил недовольных, а паводок в том году был высок и обеспечил отличный урожай, что позволило снизить налоги. Впрочем, услуги Бадра дорого обошлись Фатимидам. Он стал визирем и по сути дела взял в свои руки власть в Египте; фатимидские халифы превратились в номинальных правителей, уступив реальную власть визирям.

Последний, сокрушительный удар по слабеющему государству Фатимидов нанесли крестоносцы. Призыв папы Урбана II «выступить ко Гробу Господню, освободить его от нечестивого народа и овладеть им» захватил воображение западных христиан и послужил поводом к восьми крестовым походам, совершенным между 1095 и 1270 годами.

Первые набеги на Сирию и Палестину пришлись на время раскола исламского мира. Империя сельджуков, отобравшая часть владений Фатимидов на Леванте вдоль побережья, распалась на несколько соперничающих малых государств, слишком слабых, чтобы противостоять натиску христиан. Сами Фатимиды готовы были заключить союз с крестоносцами, ослепленные, очевидно, ненавистью к врагам-суннитам. Однако их отношение к ситуации быстро изменилось, когда крестоносцы захватили Иерусалим (который отобрали у сельджуков Фатимиды) 15 июля 1099 года и устроили в городе безжалостную резню, убивая всех подряд, бессмысленно и беспощадно. Прошло не так много времени, и государства крестоносцев появились в Леванте — королевство Иерусалимское, графства Триполи и Эдесса, княжество Антиохийское.

Отпор мусульман возглавил сельджукский правитель Мосула по имени Занги; он вернул Эдессу, положив конец Второму крестовому походу (1147–1148). Его сын Нур аль-Дин (Нуреддин) в 1154 году захватил Дамаск, а потом начал наступление на королевство Иерусалимское. Даже Фатимиды пожелали поддержать Нур аль-Дина, однако их военная помощь оказалась неэффективной из-за раздоров между халифом, визирем и соперничающими кликами в армии. В 1160-х годах война между Нур аль-Дином и Амальриком, королем Иерусалима, затронула Египет. Фатимиды цеплялись за власть, выступая то на одной, то на другой стороне; эта тактика убедила всех в полной недееспособности египетских правителей.

Нур аль-Дин воспользовался возможностью и вторгся в Египет в 1167 году. Как и следовало ожидать, визирь призвал на помощь Амальрика, и объединенные силы смогли блокировать нападение. В следующем году Нур аль-Дин ушел, и Амальрик заявил свои претензии на Египет, вынудив фатимидского халифа позвать Нур аль-Дина обратно и предложить тому треть добычи. Тем временем визирь приказал поджечь Фустат, чтобы остановить продвижение крестоносцев; город пылал 54 дня и уже никогда не вернул себе былой славы. Командующий Нур аль-Дина Ширкух изгнал Амальрика из Египта и получил место визиря при Фатимидах, этот пост он занимал два месяца, вплоть до смерти. Его сменил племянник Салах ад-Дин (на Западе больше известный как Саладин), чей отец Айюб, курд, по имени которого назвали династию, был доверенным лицом Нур аль-Дина.