В октябре 656 года Али выступил из Медины во главе своего войска. Это событие имело двойное значение. Во-первых, оно отметило утрату Мединой положения столицы исламской империи, ибо уже никогда правящий халиф не жил там. Во-вторых, впервые халиф возглавлял мусульманскую армию, чтобы вести гражданскую войну против собратьев-мусульман.

Али со своим войском отправился в Куфу, где после переговоров с «нейтральным» правителем Абу Мусой вошел в город под приветственные крики горожан. Оттуда он выступил на Басру и разгромил силы триумвирата в так называемой Битве верблюда, так как главное столкновение происходило буквально вокруг верблюда, на котором сидела Аиша, «мать правоверных». Битва закончилась победой Али. Тальха и Зубайр были убиты, а Аишу отослали обратно в Мекку.

После короткой оккупации Басры, где Али не удалось привлечь жителей на свою сторону, он вернулся в Куфу, которая и стала его столицей. Он сделался владыкой всей мусульманской империи, но, несмотря на, казалось бы, силу его положения, оно было ослаблено племенными раздорами и неподчинением его сторонников, а также конфликтующими советами благочестивых, которые составляли большую долю его приверженцев и постоянно ставили под сомнение авторитет Али, подвергая его угрозе. В Сирии сильную позицию сохранял Муавия. Он стоял во главе централизованной власти – единственной в исламе того времени, правя в единой и организованной провинции, располагая хорошо подготовленной армией, дисциплинированной и получившей опыт в пограничных войнах с византийцами. Его позиция была сильна и в моральном плане. Он имел бесспорные права на титул, так как его назначил Умар, а назначение подтвердил Усман, последний признанный всеми халиф. Требуя возмездия за смерть своего дяди Усмана, он действовал в соответствии с арабским обычаем, который поддерживал сам Коран. В предыдущих столкновениях между Али и его противниками Муавия благоразумно сохранял нейтралитет. Даже теперь он не предъявлял претензий на халифат, но просто заявил, что требует справедливости, чем тонко, но неизбежно поставил под сомнение право Али на халифат, обвинив его в нравственном проступке – оправдании цареубийства. Его поддержали находчивый и циничный Амр и объединенные силы сирийской армии.

Его первым открытым выступлением против Али был категорический отказ уступить место тому, кого Али прислал ему на смену. Вынужденный действовать, Али в конце концов вышел вместе с войском и встретился с сирийскими силами у разрушенного римского города Сиффин на берегах Евфрата в мае 657 года. Битве предшествовали, как часто бывало, переговоры, которые ни к чему не привели, в ходе которых Муавия потребовал выдать и покарать убийц Усмана и, возможно, отречения Али и созыва новой шуры для выборов халифа ислама. В конце концов воюющие стороны сошлись, и 26 июля силы Али возобладали над противником. Войско Муавии перед лицом поражения прибегло к уловке: воины подняли Коран на острия копий и стали выкрикивать «Пусть решает Аллах». Этот призыв к третейскому суду мог относиться лишь к вопросу цареубийства, так как они едва ли могли надеяться найти в Коране совет по проблеме халифата. Али разгадал хитроумный замысел, но влияние религиозной партии в собственном лагере вынудило его согласиться на перемирие. Было заключено соглашение, по которому обе стороны назначали арбитра, и оба вождя-соперника обязались подчиниться их вердикту. Муавия назначил своим представителем Амра – опытного и преданного ему переговорщика. Сторонники Али, истолковав функции арбитра в ином свете, заставили его воспользоваться услугами нейтрального Абу Мусы. Этой хитростью Муавия одержал моральную победу, в итоге низведя Али с положения халифа до положения претендента. Из-за суда у Али сразу же возникли и другие трудности. Группа его сторонников, недовольная этим шагом, взбунтовалась против него, и Али пришлось расправиться с ними в кровопролитном бою. Их назвали хариджитами (хаваридж), от арабского «выступившие» или «покинувшие», и они еще много раз оставят след в истории ислама.

В январе 659 года арбитры встретились в Азрухе. Арабские описания того, что последовало далее, безнадежно тенденциозны, но ясно одно: результат арбитража был неблагоприятен для Али и, вероятно, подразумевал его отречение. Он отверг вердикт, и положение вновь стало таким, каким было до Сиффина, за исключением того, что Али был еще более ослаблен отходом хариджитов и упадком боевого духа среди своих сторонников. В последующие месяцы он понес новые потери. Муавия сумел захватить Египет, таким образом лишив Али богатого источника финансов и снабжения, и продолжал безнаказанно совершать набеги и вылазки в Ирак, избегая серьезных сражений.

События последнего года жизни Али неясны. Возможно, он заключил перемирие с Муавией или подготавливал новую кампанию, но в январе 661 года его убил хариджит по имени ибн Мульджам. Его сын Хасан отказался от борьбы и передал свои права Муавии, которого провозгласили халифом в Сирии и вскоре приняли по всей империи.

После восшествия Муавии сложилась очень сложная ситуация. Управление империей было децентрализовано и находилось в беспорядке, и возрождение кочевой анархии и недисциплинированности, уже не сдерживаемое религиозными или моральными узами, привело к общей нестабильности и отсутствию единства. Чувство общей религиозной миссии, скреплявшее ранний халифат, было серьезно ослаблено убийством Усмана, последовавшей за ним гражданской войной и переносом столицы из Медины. Мекканская олигархия была побеждена и опорочена. Проблема Муавии состояла в том, чтобы найти новую основу для единства империи. Он ответил тем, что начал преобразование теоретической исламской теократии в арабскую монархию, основанную на главных арабских племенах.

Более поздние арабские историки, которые писали при династиях, сменивших Омейядов и заинтересованных в дискредитации свергнутого дома, отказали Муавии и его преемникам в титуле халифа. После халифата Али они говорят лишь о царстве (мульк) Муавии и остальных Омейядов, за единственным исключением благочестивого Умара II (717–720), которому одному они даруют титул халифа. А в остальном халифат возобновился лишь после восшествия на престол Аббаса в 750 году н. э. Хотя в этом обвинении в деисламизации есть зачаток истины, его не следует преувеличивать. Муавия и его преемники действительно все более делали акцент на политических и экономических аспектах управления, но религиозный аспект, хотя и поставленный на второе место, по-прежнему был очень важен. И Муавия умело использовал его в постоянных походах на византийцев, что позволило ему выступать в роли защитника ислама и вождя священной войны и в силу этого требовать и получать религиозную преданность от большинства арабов.

Возникла необходимость в централизации, чтобы Арабская империя смогла сохраниться, и этот процесс подразумевал целый ряд шагов. Первым из них был перенос столицы в Сирию, которая оставалась метрополией на протяжении всей эпохи Омейядов. А фактическая столица часто переезжала из города в город. Омейяды, вожди народа завоевателей, чей режим опирался на мощь пустыни, строили свои замки на границе между пустыней и безопасными территориями. Многие здания, возведенные ими и заброшенные, по-прежнему дают нам бесценные сведения об их политике и культуре. Муавия обосновался в Дамаске, центральное положение которого и древние культурные и административные традиции позволили создать правительство, способное контролировать отдаленные провинции.