Ao se aproximarem de Medina, os rebeldes foram atrás de muçulmanos proeminentes da comunidade para tentar jurar-lhes lealdade para suceder o califado e Ali foi um dos homens consultados, mas sua conduta íntegra jamais lhe permitiria aceitar tal oferta. Os revoltosos cercaram a casa de Uthman e alguns de seus aliados lutaram para tentar protegê-lo, incluindo os filhos de Ali, Hassan e Hussain. No entanto, nada pôde evitar o assassinato brutal do califa.
Medina virou uma cidade fantasma e sem leis por alguns dias. Ninguém queria sair de casa e nenhuma pessoa quis assumir o poder sob aquelas circunstâncias. Havia um clamor grande para que Ali assumisse o poder, mas ele só se propôs a fazer isso mediante uma eleição. Antes de retornarem, os rebeldes continuaram em Medina e prestaram apoio a Ali, que acabou sendo escolhido como califa.
Os rebeldes desestabilizaram o poder político em Medina e continuavam representando uma ameaça; eles apoiaram a subida de Ali ao poder e poderiam tirá-lo, se quisessem. O novo califa precisou de prudência para lidar com a situação e decidiu consolidar novamente o poder do califado antes de punir qualquer culpado pela morte de Uthman. No entanto, o clã do governante assassinado não quis prestar o juramento de lealdade enquanto os rebeldes não fossem punidos.
O governador da Síria, Muawiyah, era do clã Umayyad, o mesmo do qual Uthman pertencia. Ele se aproveitou da fragilidade do califado para tentar obter mais poder e iniciou uma campanha difamatória contra Ali, apontando-o como cúmplice da morte do ex-califa. Por ser um homem influente, Muawiyah conseguiu um apoio expressivo, mobilizando toda a região em torno de sua causa.
Visando ganhos políticos, dois companheiros do Profeta Muhammad, Talha e Zubair, haviam jurado lealdade a Ali, mas o desertaram, causando profundo desgosto no califa. Outra pessoa que não demonstrou simpatia à eleição de Ali foi a viúva do Mensageiro de Allah, Aisha. Ela também se revoltou contra o califa por causa da morte de Uthman e mobilizou tropas em Meca para lutar contra ele.
Aisha, Talha e Zubair lideraram um exército até Basra, onde reuniriam apoio para combater Ali. Eles conquistaram a cidade após várias batalhas que resultaram na morte de muitos responsáveis pelo assassinato de Uthman. Esta vitória era uma ameaça à soberania do califado e Ali precisou agir para conter a revolta. Ele saiu de Medina com um pequeno exército mas, ao passar pela cidade de Kufa, conseguiu mobilizar muitas tropas, aumentando bastante suas forças.
Ali marchou em direção à Basra e tentou propor paz a Aisha, Talha e Zubair antes de adotar qualquer medida. Durante as negociações, convenceu os três opositores de que suas atitudes haviam prejudicado não só a comunidade islâmica, mas a própria investigação do crime contra Uthman e, por causa disso, eles se arrependeram de suas atitudes e se propuseram a fazer um acordo de paz no dia seguinte.
Porém, entre os homens de Kufa que estavam no exército de Ali, havia algumas pessoas que participaram da revolta contra Uthman e, ao saberem que um acordo de paz seria assinado, perceberam que o califa se juntaria a Aisha, Talha e Zubair para fazer os culpados pagarem por seu crime. Os assassinos, então, decidiram lançar um ataque surpresa contra o exército de Basra, iniciando uma guerra violenta que causou a primeira grande divisão da comunidade islâmica.
Nesta batalha, Talha e Zubair foram mortos. Ali saiu vitorioso, mas não houve nada a ser comemorado. Ele ficou profundamente triste com o resultado daquele conflito, decretando luto de três dias e proibindo a pilhagem da cidade, o que desagradou seus aliados. Aisha foi tratada com respeito pelo califa, que pediu que ela fosse escoltada de volta até Medina e, antes de partir, ela lhe pediu perdão. Ali e Aisha separaram-se como amigos.
Como recompensa pela ajuda que recebeu, Ali transferiu a capital do califado para Kufa. Esta medida não foi um simples agradecimento; também livraria a santa cidade de Medina da agitação política e evitaria outras desgraças em solo sagrado, como foi a morte de Uthman.
Ali tentou negociar com Muawiyah para evitar uma nova guerra, mas o governador o tratou de forma leviana, dizendo através de cartas que não se submeteria ao seu poder e que desejava separar a Síria do restante do califado, o que iria contra os princípios islâmicos. Ali não teve outra escolha senão marchar até a terra de seu oponente para combatê-lo.
Na Síria, a guerra foi estabelecida e o combate durou uma semana. Ao final da batalha, o exército de Ali estava em vantagem e a vitória parecia certa, mas o exército de Muawiyah colocou versos do Alcorão espetados nas pontas das lanças e pediu para que a guerra fosse decidida pela arbitragem ao invés de um duelo. Ali queria continuar lutando, mas seu exército não aguentava mais lutar e os assassinos de Uthman ameaçaram o califa, se insistisse em duelar.
Uma arbitragem foi montada com os representantes do califa e do governador da Síria, e deveria tomar uma decisão; quem vencesse governaria sobre as terras do derrotado. Durante as negociações, o partidário de Ali, Abu Musa, disse que de acordo com a lei islâmica, os dois deveriam se retirar da disputa e o povo escolheria o vencedor. O representante de Muawiyah, Amr bin al Aas concordou. No entanto, quando Abu Musa pediu a deposição de Ali, Amr observou que Muawiyah ainda estava na disputa e, portanto, deveria ser considerado o grande vitorioso.
Ali foi deposto por uma trapaça e convocou seu exército em Kufa a lutar novamente na Síria, mas alguns de seus homens afirmaram que ter aceitado a arbitragem foi um grande pecado que o califa cometeu, pois foram os homens que escolheram o vencedor da batalha, ao invés de Deus. Então, eles desertaram e marcharam para a cidade de Nahrawan. Ali desistiu de lutar contra Muawiyah e foi atrás de seus traidores. Venceu-os facilmente devido à sua grande vantagem numérica. Este grupo ficou conhecido como Kharijitas.
Depois da trapaça para tentar lhe tirar do poder, Ali perdeu ainda mais prestígio. As pessoas não queriam mais lutar devido às inúmeras mortes que a guerra estava causando e por não obterem ganhos por estar ao lado do califa. Ele nunca conseguiu reunir apoio para marchar até a Síria novamente e precisou combater os avanços das tropas de Muawiyah até o fim de sua vida. Ali também perdeu o território do Egito e nunca mais o conquistou novamente.
O califa também teve que lidar com o descontentamento de seu povo, que aumentava cada vez mais. Os sobreviventes dos Kharijitas, agora ainda mais revoltados, decidiram acabar com Ali, Muawiyah e Amr ibn Aas. Mas, ironicamente, os dois últimos conseguiram escapar ilesos das tentativas de assassinato sofridas.
Ali nunca teve medo de morrer. Sempre que cedeu à pressão dos seus traidores, o fez para proteger a comunidade islâmica, e não sua própria vida. Embora sua figura tenha se tornado motivo de divisão entre os muçulmanos, ele talvez tenha sido, ironicamente, o muçulmano que mais se esforçou pela união dos crentes após a morte do Profeta Muhammad.
Na manhã de sexta-feira, no dia 7 de Ramadan, Ali orava sozinho na mesquita em Kufa quando foi golpeado com uma espada envenenada em sua cabeça, ferindo-o mortalmente. Seu assassino Abdur Rahman bin Muljam al Sarimi foi descoberto e morto três dias depois pelo filho de Ali, Hassan. Deus levou de volta para si um de Seus maiores santos em um dos dias mais sagrados que Ele estabeleceu.
Ali era primo do Profeta Muhammad e foi cuidado por ele desde a infância. Foi um dos primeiros a acreditar na missão profética do Mensageiro de Allah e, desde cedo, considerava-o como um mestre. Por causa disso, Ali tornou-se um dos muçulmanos mais sábios de toda história e uma figura muito importante para a divulgação da religião, ajudando a transcrever o Alcorão e lutando em todas as batalhas contra os idólatras.