Setelah wafatnya Rasulullah SAW, para sahabat dan semua umat Islam mengalami patah hati yang sangat hebat. Mereka terombang-ambing karena pemimpin mereka telah wafat, banyak pemberontakan dan kemurtadan yang terjadi. Akhirnya para sahabat pun sepakat untuk mencari khalifah yang dapat dijadikan pemimpin, menggantikan Rasullulah SAW serta menjadi imam bagi mereka.
Pada pemilihan khalifah ini terjadi beberapa perselisihan antara orang Anshar dan Muhajirin dikarenakan kaum Anshar yang teguh untuk mengangkat Sa’ad bin ‘Ubadah menjadi khalifah, sedangkan kaum Muhajirin menolaknya dengan alasan orang orang Muhajirin adalah orang-orang yang pertama kali masuk islam.
Nabi Muhammad pun adalah orang Muhajirin. Akhirnya setelah terjadi beberapa perdebatan, orang-orang Muhajirin pun sepakat memilih perwakilan dari golongan mereka, yaitu Abu Bakar dan Umar bin Khattab. Semua orang sepakat memilih Abu Bakar menjadi pemimpin mereka. Mereka sepakat memilih Abu Bakar karena baliaulah orang yang selalu menemani nabi. Beliau juga orang yang menggantikan Nabi sebagai imam sholat ketika nabi sakit. Akhirnya Abu Bakarlah yang menjadi khalifah pertama islam.
Seperti yang telah di jelaskan, wafatnya Rasulullah menimbulkan banyak perpecahan serta kemurtadan, namun hal ini dapat di atasi oleh khalifah Abu Bakar. Keinginan Abu Bakar serta kekuatan iman kaum Muhajirin dan Anshar adalah obat terbaik untuk memulihkan kekuatan Islam.
Khalifah Abu Bakar menyiapkan pasukan-pasukan perang untuk kembali menegakan bendera Islam dan kesatuan bangsa Arab serta memberantas kemurtadan yang sedang marak terjadi. Setelah bangsa Arab kembali utuh, Khalifah Abu Bakar kembali mengirim pasukan menuju tanah Iraq dan Syam untuk memperluas dakwah dan ajaran agama islam di kerajaan Romawi dan Persi.
Penaklukan ini terus terjadi sampai akhir masa hidup beliau. Beliau wafat pada hari Selasa tanggal 23 Jumadil Akhir tahun 13 hijriyah di usia ke-63 tahun karena demam. Walau masa kepemimpinan Khalifah Abu Bakar hanya dua tahun, banyak sekali kontribusi yang telah beliau berikan untuk umat islam.
Kemudian tibalah masa kepemimpinan Khalifah Umar bin Khattab. Dalam masa Khalifah Umar inilah semua penaklukan telah sempurna. Orang-orang islam menguasai daerah timur, terlebih lagi wilayah kerajaan Persi sampai daerah Sungai Jihun Amudarya, untuk wilayah utara sampai dengan Suriah dan Armenia, di wilayah barat yaitu Mesir.
Banyak juga kota-kota besar Islam yang di dirikan dimasa Khalifa Umar, seperti kota Fusthat, Kufah,dan Bashrah. Dimasa ini, adalah masa keemasan Islam, karena banyak orang yang berbondong-bondong masuk Islam. Hingga akhirnya, pada tahun 23 Hijriyah diakhir bulan Dzulhijjah, ketika beliau sedang mengimami shalat subuh, beliau di tusuk oleh Abu Lu’lu’ , seorang budak berbangsa Persi.
Setelah wafatnya Khalifah Umar, tibalah masa khalifah Islam ketiga, yakni Khalifah Utsman bin Affan. Sahabat nabi yang juga merupakan menantu nabi. Dalam masa Khalifah Utsman, Islam kembali memperluas dakwah dan agama. Banyak pula kemenangan kemenangan yang diraih oleh umat Islam, Islam semakin berkembang.
Sampai akhirnya terjadilah pertentangan dan pemberontakan besar besaran yang melawan Khalifah Utsman. Hal ini di karenakan beliau banyak mengangkat kerabat beliau sebagai amir (menteri) hingga terjadilah perpecahan dan pemberontakan dan akhirnya terjadilah pembunuhan Khalifah Utsman oleh tiga orang dari golongan yang berbeda (masih ada khilaf pendapat tentang hal ini). Pada zaman Khalifah Utsman hal yang paling menonjol adalah pembukuan Al Quran menjadi satu mushaf, perenovasian masjid Nabawi, serta pembentukan angkatan laut pertama Islam yang merupakan ide dari Muawiyyah bin Abi Sufyan.
Kemudian tibalah masa kekhalifahan terakhir yang di pimpin oleh Khalifah Ali bin Abi Thalib. Khalifah Ali di baiat menjadi khalifah ketika umat Islam sedang dalam kondisi kacau karena terbunuhnya Khalifah Utsman. Karena peristiwa ini pula terjadi perpecahan umat Islam menjadi beberapa golongan yaitu
Golongan orang yang dendam pada Khalifah Utsman. Merekalah yang akhirnya membaiat Sayyidina Ali menjadi khalifah. Golongan orang yang dendam karena terbunuhnya Khalifah Utsman, yang pada akhirnya mereka menjadi pengikut Muawiyyah bin Abi Sufyan.
Perselisihan ini akhirnya pecah pada perang Shiffin. Tidak ada yang menang dalam perisrang tersebut, namun perang tersebut berakhir dengan tahkim di daumatul jandal dengan mengirim seorang utusan dari kedua belah pihak.
Dari golongan Sayyidina Ali mengirim Abu Musa Al Asy’ari, sedangkan dari golongan Muawiyyah mengirim Amr bin ‘Ash. Mereka mengadakan perjanjian damai dengan genjatan senjata. Namun, pihak Muawiyyah meminta agar golongan Sayyidina Ali melakukan penurunan senjata terlebih dahulu. Hal ini pun akhirnya menyulut emosi sebagian orang digolongan Sayyidina Ali.
Hingga pada akhirnya, golongan Sayyidina Ali mengalami masalah internal karena terdapat 2 kubu dengan 2 pendapat yang berbeda. Kubu pertama menyetujui untuk melaksanakan tahkim tersebut, sedangkan kubu kedua enggan menyetujuinya dan lebih memilih untuk perang. Akhirnya Sayyidina Ali pun menyetujui untuk melaksanakan tahkim. Hal ini membuat sebagian orang kecewa dan akhirnya mereka keluar dari golongan Sayyidina Ali. Mereka lah orang orang Khawarij.
Akhirnya berakhirlah masa kekhalifahan islam dan umat islam terpecah menjadi 3 golongan, yaitu golongan orang-orang yang ridho pada Muawiyyah dan kepemimpinannya, kedua Golongan Syiah, yaitu orang-orang yang mendukung Sayyidina Ali, mencintai beliau, dan ahlul bait beliau
ketiga golongan Khawarij, yaitu orang-orang yang keluar dari pihak Sayyidina Ali namun juga tidak mendukung Muawiyyah. Golongan ini tidak menyukai Sayyidina Utsman, Sayyidina Ali, dan Muawiyyah.
Ketiga golongan inilah yang akhirnya memiliki pengaruh besar dalam pembentukan hukum Islam.