Ketika Nabi Muhammad Saw hadir ke Madinah, beliau menemukan banyak kelompok masyarakat. Ada orang-orang dari suku Aus, Khazraj. Ada orang-orang Yahudi dengan berbagai sukunya. Ada juga orang-orang yang menganut berbagai agama. Ada kaum Muhajirin dan sebagian Kaum Anshar yang ketika itu telah memeluk agama Islam; ada juga yang memeluk agama Yahudi. 
Perbedaan-perbedaan ini apabila tidak dikelola dengan baik akan menimbulkan hal-hal yang tidak diinginkan dalam satu masyarakat. Karena itu, Nabi Muhammad saw mengambil inisiatif dengan mengumpulkan mereka kemudian menghasilkan apa yang dinamai Piagam Madinah atau Konstitusi Madinah. 
Inti dari Piagam Madinah adalah kebebasan beragama, kebebasan berpendapat. Silakan masing-masing menjalankan ajaran agamanya sesuai kepercayaannya tanpa mengganggu pihak lain.
Di sana (Piagam Madinah), ditetapkan bahwa kerja sama antara semua pihak harus diwujudkan dalam rangka menegakkan keadilan, menyebarkan kebaikan, dan menghindari kezaliman. Di sana juga diputuskan bahwa kewajiban membela kota Madinah dari serangan yang datang dari luar. Dalam arti di sanalah ditetapkan kewajiban membela negara
Dengan Piagam Madinah ini, lahir kedamaian dalam masyarakat. Kedamaian itulah yang diajarkan dan didambakan oleh ajaran Islam. Dengan Piagam Madinah, bagi masyarakat yang mengikuti prinsip-prinsipnya itu, akan tercipta kemakmuran, kerja sama antar semua. Karena prinsip dasar dari Piagam Madinah adalah semua memiliki hak dan kewajiban yang sama dalam konteks kewarganegaraan. 
Tidak ada perbedaan antara satu dengan lainnya dalam konteks kewarganegaraan. Semua berkewajiban membangun negara, membela negara, dan menjalankan ajaran agamanya secara bebas sesaui kepercayaannya masing-masing. 
Itulah Piagam yang ditetapkan dan disepakati oleh masyarakat Madinah di bawah kepemimpinan Rasulullah Saw. Itulah yang sewajarnya dapat kita contoh dan kita kembangkan dalam kehidupan kita bermasyarakat.