Khalifah yang sangat masyhur itu berbaring dirumahnya teramat sederhana, diatas kasurnya yang tipis, kemudian disaat itu masuklah anak pamannya Mslamah bin Abdul Malik menemuinya seraya berkata, “Wahai Amirul Mukminin, tidakkah anda akan berwasiat perihal putera-puteri anda? Mereka banyak jumlahnya, sed angkan selama ini anda telah menelantarkannya, dan kini anda tidak meninggalkan apapun kepada mereka!”. “Apakah saya memang mempunyai sesuatu yang dapat saya wasiatkan untuk mereka?”, tanya Amirul Mukminin. “Atau kamu menghendaki agar saya memberikan harta umat kepada mereka”, tanya Amirul Mukminin lagi. “Demi Allah, saya tidak memberikan hak orang lain kepada mereka! Mereka boleh memilih salah satu diantara dua : tetap menjadi orang yang sholeh, dan Allah niscaya akan melindungi mereka. Atau menjadi orang-orang yang tidak sholeh, dan saya takkan meninggalkan sesuatu pun yang akan membantu mereka berbuat maksiat kepada Allah”, tegas Amirul Mukminin.

Disaat sakitnya semakin berat, kemudian diperintahkannya untuk memanggil semua anaknya agar mereka menemuinya. Dengan tergesa-gesa mereka pun datang menemuinya, anaknya yang berjumlah dua belas itu. Semuanya dalam keadaan terlantar, tubuh mereka lunglai dengan rambut yang kusut masai. Sementara wajah-wajah mereka yang kuyu telah merusak keelokan dan kecantikan wajah mereka. Mereka duduk mengelilinginya. Satu persatu ditatapnya wajah mereka dengan pandangan penuh kasih sayang.Air matanya jatuh berderai, kemudian Khalifah memberi nasihat yang diucapkannya secara terbata-bata kepada mereka : “Anakku sekalian. Ayahmu diberi salah satu diantara dua pilihan. Kalian hidup kaya, tetapi masuk neraka. Atau kalian hidup miskin tetapi masuk surga. Maka ayahmu lebih suka menitipkan kalian kepada Allah yang telah menurunkan Kitab, dan Dia akan melindungi orang-orang yang sholeh..”, ucap Amirul Mukminin.
Saat itu pandangannya kelihatan berbinar-binar yang sedang air mukanya berseri-seri. Kemudian kedua matanya ditujukkan ke arah pintu dengan pandangan yang penuh arti, seakan-akan sedang memandang tamu-tamu yang sangat dihormati. Ia tersenyum kepada putera-puterinya, kepada ibunya yang amat dimuliakannya, serta kepada isterinya yang setia. Kemudian mempersilakan mereka untuk meninggalkan dirinya.
Sepeninggal mereka, Amirul Mukminin mengangkat kedua tangannya, seaskan-akan sedang menyambut dan mempersilahkan kedatangan tamu yang sudah lama dinanti-nantikannya.
Memang benar, saat itu rombongan Malaikat suci, hamba-hamba Allah yang dekat kepada Nya telah datang menjemputnya menuju tempat pelantikan yang telah disediakan baginya, tempat yang abadi, surga Allah taman Firdausi..
Orang-orang yang berada diluar kamarnya, samar-samar mendengar Amirul Mukminin sedang membaca ayat suci yang mulia dan agung :
“Kebahagian di kampung akhirat itu Kami sediakan hanya bagi mereka yangtidak suka menyombongkan diri dan melakukan kerusakan di muka bumi. Dan kesudahan yagn baik itu adalah orang-orang yang taqwa”. (Surah Al-Qashas : 83).
Saat itu pula sahabat karibnya yang menjadi penasihatnya Raja’ bin Haiwah, melihat Amirul Mukminin mengulang-ngulang ayat itu, dan tak lama kemudian, nafasnya berhenti berdetak, dan pergi untuk selama-lamanya. Dengan wajahnya yang tersenyum. Itulah akhir kehidupan Khalifah Umar bin Abdul Aziz.