Kemudian Umar diajak Uskup Sophronius berkeliling ke tempat-tepat suci di sepanjang kota.
Saat waktu zuhur tiba, Uskup Sophronius membukakan gereja tempat tersuci umat Kristen, lalu mempersilakan Khalifah Umar melaksanakan shalat di dalam gereja.
Tawaran kehormatan itu disambut dengan baik oleh Umar, tapi Umar menolaknya. Umar tidak ingin perbuatannya ini suatu saat menjadi alasan pembenaran untuk mengubah gereja sebagai masjid.
"Jika saya mendirikan shalat di dalam gereja ini, saya khawatir orang-orang Islam nantinya akan menduduki gereja ini dan menjadikannya sebagai masjid," kata Umar.
Khalifah Umar lalu keluar dari gereja, meminta ditunjukkan tempat reruntuhan Kuil Sulaiman. Uskup Sophronius menunjukkan tempat itu, yang ternyata kotor tertimbun sampah. Bersama beberapa sahabat lainnya, Khalifah Umar membersihkan sendiri tempat tersebut, lalu menggariskan sebuah tapak untuk dijadikan tempat shalat.
Di tempat itu pulalah khalifah Umar memerintahkan agar dibangun masjid yang kelak dikenal dengan Masjid Umar Penaklukan Yerusalem menandai selesainya serangkaian penaklukan Islam atas seluruh wilayah Suriah dan Palestina, di samping Yordania dan pesisir Levantina.
Penaklukan tersebut mengakhiri kekuasaan Yunani-Romawi yang telah bercokol di wilayah tersebut selama beberapa abad. Sejak saat itu pula, seluruh wilayah tersebut berada di bawah naungan kekuasaan Islam.