Bila melihat bangunan Masjidil Haram pada hari ini maka menjadi susah dibayangkan bila area di sekitar Ka'bah itu dahulunya adalah area yang sempit, penuh bangunan rumah warga Makkah, bahkan pada awalnya area Ka'bah adalah wilaya yang terbuka alias tidak punya dinding pembatas.
Beginilah kisah pembangunan Masjidil Haram dari waktu ke waktu.
1. Pada mulanya, keberadaan Ka’bah tidak mempunyai tembok yang mengelilinginya. Hanya terdapat bangunan rumah penduduk Mekah yang menjadi pembatasnya. Di sela-sela rumah itulah terdapat lorong-lorong yang menuju ke arah Ka’bah yang dinamai sesuai dengan kabilah yang biasa melaluinya. Diperkirakan luas Masjidil Haram dengan rumah-rumah penduduk kota Mekah sebagai pembatasnya otu kurang lebih 1490–2000 m².
2. Khafilah Umar bin Khattab adalah orang yang melakukan pertama kali melakukan perluasan Masjidil Haram pada tahun 17 H atau bertepatan dengan 638 M. Umar membangun dinding mengelilingi Ka’bah. Dengan memberikan ganti rugi, banyak bangunan rumah di sekitar Ka’bah saat itu harus digusur. Setelah pembangunan tersebut diperkirakan luas Masjidil Haram menjadi 840m².
3. Khalifah Utsman bin Affan RA pada tahun 26H/646M juga ikut melakuka perluasan area Masjidil Haram. Ia pun membeli kembali bangunan rumah-rumah di sekitar Masjidil Haram dengan harga yang cukup mahal. Selain memperluas bangunan, Utsman juga memberi atap pada masjid tersebut. Waktu itu, diperkirakan luas Masjidil Haram bertambah menjadi 2.040m².
4. Pembaharuan kembali dilakukan juga oleh Abdullah bin Zubair RA pada tahun 65H/684M. Luas area Masjidil Harama menjadi mencapai 4.050m² dengan beberapa diantaranya telah diberi atap. Abdullah bin Zubair juga memperindah bangunannya dengan memberinya tiang berhias batu marmer, begitu pula pada pintu masuk masjid.
5. Pada tahun 91H/709M, penguasa Walid bin Abdul Malik, memerintahkan untuk memperluas Masjidil Haram. Selain menggunakan bangunan yang kokoh, juga mendatangkan pilar-pilar marmer dari Mesir dan Syam. Dimana pada ujung tiang tersebut dilapisi dengan lempengan emas. Bagia timur Masjidil Haram bertambang luas hingga 2.300m².
6. pada tahun 137H/754 M, Khalifah Abu Ja’far al Nilanshur kembali merenovasi Masjidil Haram dengan memperluas masjid tersebut hingga menjadi 4.700m² serta menghiasinya dengan emas dan mosaik. Dalam kesempatan itu pula, Abdul Malik bin Marwan menutup Hijir Ismail dengan menggunakan marmer.