Proyek perluasan berikutnya dimotori oleh Abdullah bin az-Zubayr. Kala itu ia membangun kembali Ka'bah seperti sedia kala menyusul terjadinya musibah kebakaran. Abdullah juga menambah tinggi Ka'bah.
Pada masa Dinasti Abbasiyah, tepatnya di bawah kepemimpinan Khalifah Abu Ja'far al-Mansur, Masjidil Haram kembali direnovasi dan diperluas. Abu Ja'far mengganti ubin masjid dengan marmer. Ia pun membangun dinding tembok di sekitar sumur zamzam. Tujuannya untuk mencegah orang jatuh ke dalam sumur. Ia pun menambah bagian beratap di dalam masjid supaya jamaah tidak tersengat terik matahari langsung di Masjidil Haram.
Pada kurun waktu berikutnya, penguasa Abbasiyah berhasil menghubungkan Ka'bah dengan area sa'i. Dibangun pula menara penerangan untuk memudahkan jamaah yang tawaf pada malam hari.