Berangkat dari itu, para ulama tradisionalis lantas merasa perlu untuk membentuk sebuah organisasi. Inilah cikal bakal NU yang berdiri pada 16 Rajab 1344 H atau bertepatan dengan 31 Januari 1926. Hadratussyekh KH Hasyim Asy'ari duduk sebagai Rais Akbar.
Sebelum tanggal bersejarah itu, Kiai Hasyim mengundang berbagai alim ulama untuk mengutarakan pendapatnya. Menurut penuturan KHR As'ad Syamsul Arifin, para kiai pada saat itu mengusulkan beberapa nama yang dirasa pas untuk organisasi tersebut. Turut hadir dalam pertemuan ini, Kiai Mas Alwi lantas mengusulkan nama Nahdlatul Ulama.
"Kiai Hasyim bertanya, Mengapa harus pakai nahdlatul, kok tidak jam'iyah ulama saja? Karena tidak semua kiai memiliki jiwa nahdlah (bangkit). Ada kiai yang sekadar mengurusi pondoknya saja, tidak mau peduli terhadap jam'iyah,"jawab Kiai Mas Alwi.
Mendengar jawaban yang mantap itu, sang hadratussyekh pun menyatakan setuju. Maka, diputuskanlah bahwa nama organisasi ini adalah Nahdlatul Ulama (Kebangkitan Ulama). Kisah tersebut juga sesuai dengan riwayat dari H Solahuddin Azmi, putra KH Mujib Ridlwan yang tidak lain merupakan cucu pencipta lambang NU, KH Ridlwan Abdullah.