Tak berhenti di situ. Ridwan lantas hijrah ke Madura untuk berguru kepada Syekhona Kholil Bangkalan. Di pesantren milik Kiai Kholil, ia kian giat menimba ilmu, bahkan dengan durasi cukup lama.Dengan begitu, ia semakin menempa diri untuk menjadi seorang yang alim.
Pada 1901, Kiai Ridwan berkesempatan untuk pergi ke Tanah Suci. Di Mekkah, ia menetap selama kurang lebih tiga tahun. Selama kembali di Tanah Air, ia pun pergi lagi ke kota kelahiran Nabi Muhammad SAW itu pada 1911. Satu tahun lamanya ulama tersebut tinggal di sana.
Pada mulanya, kiprah KH Ridwan setelah kembali ke Indonesia cenderung di daerah perkotaan. Dalam beberapa hal, ia sempat mengutarakan, tidak sepen dapat dengan beberapa kiai yang tinggal di pedesaan. Sebagai contoh, suatu saat para kiai perdesaan mengharamkan kepiting untuk dimakan. Kiai Ridwan justru menghalalkannya.