Abdurrahman kemudian meneruskan perjalanannya ke sebuah pesantren yang diasuh Kiai Abdul Fattah di Tulungagung. Di pesantren ini, ia belajar selama empat tahun, yakni sejak 1940 hingga 1944. Setelah mendalami berbagai ilmu kepada Kiai Fattah, barulah dirinya menjadi santri di Pondok Pesantren Tebuireng, Jombang, di bawah asuhan KH Hasyim Asy'ari.
Meskipun nyantri selama satu tahun, yakni antara 1944-1945, ia men jadi seorang santri unggulan di mata Mbah Hasyim. Disiplin ke ilmuan yang digemarinya antara lain faraidh dan fikih. Selain itu, hafalan Alqurannya juga disempurnakannya tatkala dibimbing sang pendiri NU.
Selain menjadi santri Mbah Hasyim, Abdurrahman juga pernah berguru kepada KH Muhammad Ma'roef, seorang ulama Nahdliyin asal Kediri. Antara tahun 1945 dan 1946, dirinya belajar di salah satu pesantren yang diasuh Mbah Ma'roef, Pondok Pe santren Kedunglo.