Mulanya, cukup banyak anggota keluarga besar yang menentang keputusan Haji Qasad untuk membawa Rifa'i ke Gontor. Beberapa mengeluhkan jauhnya jarak antara Ponorogo dan Tangerang. Sebagian yang lain merasa, masih banyak pondok-pondok pesantren di Banten yang cukup representatif atau sebanding dengan Gontor.
Bagaimanapun, keluhan-keluhan itu dapat dijawab Haji Qasad dengan bijaksana. Rifa'i pun mem peroleh restu untuk berangkat menuju lembaga yang didirikan Trimurti ulama, yaitu KH Ahmad Sahal (1901-1977), KH Zainudin Fananie (1908-1967), dan KH Imam Zarkasyi (1910-1985).
Di Gontor, Rifa'i belajar dengan tekun. Guruguru dan rekan-rekannya sesama santri kerap mengagumi disiplinnya dalam menuntut ilmu. Di antara kemahirannya adalah berpidato dan mengarang, baik dalam bahasa Indonesia maupun bahasa Arab. Selain itu, jiwa kepemimpinannya juga tampak terasah. Antara tahun 1965-1966, dirinya didaulat menjadi ketua organisasi Pelajar Islam Indonesia (PII) cabang Gontor.
Pada masa kepemimpinannya di PII itu, Gontor sedang berbenah untuk mendirikan perguruan tinggi pesantren pertama di Indonesia. Momen peluncurannya sudah disiapkan. Beberapa santri setempat ditugaskan untuk menjemput para tamu undangan, yang terdiri atas sejumlah duta besar negara-negara sahabat, menteri-menteri pemerintah an, gubernur, dan alim ulama. Rifa'i bertindak selaku ketua panitia acara penyambutan ini.