Saat berkiprah di Muhammadiyah, pada mulanya ia dipercaya sebagai sekretaris Majelis Tarjih Pimpinan Daerah Muhammadiyah Sidoarjo. Sejak menduduki jabatan itu pada 1970, perannya terus mengemuka. Alhasil, dirinya kemudian diangkat menjadi ketua Majelis Tabligh Pimpinan Wilayah Muhammadiyah (PWM) Jawa Timur sekitar 1980-an.

Pada periode 1985-1990, Kiai Abdurrahim menjadi salah satu wakil ketua PWM Jawa Timur. Waktu itu, yang menjadi ketuanya adalah KH Anwar Zain. Pada Desember 1989, Kiai Anwar berpulang ke Rahmatullah.

Dalam sebuah musyawarah wilayah (musywil) PWM di Asrama Haji Surabaya, hadirin pun bersepakat untuk mengangkat Kiai Abdurrahim sebagai penerus tugas sang almarhum. Akhirnya, tokoh yang pada masa mudanya aktif di NU itu terpilih sebagai ketua PWM Jawa Timur dua periode berturut-turut, yakni 1990-1995 dan 1995-2005.

Dengan latar belakangnya itu, sosok Kiai Abdurrahim menjadi panutan tidak hanya di satu, melainkan lintas organisasi Islam. Semasa memimpin PW Muhammadiyah, dirinya diakui luas mampu menjembatani segala perbedaan yang ada di perserikatan maupun antar-organisasi.

Bagi warga Nahdliyin, utamanya yang tinggal di Jawa Timur, alumnus al-Azhar yang seangkatan dengan KH Abdurrahman Wahid (Gus Dur) itu merupakan pribadi yang sangat bersahabat dan terbuka. Bahkan, tabiatnya mengingatkan orang-orang pada Mohammad Natsir, yang juga diterima seluruh elemen Muslimin Indonesia. 

Ikuti Whatsapp Channel Republika