Dalam menuntut ilmu, ia sangat gigih. Abdurrahman muda mengadakan rihlah intelektual ke berbagai pusat keagamaan Islam. Puluhan tahun lamanya perjalanan itu dilakukannya, mulai dari daerah Minangkabau sampai ke Aceh. Bahkan, pada akhirnya langkah kakinya tiba di Makkah al-Mukarramah.
Abdurrahman pertama kali berpamitan kepada ibundanya untuk pergi menuntut ilmu saat berusia 15 tahun. Setelah mendapat restu dari sang ibu, ia pun berangkat ke Batusangkar untuk belajar kepada Syekh Galogandang. Bekal yang ia bawa saat itu hanya berupa sedikit beras, uang sepiak, dan satu buah mushaf Alquran.
Setelah bertahun-tahun belajar kepada Syekh Ga logandang, Abdurrahman kemudian pamit. Ia lalu berjalan kaki ke Tapak Tuan, Aceh. Di kota berjuluk Serambi Madinah ini, dirinya berguru ke pada Syekh Abdurrauf Singkil. Ulama dari Singkel tersebut berpengaruh besar dalam penyebaran agama Islam di Nusantara, khususnya Pulau Sumatra.
Setelah delapan tahun belajar kepada Syekh Abdurrauf, Abdurrahman kemudian memutuskan berangkat ke Makkah. Niat awalnya adalah untuk menunaikan ibadah haji. Usai musim haji, dirinya menjadi murid sejumlah masyayikh termuka di kota kelahiran Nabi Muhammad SAW itu. Hingga tujuh tahun lamanya, putra daerah Batuhampar tersebut menuntut ilmu di sana.