Dia memiliki madrasah di Nishapur yang dibangun untuk ulama Syafi'i, Al-Juwayni, juga dikenal sebagai Imam al Haramayn, yang berarti "penguasa utama dari dua kota suci," yaitu, Mekah dan Madinah. Di Baghdad, ia juga mendirikan madrasah Nezamiyeh, dinamai menurut namanya, untuk Abu Ishaq al-Shirazi yang sangat ia hormati.
Bukti terbesar bahwa ia adalah seorang ulama yang sangat berpandangan jauh ke depan adalah ia menemukan Imam Ghazali, salah satu ulama Islam terkemuka dalam sejarah, dan mengangkatnya sebagai profesor di madrasah ini. Nizam al-Mulk akan sibuk dengan urusan negara sampai siang. Di sore hari, dia akan mendengarkan petisi publik. Dia sangat penyayang terhadap orang-orang.
Ketika Nizam al-Mulk bekerja di samping seorang emir, seorang pejabat tinggi militer atau politik, di masa mudanya, seorang darwis datang kepadanya. "Layani mereka yang bermanfaat bagimu. Jangan melayani mereka yang akan dicabik-cabik anjing besok," katanya.
Nizam al-Mulk tidak mengerti maksud pria itu. Namun, pada malam yang sama, sang emir mabuk dan pergi ke kebunnya, di mana dia dicabik-cabik oleh anjingnya sendiri, Nizam al-Mulk telah memahami pesan yang coba disampaikan oleh darwis itu. Dia mulai mencari mentor untuk dirinya sendiri. Dia berpartisipasi dalam percakapan para sufi besar seperti Abu Sa'id Abu'l-Khayr.