Setelah menunaikan ibadah haji dan bermukim di Mekah untuk yang kedua kalinya pada tahun 1903, KHA. Dahlan mulai melakukan pembaruan di Tanah Air. Gagasan pembaruan diperoleh KHA. Dahlan setelah berguru kepada ulama-ulama Indonesia yang bermukim di Mekah, seperti Syeikh Ahmad Khatib dari Minangkabau, Kyai Nawawi dari Banten, Kyai Mas Abdullah dari Surabaya, dan Kyai Fakih dari Maskumambang Gresik, juga setelah membaca pemikiran para pembaru Islam seperti Ibn Taimiyah, Muhammad bin Abd al-Wahhab, Jamaluddin Al-Afghani, Muhammad Abduh, dan Rasyid Ridha.