Sepulang dari Mekkah, dia menikah dengan Siti Walidah, sepupunya sendiri, anak kiai Penghulu Haji Fadhil, yang kelak dikenal dengan Nyai Ahmad Dahlan, seorang Pahlawanan Nasional dan pendiri Aisyiyah. Dari perkawinannya dengan Siti Walidah, KH. Ahmad Dahlan mendapat enam orang anak yaitu Djohanah, Siradj Dahlan, Siti Busyro, Irfan Dahlan, Siti Aisyah, Siti Zaharah.Di samping itu K.H. Ahmad Dahlan pernah pula menikahi Nyai Abdullah, janda H. Abdullah. Dia juga pernah menikahi Nyai Rum, adik kiai Munawwir Krapyak. K.H. Ahmad Dahlan juga mempunyai putra dari perkawinannya dengan Nyai Aisyah (adik Adjengan Penghulu) Cianjur yang bernama Dandanah. Dia pernah pula menikah dengan Nyai Yasin Pakualaman Yogyakarta.