Il termine “cafone” si utilizza per indicare una persona di provincia, una persona scostumata o che ha cattivi gusti. Da qui è stato utilizzato l'aggettivo “cafone” per indicare il pane del popolo, in contrapposizione al pane nobile. Verso la fine del 1700, quando a Napoli c’era il Regno dei Borboni, arrivò dalla Francia il pane bianco, un pane tenerissimo realizzato con le migliori farine. Per contrapposizione, il pane del popolo diventò il "pane cafone", fatto con farine non di primissima qualità, ma con farine grezze, inoltre era un po' grigiastro e la crosta più croccante
Le origini della ricetta sono incerte: alcuni pensano che il pane sia dei Camaldoli, altri pensano appartenga alle province di Avellino e Benevento, ma più probabilmente il pane cafone nasce ai piedi del Vesuvio