Il sistema di comunicazione comprende la sorgente dell'informazione, che può essere umana o tecnologica, e la destinazione, separate fisicamente o temporalmente, con il messaggio trasferito attraverso un canale. La sorgente produce informazioni di vari tipi, come testi, suoni, immagini, ecc., sia discreti che continui. L'informazione continua può essere convertita in forma discreta tramite il campionamento di Shannon-Nyquist. Il campionamento coinvolge la registrazione periodica dei valori del segnale analogico, garantendo la perfetta ricostruzione del segnale originale. Una sorgente discreta produce una sequenza finita di simboli, definiti nell'alfabeto della sorgente.
Una sorgente S produce una sequenza di simboli, come lettere, bit o sequenze di DNA. Un messaggio di lunghezza m è una stringa di m simboli. Formalmente, una sorgente è un processo stocastico discreto {Xn}, dove ogni variabile aleatoria Xn può assumere valori dall'alfabeto S con una distribuzione di probabilità data. La sorgente può essere stazionaria se le probabilità dei simboli non cambiano nel tempo, senza memoria se le variabili aleatorie sono indipendenti e discreta se l'alfabeto è finito o numerabile. Se l'alfabeto ha solo due simboli, la sorgente è binaria.