Свою назву рекурентна мережа отримала від слова «рекурсія», що визначає стан об’єкта, який залежить від попереднього.
Наприклад, коли в тексті трапляється слово «електричний», то ми можемо очікувати, що мережа підбере до нього слово «струм», а до слова «пухнастий», найімовірніше, — «кіт».