Please enable JavaScript.
Coggle requires JavaScript to display documents.
Что представляет собой энтропия системы?, Когда энтропия системы…
Что представляет собой энтропия системы?
Что понимается под энтропией системы?
Как определяется энтропия системы?
Определение
Энтропия - численная мера неопределенности наших знаний о состоянии некоторой системы (источника сообщений)
Формула Шеннона
Как появилось понятие "энтропия системы"?
История появления
Термин “энтропия” заимствован К.Шенноном из термодинамики (мера, хаоса, беспорядка в термодинамической системе).
В математической теории информации энтропия характеризует источник сообщений с точки зрения неопределённости выбора того или другого элементарного сообщения.
Какими свойствами обладает энтропия системы?
Какие значения может принимать энтропия?
H >= 0
Как связаны количество информации и энтропия?
Что такое количество информации?
Определение
Количество информации (I), полученное из сообщения о состоянии системы, равно разности неопределенностей наших знаний о состоянии системы, имевшихся "до" и "после" получения сообщения.
Формула
I = H_1 - H_2
Может ли количество информации, содержащееся в элементарном сообщении быть больше энтропии системы в целом?
нет
Когда количество информации, полученное из сообщения о системе равно начальной энтропии системы?
Если сообщение полностью снимает неопределенность относительно состояния системы, то количество информации в этом сообщении численно равно энтропии системы до получения сообщения :
Когда энтропия системы максимальна?
p(x_i) = 1/ n
Как связаны неопределённость и вероятность?
H = H_min = 0
