Свойства энтропии

1) Как следует из (2.4), Н = 0 только в двух случаях:

• какая-либо из $p(A_j) = 1$; однако, при этом все остальные $p(А_i) = 0  (i≠j)$, т.е. реализуется ситуация, когда один из исходов является достоверным (и общий итог опыта перестает быть случайным);
• все $p(А_i) = 0$, т.е. никакие из рассматриваемых исходов опыта невозможны, поскольку нетрудно показать, что $\lim\limits_{p \to 0}(p \cdot log\, p) = 0$ во всех остальных случаях, очевидно, что Н > 0.

2) Очевидным следствием (2.1) будет утверждение, что для двух независимых опытов α и β

$$H(α \wedge β) H(α)+H(β)~~~~(2.5)$$

Энтропия сложного опыта, состоящего из нескольких независимых, равна сумме энтропии отдельных опытов.

В справедливости (2.5) можно убедиться непосредственно.

Пусть опыт $α$ имеет $n$ исходов $A_1, A_2, … A_n$, которые реализуются с вероятностями $p(A_1), p(A_2), ... p(A_n)$, а событие $β$ - $m$ исходов $B_1, B_2, ... B_m$ с вероятностями $р(В_1), р(В_2), ... р(В_m)$. Сложный опыт $α \wedge β$ имеет $n\cdot m$ исходов типа $A_iB_j (i = 1... n, j = 1... m)$. Следовательно:

$$H(α \wedge β)=-\sum^{n}_{i=1}\sum^{m}_{j=1}{p(A_i\wedge B_j)\cdot log_2 p(A_i\wedge B_j)}~~~(2.6)$$

Поскольку $α$ и $β$ - независимы, то независимыми окажутся события в любой паре $A_i\wedge B_j$. Тогда

$$p(A_i\wedge B_j)=p(A_i)\cdot p(B_j)%% и %%log_2 p(A_i\wedge B_j) = \\ log_2 p(A_i)+log_2 p(B_j)$$

$$H(α \wedge β)=-\sum^{n}_{i=1}\sum^{m}_{j=1}{p(A_i)p(B_j)}\cdot(log_2 p(A_i)+log_2 p(B_j))=\\ =-\sum^{n}_{i=1}\sum^{m}_{j=1}{p(A_i)p(B_j)log_2 p(A_i)}-\sum^{n}_{i=1}\sum^{m}_{j=1}{p(A_i)p(B_j)log_2 p(B_j)}=$$

$$=- \sum^{n}_{i=1}{p(A_i)\cdot log_2 p(A_i)}\sum^{m}_{j=1}{p(B_j)}-\sum^{m}_{j=1}{p(B_j)\cdot log_2 p(B_j)}\sum^{n}_{1=1}{p(A_i)}$$

В слагаемых произведено изменение порядка суммирования в соответствии со значениями индексов. Далее имеем по условию нормировки:

$$\sum^{n}_{i=1}{p(A_i)} = 1%% и %%sum^{m}_{j=1}{p(B_j)}=1$$

а из (2.4)

$$-\sum^{n}_{i=1}{p(A_i)\cdot log_2 p(A_i)}=H(α)%% и %%-\sum^{m}_{j=1}{p(B_j)\cdot log_2 p(B_j)}= H(β)$$

окончательно имеем:

$$H(α \wedge β)=H(α)+H(β)$$

что и требовалось доказать.

Теперь рассмотрим ситуацию, когда имеются два опыта с одинаковым числом исходов n, но в одном случае они равновероятны, а в другом - нет. Каково соотношение энтропии опытов? Примем без доказательства следующее утверждение:

$$-\sum^{n}_{i=1} {p(A_i)\cdot log_2 p(A_i)}\leqslant log_2n~~~(2.7)$$

При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами

Другими словами, энтропия максимальна в опытах, где все исходы равновероятны. Здесь усматривается аналогия (имеющая глубинную первооснову!) с понятием энтропии, используемой в физике. Впервые понятие энтропии было введено в 1865 г. немецким физиком Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе. Клаузиус сформулировал II начало термодинамики. В частности, он показал, что энтропия достигает максимума в состоянии равновесия системы.

Позднее (в 1872 г.) Людвиг Больцман, развивая статистическую теорию, связал энтропию системы с вероятностью ее состояния, дал статистическое (вероятностное) толкование II-му началу термодинамики и, в частности, показал, что вероятность максимальна у полностью разупорядоченной (равновесной) системы, причем, энтропия и термодинамическая вероятность оказались связанными логарифмической зависимостью. Другими словами, в физике энтропия оказывается мерой беспорядка в системе. При этом беспорядок понимается как отсутствие знания о характеристиках объекта (например, координат и скорости молекулы); с ростом энтропии уменьшается порядок в системе, т.е. наши знания о ней. Сходство понятий и соотношений между ними в теории информации и статистической термодинамике, как оказалось позднее, совершенно не случайно.

Кстати, результат, полученный в рассмотренном выше примере 2.1, иллюстрирует справедливость формулы (2.7).