Свойства энтропии. 
Теория информационных процессов и систем + доп. 
Материалы в эбс

1. Энтропия принимает значение, равное 0, только в случае детерминированного источника сообщений системы.

Детерминированность источника означает, что один из возможных символов генерируется источником постоянно (с единичной вероятностью), а остальные — не производятся вовсе. Предположим для определенности, что генерируется fc-й символ.

Пусть Р (а_к) = 1, а Р (а_;) = 0 для всех i = 1, …, к — 1, к + 1, т, т. е., i ^ к.

Тогда, обозначив i-й элемент суммы в формуле (2.8) через h_b получим.

Раскроем неопределенность вида 0 • °с по правилу Лопиталя.

Следовательно, для детерминированного источника /г, = О для всех г. С другой стороны, если ни одна р (а^) ^ 1, то ни одно слагаемое h_t не обращается в 0. Что и требовалось доказать.

2. Энтропия — величина неотрицательная и ограниченная. Если каждое слагаемое h_t— -p (a_i)log₂p (^ai) неотрицательно и ограниченно, то и их сумма также будет неотрицательна и ограниченна.

Докажем неотрицательность:

Докажем ограниченность, найдя экстремум, для чего продифференцируем h_t по р:

отсюда Pj — 1/е.

Следовательно, величина h, имеет экстремум (можно доказать, что это максимум), а значит, это величина ограниченная (рис. 2.2).

3. Энтропия дискретной системы, имеющей т равновероятных состояний, максимальна и равна log₂m.

Докажем максимальность для случая т = 2.

Рис. 2.2. К свойству ограниченности энтропии.

Пусть т-2, тогда р_г + р₂ — 1.

Чтобы найти максимум энтропии, определим и приравняем нулю частную производную.

Следовательно, при двух символах в алфавите максимум энтропии достигается в случае равновероятных символов. То же можно доказать и для большего числа символов в алфавите.

Найдем значение максимальной энтропии. Пусть все символы равновероятны: р, = 1/т.

4. Совместная энтропия независимых источников сообщений равна сумме энтропий.

Пусть источник, А порождает ансамбль Ма сообщений (а_1; а₂, а_Ма), ³ источник В порождает ансамбль Mb сообщений (Ь_ь Ъ₂, …, Ь_мь) и источники независимы. Общий алфавит источников представляет собой множество пар вида (а_;, bj), общая мощность алфавита равна Ма х Mb.

Совместная энтропия композиции двух источников равна.

Поскольку А и В независимы, то.

Отсюда вытекает:

Изменим порядок суммирования: учитывая, что , получим:

Вывод можно распространить и на большее количество независимых источников.