Системное обобщение формулы Харкевича

Классическая формула А. Харкевича имеет вид:

(11).

где Pij условная вероятность перехода объекта в j-е состояние при условии действия на него i-го значения фактора;

Pj безусловная вероятность перехода объекта в j-е состояние (вероятность самопроизвольного перехода или вероятность перехода, посчитанная по всей выборке, т. е. при действии любого значения фактора).

Выражению (11) может быть придан следующий эквивалентный вид, который и будет использоваться ниже:

(12).

Из (12) видно, что формула Харкевича для семантической меры информации по сути является логарифмом от формулы Байеса для апостериорной вероятности (отношение условной вероятности к безусловной). Вопрос об эквивалентности выражений (11) и (12) рассмотрим ниже.

Известно, что классическая формула Шеннона для количества информации для неравновероятных событий преобразуется в формулу Хартли при условии, что события равновероятны, т. е. удовлетворяет фундаментальному принципу соответствия. Поэтому теория информации Шеннона справедливо считается обобщением теории Хартли для неравновероятных событий. Однако выражения (11) и (12) при подстановке в них реальных численных значений вероятностей Pij, Pj и Pi не дают количества информации в битах, т. е. для этого выражения не выполняется принцип соответствия, обязательный для более общих теорий. Возможно, в этом состоит причина довольно сдержанного, а иногда даже скептического отношения специалистов по теории информации Шеннона к семантической теории информации Харкевича.

Причина этого, согласно [1], состоит в том, что в выражениях (11) и (12) отсутствуют глобальные параметры, характеризующие размерность конкретных моделей W и M, т. е. А. Харкевич в своем выражении для количества информации не ввел зависимости от мощности пространства будущих состояний объекта W и количества значений факторов M, обуславливающих переход объекта в эти состояния.

В [1] поставлена и решена задача получить такое обобщение формулы Харкевича, которое бы удовлетворяло тому же самому принципу соответствия, что и формула Шеннона, т. е. преобразовывалось в формулу Хартли в предельном детерминистском равновероятном случае, когда каждому классу (состоянию объекта) соответствует один признак (значение фактора), и каждому признаку — один класс, и эти классы (а, значит и признаки), равновероятны, и при этом каждый фактор однозначно, т. е. детерминистским образом определяет переход объекта в определенное состояние, соответствующее классу и между классами и признкакми существует взаимно-однозначное соответствие.

Для этой цели в [1] в выражение (12) введен коэффициент :

(13).

В [1] поставлена и решена задача нахождения такого выражение для коэффициента, названого в этой работе в честь А. Харкевича «коэффициентом эмерджентности Харкевича», которое обеспечивает выполнение для выражения (13) принципа соответствия с классической формулой Хартли (1) и ее системным обобщением (2 и 3) в равновероятном детерминистском случае.

Для этого вероятности Pij, Pj и Pi рассматриваются как пределы, к которым стремятся относительные частоты при увеличении объема выборки, и требуется выразить их через абсолютные частоты наблюдения признаков по классам.