Аксиомы Фаддеева

Аксиомы Хинчина

Аксіоми Хінчина і Фадєєва

А.Я. Хинчин к определению энтропии вероятностной схемы подошёл с аксиоматических позиций. Он установил, что энтропия конечной вероятностной схемы однозначно определяется с точностью до постоянного множителя при задании системы аксиом.

В аксиомах Хинчин использует объединенную вероятностную схему (см. п.1).

1. H(p₁,…,p_n) ‑ энтропия конечной вероятностной схемы ненулевая, непрерывная по вероятностям p_i при условиях: 0≤ p_i ≤1, p₁+…+p_n=1.

2. H(p₁,…,p_n) ‑ энтропия, заданная конечной вероятностной схемой, симметрична по p_i.

3. H(p₁,p₂,…,p_n,0) = H(p₁,p₂,…,p_n) – энтропия, заданная конечной вероятностной схемой, при наличии пустого сообщения равна энтропии, заданной конечной вероятностной схемой, без этого сообщения.

4. Энтропия объединенной вероятностной схемы

где,, – условная вероятность.

5. Энтропия конечной вероятностной схемы при равновероятных событиях максимальна:

Система аксиом Фаддеева эквивалентна системе аксиом Хинчина и позволяет получить тот же результат.

I. H(p, 1 ‑ p) непрерывна при 0≤ p_i ≤1 и положительна хотя бы в одной точке.

II. H(p₁,p₂,…,p_n) симметрична по p₁,…,p_n.

III. При, где.

Разница в этих системах аксиом заключается в том, что 5 аксиома Хинчина (экстремальность функции энтропии) заменяется требованием положительности энтропии в одной точке. Аксиомы Хинчина 3 и 4 заменяются аксиомой III Фаддеева. Аксиома III естественна, так как неопределённость схемы

отличается от неопределённости схемы

на неопределённость, происходящую от подразделения а_п на два подсобытия b₁, b₂ с условными вероятностями,. Эта неопределённость должна быть преодолена только в случае, если реализуется событие a_n, вероятность которого равна p_n.

Если рассматривать энтропию как количественную меру неопределённости в реализации вероятностной схемы, то последняя аксиома естественна.

В системе аксиом Фаддеева может быть доказана справедливость представления функции энтропии

т.е. энтропия конечной вероятностной схемы однозначно определяется с точностью до постоянного множителя при задании системы аксиом.

Дата добавления: 2013-12-12