Формула Хартлі

Формула Хартлі - це окремий випадок формули Шеннона для рівноймовірно варіантів.

Підставивши в формулу Шеннона замість pi його (в равновероятном випадку не залежить від i) значення pi = 1 / N, отримаємо:

, таким чином, формула Хартлі виглядає дуже просто:

З неї випливає, що зі збільшенням кількості варіантів (N), росте і невизначеність (H). Ці величини пов'язані в формулі не лінійно, а через двійковий логарифм. Логарифмування за основою 2 і призводить кількість можливих варіантів до одиниць виміру інформації - бітам.

Як видно, ентропія буде цілим числом лише в тому випадку, коли N є ступенем числа 2, т. Е. Якщо N належить ряду: 1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024 , 2048 ...

Залежність ентропії від кількості рівно можливих варіантів вибору (рівнозначних альтернатив)

Для розв'язання обернених задач, коли відома невизначеність (H) або отримане в результаті її зняття кількість інформації (I) і потрібно визначити яку кількість рівноймовірно альтернатив відповідає виникненню цієї невизначеності, використовують зворотний формулу Хартлі, яка виводиться відповідно до визначення логарифма і виглядає ще простіше :

Наприклад, якщо інформація про те, що якийсь Іванов живе на другому поверсі, відповідає 3 бітам, то за формулою можна визначити кількість поверхів в будинку, як: N = 2 3 = 8 поверхів.

Якщо ж питання поставити так: "У будинку 8 поверхів, то яка кількість інформації ми отримаємо, дізнавшись, що цікавить нас Іванов живе на другому поверсі?", То розрахунок можна зробити за формулою: