Формула Хартлі 2

Формула Хартлі. колічетво інформації

Спроби кількісного виміру інформації робилися неодноразово. Перші виразні пропозиції про загальні способи вимірювання кількості інформації були зроблені Р. Фішером (1921 г.) в процесі вирішення питань математичної статистики. Проблемами зберігання інформації, передачі її по каналах зв'язку і завданнями визначення кількості інформації займалися Р. Хартлі (1928 р) і X. Найквіст (1924 г.). Р. Хартлі заклав основи теорії інформації, визначивши міру кількості інформації для деяких завдань. Найбільш переконливо ці питання були розроблені і узагальнені американським інженером Клодом Шенноном в 1948 р З цього часу почався інтенсивний розвиток теорії інформації взагалі і поглиблене дослідження питання про вимірювання її кількості зокрема.
Для того щоб застосувати математичні засоби для вивчення інформації, треба було відволіктися від сенсу, змісту інформації. Цей підхід був загальним для згаданих нами дослідників, так як чиста математика оперує з кількісними співвідношеннями, не вдаючись у фізичну природу тих об'єктів, за якими стоять співвідношення. Наприклад, якщо знаходиться сума двох чисел 5 і 10, то вона в рівній мірі буде справедлива для будь-яких об'єктів, що визначаються цими числами. Тому, якщо сенс вихолощений з повідомлень, то відправною точкою для інформаційної оцінки події залишається тільки безліч відмінних один від одного подій і відповідно повідомлень про них.
Припустимо, нас цікавить наступна інформація про стан деяких об'єктів: в якому з чотирьох можливих станів (тверде, рідке, газоподібне, плазма) знаходиться деяка речовина? на якому з чотирьох курсів технікуму навчається студент?
У всіх цих випадках має місце невизначеність, що цікавить нас, що характеризується наявністю вибору однієї з чотирьох можливостей. Якщо у відповідях на наведені питання відволіктися від їхнього змісту, то обидві відповіді будуть нести однакову кількість інформації. так як кожен з них виділяє одне з чотирьох можливих станів об'єкта і, отже, знімає одну і ту ж невизначеність повідомлення.
Невизначеність невід'ємна від поняття ймовірності. Зменшення невизначеності завжди пов'язане з вибором (відбором) одного або декількох елементів (альтернатив) з деякою їх сукупності. Така взаємна оборотність понять ймовірності та невизначеності послужила основою для використання поняття ймовірності при вимірюванні ступеня невизначеності в теорії інформації. Якщо припустити, що будь-який з чотирьох відповідей на питання равновероятен, то його ймовірність у всіх питаннях дорівнює 1/4. Однакова ймовірність відповідей в цьому прикладі обумовлює і рівну невизначеність, що знімається відповіддю в кожному з двох питань, і, отже, кожен відповідь несе однакову інформацію.
Тепер спробуємо порівняти наступні два питання: на якому з чотирьох курсів технікуму навчається студент? Як впаде монета при підкиданні: вгору «гербом» або «цифрою»? У першому випадку можливі чотири рівноймовірно відповіді, у другому - два. Отже, ймовірність якоїсь відповіді в другому випадку більше, ніж в першому (1/2> 1/4), в той час як невизначеність, що знімається відповідями, більше в першому випадку. Будь-який з можливих відповідей на перше питання знімає велику невизначеність, ніж будь-яка відповідь на друге питання. Тому відповідь на перше запитання несе більше інформації! Отже, чим менша ймовірність якої-небудь події, тим більшу невизначеність знімає повідомлення про його появу і, отже, тим більшу інформацію воно несе.
Припустимо, що якась подія має m рівно можливих випадків. Такою подією може бути, наприклад, поява будь-якого символу з алфавіту, що містить m таких символів. Як виміряти кількість інформації, яке може бути передано за допомогою такого алфавіту? Це можна зробити, визначивши число N можливих повідомлень, які можуть бути передані за допомогою цього алфавіту. Якщо повідомлення формується з одного символу, то N = m. якщо з двох, то N = m · m = m 2. Якщо повідомлення містить n символів (n - довжина повідомлення), то N = mn. Здавалося б, шукана міра кількості інформації знайдена. Її можна розуміти як міру невизначеності результату досвіду, якщо під досвідом на увазі випадковий вибір будь-якого повідомлення з деякого числа можливих. Однак цей захід не зовсім зручна. При наявності алфавіту, що складається з одного символу, тобто коли m = 1, можлива поява тільки цього символу. Отже, невизначеності в цьому випадку не існує, і поява цього символу не несе ніякої інформації. Тим часом, значення N при m = 1 не звертається до нуль. Для двох незалежних джерел повідомлень (або алфавіту) з N 1 і N 2 числом можливих повідомлень загальне число можливих повідомлень N = N 1N 2, в той час як логічніше було б вважати, що кількість інформації, що отримується від двох незалежних джерел, має бути не твором, а сумою складових величин.
Вихід зі становища знайшли Р. Хартлі, який запропонував інформацію I. припадає на одне повідомлення, визначати логарифмом загального числа можливих повідомлень N:

Якщо ж все безліч можливих повідомлень складається з одного (N = m = 1), то I (N) = log 1 = 0, що відповідає відсутності інформації в цьому випадку. При наявності незалежних джерел інформації з N 1 і N 2 числом можливих повідомлень
I (N) = log N = log N 1N 2 = log N 1 + log N 2,
тобто кількість інформації, що припадає на одне повідомлення, дорівнює сумі кількостей інформації, які були б отримані від двох незалежних джерел, узятих порізно. Формула, запропонована Хартлі, задовольняє висунутим вимогам. Тому її можна використовувати для вимірювання кількості інформації.
Якщо можливість появи будь-якого символу алфавіту рівноймовірно (а ми до сих пір припускали, що це саме так), то ця ймовірність р = 1 / m. Вважаючи, що N = m,

тобто кількість інформації на кожен равновероятности сигнал одно мінус логарифму імовірності окремого сигналу.
Отримана формула дозволяє для деяких випадків визначити кількість інформації. Однак для практичних цілей необхідно задатися одиницею його виміру. Для цього припустимо, що інформація - це усунена невизначеність. Тоді в найпростішому випадку невизначеності вибір буде проводитися між двома взаємовиключними один одного рівноімовірними повідомленнями, наприклад між двома якісними ознаками: позитивним і негативним імпульсами, імпульсом і паузою і т.п. Кількість інформації, передане в цьому найпростішому випадку, найбільш зручно прийняти за одиницю кількості інформації. Саме таку кількість інформації може бути отримано, якщо застосувати формулу (2) і взяти логарифм за основою 2. Тоді
I = - log2 p = - log2 1/2 = log2 2 = 1.
Отримана одиниця кількості інформації, що представляє собою вибір з двох рівноймовірно подій, отримала назву двійковій одиниці, або бита. Назва bit утворене з двох початкових і останньої букв англійського виразу binary digi t. що означає двійкова одиниця. Біт є не тільки одиницею кількості інформації, але і одиницею вимірювання ступеня невизначеності. При цьому мається на увазі невизначеність, яка міститься в одному досвіді, що має два рівноймовірно результату.
На кількість інформації, що отримується з повідомлення, впливає фактор несподіванки його для одержувача, який залежить від ймовірності отримання того чи іншого повідомлення. Чим менше ця вірогідність, тим повідомлення більш несподівано і, отже, більш інформативно. Повідомлення, ймовірність якого висока і, відповідно, низька ступінь несподіванки, несе трохи інформації.
Р. Хартлі розумів, що повідомлення мають різну ймовірність і, отже, несподіванка їх появи для одержувача неоднакова. Але, визначаючи кількість інформації, він намагався повністю виключити чинник «несподіванки». Тому формула Хартлі дозволяє визначити кількість інформації в повідомленні тільки для випадку, коли поява символів равновероятно і вони статистично незалежні. На практиці ці умови виконуються рідко. При визначенні кількості інформації необхідно враховувати не тільки кількість різноманітних повідомлень, які можна отримати від джерела, але і ймовірність їх отримання.