Взаємна інформація та її властивості

Визначимо тепер інформацію, що міститься в одному ансамблі щодо іншого, наприклад, у прийнятому сигналі щодо надісланого повідомлення. Для цього розглянемо повідомлення двох дискретних ансамблів A і B. взагалі кажучи, залежних. Його можна інтерпретувати як пару ансамблів повідомлень, або як ансамблі повідомлення і сигналу, за допомогою якого повідомлення передається, або як ансамблі сигналів на вході і виході каналу зв'язку і т. Д. Нехай P (ak, bl) спільна ймовірність реалізацій ak і bl. Спільної ентропією ансамблів A і B будемо називати:

Введемо також поняття умовної ентропії:

З теореми множення ймовірностей

випливає, що . (10.8)

Для умовної ентропії справедливо подвійне нерівність:

Розглянемо два крайніх випадки:

1.Равенство має місце в тому випадку, коли, знаючи реалізацію. можна точно встановити реалізацію. Іншими словами, містить повну інформацію про.

2.Інший крайній випадок, коли має місце, якщо події і незалежні. У цьому випадку знання реалізації не зменшує невизначеності. тобто не містить ніякої інформації про А.

Взаємна інформація вимірюється в тих же одиницях, що і ентропія. Величина показує, скільки ми в середньому отримуємо біт інформації про реалізацію ансамблю. спостерігаючи реалізацію ансамблю.

Сформулюємо основні властивості взаємної інформації:

1.. причому рівність має місце тоді і тільки тоді, коли і незалежні між собою

2.. тобто містить стільки ж інформації щодо. скільки містить відносно. Це властивість випливає з симетрії вираження. Тому можна також записати:

3.. причому рівність має місце, коли по реалізації можна точно встановити реалізацію.

4.. причому рівність має місце, коли по реалізації можна точно встановити реалізацію.

5. Вважаючи і враховуючи, що отримаємо:

Це дозволяє інтерпретувати ентропію джерела як його власну інформацію, тобто інформацію, що міститься в ансамблі про самого себе.

отримаємо відповідні рівності для ентропії і кількості інформації, розрахованих не на одне повідомлення, а на одиницю часу. Величина називається швидкістю передачі інформації від до (або навпаки). Розглянемо приклад: якщо - ансамбль сигналів на вході дискретного каналу, а - ансамбль сигналів на його виході, то швидкість передачі інформації по каналу.

- продуктивність джерела сигналу, що передається.

"Продуктивність каналу", тобто повна власна інформація про прийнятому сигналі за одиницю часу.