взаємна інформація

Таким чином, ми можемо визначити кількість інформації про систему Х, ведучи спостереження безпосередньо за системою Х. На практиці часто буває, що система Х для спостереження не доступна, і тоді ведуть спостереження за іншою системою Y. як - то пов'язаної з системою Х. Наприклад , замість безпосереднього спостереження за космічним кораблем ведеться спостереження за системою сигналів, які передаються його апаратурою. Або спостереження за футбольним матчем по телевізору.

Між системою X і Y є відмінності, які можуть бути двох видів:

1.Разлічія за рахунок того, що деякі стану системи X не знаходять відображення в системі Y (Y менш докладна, ніж система X).

2.Разлічія за рахунок помилок: неточностей вимірювання параметрів системи X і помилок при передачі повідомлень.

Наприклад, в чорно - білому телебаченні втрачається колір; вплив перешкод, які вносять спотворення.

Тобто система Y відрізняється від системи X. Виникає питання: яка кількість інформації про систему X дає спостереження системи Y. Цю інформацію визначають як зменшення ентропії системи X в результаті отримання відомостей про систему Y.

де H (X) - апріорна ентропія до спостереження, H (X / Y) - залишкова ентропія, після отримання відомостей, - повна або середня інформація про систему X. міститься в системі Y.

У загальному випадку, при наявності двох систем, кожна містить відносно іншої системи одну і ту ж повну інформацію. Покажемо це:

- називається повної взаємної інформацією міститься в системах X та Y.

Подивимося, у що звертається повна взаємна інформація в крайніх випадках повної незалежності і повної залежності систем. Якщо X і Y незалежні системи, то H (Y / X) = H (Y), і = 0. Це і зрозуміло, так як не можна отримати відомостей про систему, спостерігаючи замість неї іншу систему, ніяк з нею не пов'язану.

Інший крайній випадок X і Y повністю визначають один одного, тобто збігаються. Тоді H (X) = H (Y), H (X / Y) = H (Y / X) = 0

Розглянемо випадок, коли між X і Y є жорстка залежність, але одностороння: стан однієї з систем повністю визначає стан іншої, але не навпаки. Станом підпорядкованої системи взагалі не можна однозначно визначити стан іншої. Очевидно, ентропія підпорядкованої системи менше ніж та, якою вона підпорядковується, так як вона менш докладна. Тоді повна взаємна інформація, що міститься в системах, з яких одна є підпорядкованою, дорівнює ентропії підпорядкованої системи.

Нехай з двох систем X і Y підпорядкованої є Y. Тоді H (Y / X) = 0. і

Таким чином, повна взаємна інформація, що міститься в системах, з яких одна є підпорядкованою, дорівнює ентропії підпорядкованої системи.

Виведемо вираз для інформації не через умовну ентропію, а через ентропію об'єднаної системи і ентропію окремих її частин H (X), H (Y).

Висловимо повну взаємну інформацію через ймовірності станів системи. Для цього запишемо значення ентропії окремих систем через математичне очікування:

Таким чином, отримали повну взаємну інформацію про одну системі X за допомогою іншої системи Y. (Інформація "від системи до системи"). Крім повної взаємної інформації існують і приватні види взаємної інформації. Вираз (1.12) представимо у вигляді

Тоді, друга сума і буде представляти приватну інформацію про систему X. одержувану за допомогою окремого події системи Y.

Вираз (1.13) являє приватну інформацію "від події до системи". Далі можна визначити приватну інформацію про подію xi. міститься в подію yj (інформація "від події до події"):