Передача інформації по каналу СКНАУ здатність каналу
Передача інформації по каналу зв'язку. Пропускна здатність каналу
Введення понять ентропії, кількості інформації, швидкості видачі інформації джерелом, надмірності дозволяють характеризувати властивості інформаційних систем. Однак для порівняння інформаційних систем тільки такого опису недостатньо. Зазвичай нас цікавить не тільки передача даної кількості інформації, але передача його в якомога коротший термін; не тільки зберігання певної кількості інформації, але зберігання за допомогою мінімальної за обсягом апаратури і т.п.
Нехай кількість інформації, що передається по каналу зв'язку за час Т одно
. Якщо передача повідомлення триває Т одиниць часу, то швидкість передачі інформації складе.
Це кількість інформації, що припадає в середньому на одне повідомлення. Якщо в секунду передається n повідомлень, то швидкість передачі становитиме.
Пропускна здатність каналу є максимально досяжна для даного каналу швидкість передачі інформації:
Або максимальну кількість інформації, що передається за одиницю часу:
Швидкість передачі може бути технічної або інформаційної.
Під технічною швидкістю VT. званої також швидкістю маніпуляції, мається на увазі число елементарних сигналів (символів), переданих в одиницю часу бод.
Інформаційна швидкість або швидкість передачі інформації, визначається середньою кількістю інформації, що передається в одиницю часу і вимірюється (б / с). R = nH.
Для рівноймовірно повідомлень складених з рівноймовірно взаємно незалежних символів
У разі якщо символом не різновірогідні
У разі якщо символи мають різну тривалість
Вираз для пропускної здатності відрізняється тим, що характеризується максимальною ентропією
Для двійкового коду біт / сек
Пропускна здатність є найважливішою характеристикою каналів зв'язку. Виникає питання: якою має бути пропускна здатність каналу, щоб інформація від джерела X до приймача Y надходила без затримок? Відповідь на це питання дає 1ая теорема Шеннона.
Якщо є джерело інформації з ентропією Н (х) і канал зв'язку з пропускною спроможністю С, то якщо С> H (X), то завжди можна закодувати досить довге повідомлення таким чином, що воно буде передано без затримок. Якщо ж, навпаки, С У будь-якому реальному каналі завжди присутні перешкоди. Однак, якщо їх рівень настільки малий, що ймовірність спотворення практично дорівнює нулю, можна умовно вважати, що всі сигнали передаються неспотвореними. У цьому випадку середня кількість інформації, що переноситься одним символом одно I (X. Y) = I (X. X) = H (X). Максимальне значення Hmax = log m. Отже, пропускна здатність дискретного каналу без перешкод за одиницю часу дорівнює Реальні канали характеризуються тим, що на канали завжди впливають перешкоди. Пропускна здатність дискретного каналу з перешкодами обчислюється за формулою C = n [H (Y) - H (Y / X)] max. Де середня, умовна ентропія з боку приймача сигналів А ентропія сигналів визначається з умови максимального значення H (y) = log m. Приклад 3.1. Нехай потрібно визначити пропускну здатність бінарного каналу зв'язку. При цьому з імовірністю p кожен з двійкових сигналів може перейти в протилежний сигнал. На рис.3.2 представлена модель передачі бінарних сигналів 1 - p ймовірність неспотвореної передачі сигналів p ймовірність спотворення сигналів Рис.3.2. Симетричний канал передачі сигналів в умовах перешкод, де x 1 і х2 передаються сигнали типу "0" або "1", y 1 і y 2. сигнали, що приймаються Знайдемо повну умовну ентропію системи y щодо x Графік функції має наступний вигляд: при p = 0 (тобто при відсутності перешкод) і при p = 1 (тобто при негативній передачі). При p = 1/2 пропускна здатність мінімальна. Рис.3.3. Графік функції С = f (p) Приклад 3.2. Розглянемо більш загальний випадок передачі по дискретному каналу. Знайдемо п ропускную здатність m -ічного каналу зв'язку. На рис. 3.4 представлена модель передачі m -ічних сигналів, де x 1, х2, ..., х m джерела інформації, y 1. y 2, ..., ym приймачі інформації. Імовірність помилки - p. Імовірність безпомилкової передачі сигналів дорівнює 1 - p. а в разі помилки переданий сигнал може з однаковою ймовірністю (рівній) бути сприйнятим як будь-який з m-1 відмінних від нього сигналів. Рис.3.4. m - ічний канал передачі інформації Повна умовна ентропія системи Y відносно X Графік функції С (p) пропускної здатності каналу зв'язку при m = 4 представлений на рис.3.5 Рис.3.5. Графік функції C (p) Ця функція максимальна при p = 0, при ймовірності. При p = 1. Для дискретних каналів з перешкодами Шеннон дав другу теорему. Нехай є джерело інформації X. ентропія якого в одиницю часу дорівнює H (X), і канал з пропускною спроможністю C. Якщо H (X)> C. то при будь-якому кодуванні передача повідомлень без затримок і спотворень неможлива. Якщо ж H (X)Матриця для знаходження умовної ймовірності
Найбільше значення ця функція приймаєМатриця умовних ймовірностей має вигляд