надмірність кодів

Поняття надмірності означає, що фактична ентропія коду або повідомлення (Н) менше, ніж максимально можлива ентропія (Hmax), т. Е. Число символів в повідомленні або елементів в символі коду більше, ніж це потрібно було б при повному їх використанні.

Поняття надмірності легко пояснити наступним прикладом.

Виділення корисного сигналу на рівні перешкод - одна з основних проблем передачі інформації. Одним із шляхів підвищення надійності передачі повідомлень може бути передача додаткових символів, тобто підвищення надмірності повідомлень.

Дійсно, по теоремі Котельникова (§ 1.7), безперервне повідомлення (сигнал) можна передати послідовністю миттєвих відліків його значень з проміжками між ними:

де fmax- верхня гранична частота в спектрі сигналу.

При наявності перешкод проміжки між відліками (# 916; tn) необхідно зменшувати, тобто

В цьому випадку ми збільшуємо число відліків і, отже, збільшуємо надмірність повідомлення і тим самим підвищуємо його перешкодозахищеність.

Нехай повідомлення з n символів містить кількість інформації I. Якщо повідомлення має надмірністю, то його (при відсутності шуму) можна передати меншим числом символів n0 (n0

За міру надмірності приймається величина R:

Таким чином, надмірність - це властивість, що характеризує можливість подання тих же повідомлень в більш економною формі.

При кодуванні надлишкових повідомлень виникає певна вихідна надмірність кодів. Наявність вихідної надмірності зменшує пропускну здатність каналів і збільшує формат повідомлень. Разом з тим в процесі передачі інформації надмірність повідомлень і кодів є засобом, корисним для боротьби із зовнішніми возмущающими впливами і перешкодами.

За наявності надмірності коди також діляться на надлишкові і ненадлишкових. Для ненадлишкових кодів характерно те, що вони дозволяють просто визначити різні символи повідомлення. Перехід від ненадлишкових коду до надмірного здійснюється шляхом внесення позицій в кодових символах, які можна отримати або шляхом різних логічних операцій, що виконуються над основними інформаційними позиціями, або шляхом використання алгоритмів, що зв'язують ненадлишкових і надлишковий коди. Наприклад, якщо є символи повідомлення А1; А2; А3; А4. то їх можна закодувати в довічним ненадлишкових коді:

Для отримання надлишкового коду можна ввести ще одну позицію, значення якої буде визначатися як сума значень попередніх символів по модулю два:

Особливістю такого коду є те, що він дозволяє виявити будь-яку одиничну помилку (помилку в одній з позицій коду), виявити в процесі передачі коду.