Рівномірні прості коди

Як випливає з визначення, прості рівномірні коди сос-тоят з комбінацій однакової довжини.

Нехай є деяка повідомлення, що складається з М еле-ментів, що представляє собою деяку послідовність m (m<

де N - число можливих варіантів послідовностей з M елементів.

Оскільки послідовність з M елементів складена знаками, кожен з яких (xi) з'являється в послідовно-вательності з різними можливостями рi. то, використовуючи формулу Стерлінга, можна показати, що кількість інформації в цій послідовності буде:

На один елемент повідомлення припадатиме в середньому кількість інформації:

Якщо кожен знак повідомлення кодується n -елементной кодовою комбінацією, станів з двійкових символів, то кожен з них буде містити НЕ кількості інформації

Очевидно, що код слід вважати найкращим з точки зору швидкості передачі тоді, коли НЕ буде максимально можливим.

З теорії інформації відомо, що один двійковий елемент може містити максимальну кількість інформації дорівнює 1-му битку, тобто завжди Нє <= I.

може служити мірою, інформаційної недовантаження кожного двоіче-ного елемента.

Якщо число знаків, з яких складається повідомлення, m = 2n і все знаки різновірогідні pi = 1 / m. то величина R = 0 Дійсно.

Таким чином, максимальна швидкість передачі рівномірно-го простого коду буде тоді і тільки тоді, коли виконуються умови

де n - ціле число.

Крім того, за рахунок простих способів визначення на при-емной стороні початку і кінця кожної кодової комбінації, що є необхідною умовою однозначного декодування, по-мехоустойчівость рівномірних кодів досить висока. Важливим фактором є також те, що прості рівномірні коди ліг-ко перетворюються в коригувальні коди для підвищення достовірний-ності інформації. Все це призвело до того, що рівномірні ко-ди отримали широке застосування на практиці.

Збільшення алфавіту може бути досягнуто за рахунок того, що кодуються не тільки окремі літери (цифри), а й цілі слова і навіть окремі фрази. Природно - це викликає не-обходимость збільшення числа регістрів при використанні того ж 5-елементного рівномірного коду.

Як зазначалося вище, нерівномірними кодами називають такі коди, які містять різну кількість елементів.

Ці коди, як і рівномірні коди, з точки зору швидкості передачі інформації можуть оцінюватися величиною інформаційної недовантаження кожного двійкового символу:

де - середня довжина кодової комбінації;

- довжина комбінації, відповідної i-му сім-волові повідомлення;

- ймовірність появи i-го символу в повідомленні.

Якщо більш імовірним символам повідомлення зіставити коротші кодові комбінації і навпаки, то середня довжина кодо-вої комбінації буде менше, тобто швидкість передачі інформа-ції таким кодом буде вище.

Такі коди називають оптимальними. Якщо символи повідомлення різко неравновероятни, то, ціла код оптимальним, іноді мож-но збільшити швидкість в порівнянні з рівномірним кодом.

При побудові нерівномірних кодів необхідно враховувати вимогу однозначного декодування повідомлення, першим етапом якого є правильне визначення початку і кінця кожної кодової комбінації. Цього можна досягти, якщо між комбінаціями ставити спеціальні розділові групи або використовувати Непріводімие коди. Непріводімим кодів полягає в тому, що в них з більш довгою комбінації не можна скласти більш ко-Ротко комбінації. В даний час розроблено цілий ряд непріводімих кодів