Поняття кількості інформації, інформатика

Властивість повноти інформації негласно передбачає, що є можливість вимірювати кількість інформації. Яка кількість інформації міститься в даній книзі, яка кількість інформації в популярній пісеньці? Що містить більше інформації: роман «Війна і мир» або повідомлення, отримане в листі від товариша? Відповіді на подібні питання непрості і неоднозначні, так як у всякій інформації присутній суб'єктивна компонента.
А чи можливо взагалі об'єктивно виміряти кількість інформації? Найважливішим результатом теорії інформації є висновок про те, що в певних, досить широких умовах, можна, нехтуючи якісними особливостями інформації, висловити її кількість числом, а отже, порівнювати кількість інформації, що міститься в різних групах даних.

Кількістю інформації називають числову характеристику інформації, яка відображатиме ту ступінь невизначеності, яка зникає після отримання інформації.

Розглянемо приклад: будинки осіннім ранком, старенька припустила, що можуть бути опади, а можуть і не бути, а якщо будуть, то в формі снігу або в формі дощу, тобто «Бабуся надвоє сказала - чи то буде, чи то ні, то чи дощик, чи то сніг». Потім, виглянувши у вікно, побачила похмуре небо і з великою ймовірністю припустила - опади будуть, тобто отримавши інформацію, знизила кількість варіантів вибору. Далі, глянувши на зовнішній термометр, вона побачила, що температура негативна, значить, опади слід очікувати у вигляді снігу. Таким чином, отримавши останні дані про температуру, бабуся отримала повну інформацію про майбутню погоду
і виключила все, крім одного, варіанти вибору.

Наведений приклад показує, що поняття «інформація», «невизначеність», «можливість вибору» тісно пов'язані. Отримана інформація зменшує число можливих варіантів вибору
(Тобто невизначеність), а повна інформація не залишає варіантів взагалі.

За одиницю інформації приймається один біт (англ. Bit -binary digit - двійкова цифра). Це кількість інформації, при якому невизначеність, тобто кількість варіантів вибору, зменшується вдвічі або, іншими словами, це відповідь на питання, що вимагає однозначної дозволу - так чи ні.

Широко використовуються ще більші похідні одиниці інформації:

1 Кілобайтів (Кбайт) = 1024 байт = 2 ю байт,
1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,
1 Гігабайт (Гбайт) = 1024 Мбайт = 2 30 байт,
1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт.

За одиницю інформації можна було б вибрати кількість інформації, необхідне для розрізнення, наприклад, десяти рівноймовірно повідомлень. Це буде не двійкова (біт), а десяткова (дит) одиниця інформації. Але дана одиниця використовується рідко в комп'ютерній техніці, що пов'язано з апаратними особливостями комп'ютерів.