1 5 Как вимірюється кількість інформації

1.5. Як вимірюється кількість інформації?

Яка кількість інформації міститься, наприклад, в тексті роману "Війна і мир", у фресках Рафаеля або в генетичному коді людини? Відповіді на ці питання наука не дає і, цілком ймовірно, дасть не скоро. А чи можливо об'єктивно виміряти кількість інформації. Найважливішим результатом теорії інформації є наступний висновок:

У певних, досить широких умовах можна знехтувати якісними особливостями інформації, висловити її кількість числом, а також порівняти кількість інформації, що міститься в різних групах даних.

В даний час набули поширення підходи до визначення поняття "кількість інформації", засновані на тому, що інформацію, що міститься в повідомленні, можна нестрого трактувати в сенсі її новизни або, інакше, зменшення невизначеності наших знань про об'єкт. Ці підходи використовують математичні поняття ймовірності і логарифма. Якщо ви ще не знайомі з цими поняттями, то можете поки пропустити цей матеріал.

Підходи до визначення кількості інформації. Формули Хартлі і Шеннона.

Американський інженер Р. Хартлі в 1928 р процес отримання інформації розглядав як вибір одного повідомлення з кінцевого наперед заданої множини з N рівноймовірно повідомлень, а кількість інформації I, що міститься в обраному повідомленні, визначав як двійковий логарифм N.

Припустимо, потрібно вгадати одне число з набору чисел від одиниці до ста. За формулою Хартлі можна обчислити, скільки інформації для цього потрібно: I = log2 100  6,644. Таким чином, повідомлення про вірно вгадав числі містить кількість інформації, приблизно рівне 6,644 одиниці інформації.

Наведемо інші приклади рівноймовірно повідомлень.

при киданні монети: "випала решка". "Випав Прилуки";

на сторінці книги: "кількість букв парне". "Кількість букв непарне".

Визначимо тепер, чи є рівноімовірними повідомлення "першою вийде з дверей будівлі жінка" і "першим вийде з дверей будівлі чоловік". Однозначно відповісти на це питання не можна. Все залежить від того, про який саме будівлі йде мова. Якщо це, наприклад, станція метро, то ймовірність вийти з дверей першим однакова для чоловіка і жінки, а якщо це військова казарма, то для чоловіка ця ймовірність значно вище, ніж для жінки.

Для завдань такого роду американський вчений Клод Шеннон запропонував в 1948 р іншу формулу визначення кількості інформації, що враховує можливу неоднакову вірогідність повідомлень в наборі.

Легко помітити, що якщо ймовірності p1. pN рівні, то кожна з них дорівнює 1 / N. і формула Шеннона перетворюється в формулу Хартлі.

Крім двох розглянутих підходів до визначення кількості інформації, існують і інші. Важливо пам'ятати, що будь-які теоретичні результати застосовні лише до певного кола випадків, окресленому початковими припущеннями.

В якості одиниці інформації Клод Шеннон запропонував прийняти один біт (англ. Bit - binarydigit - двійкова цифра).

Битв теорії інформації - кількість інформації, необхідне для розрізнення двох рівноймовірно повідомлень (типу "орел" - "решка", "чет" - "непарне" і т.п.).

В обчислювальній техніці бітом називають найменшу "порцію" пам'яті комп'ютера, необхідну для зберігання одного з двох знаків "0" і "1", що використовуються для внутримашинного представлення даних і команд.

Біт - занадто дрібна одиниця виміру. На практиці частіше застосовується більш велика одиниця - байт. рівна восьми бітам. Саме вісім бітів потрібно для того, щоб закодувати будь-який з 256 символів алфавіту клавіатури комп'ютера (256 = 2 8).

Широко використовуються також ще більші похідні одиниці інформації.

1 Кілобайтів (Кбайт) = 1024 байт = 210байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 220байт,

1 Гігабайт (Гбайт) = 1024 Мбайт = 230байт.

Останнім часом у зв'язку зі збільшенням обсягів оброблюваної інформації входять у вжиток такі похідні одиниці, як:

1 Терабайт (Тбайт) = 1024 Гбайт = 240байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 250байт.

За одиницю інформації можна було б вибрати кількість інформації, необхідне для розрізнення, наприклад, десяти рівноймовірно повідомлень. Це буде не двійкова (біт), а десяткова (дит) одиниця інформації.

1.6. Що можна робити з інформацією?

Інформація достовірна, якщо вона відображає дійсний стан справ. Недостовірна інформація може привести до неправильного розуміння або прийняття неправильних рішень.

Достовірна інформація з часом може стати недостовірною. так як вона має властивість застарівати. тобто перестає відображати дійсний стан справ.

Інформація повна, якщо її достатньо для розуміння і прийняття рішень. Як неповна, так і надлишкова інформація стримує прийняття рішень чи може спричинити помилки.

Точність інформації визначається ступенем її близькості до реального стану об'єкта, процесу, явища і т.п.

Цінність інформації залежить від того, наскільки вона важлива для вирішення завдання. а також від того, наскільки в подальшому вона знайде застосування в будь-яких видах діяльності людини.

Тільки своєчасно отримана інформація може принести очікувану користь. Однаково небажані як передчасна подача інформації (коли вона ще не може бути засвоєна), так і її затримка.

Якщо цінний і своєчасна інформація виражена незрозумілим чином. вона може стати марною.

Інформація стає зрозумілою. якщо вона виражена мовою, якою розмовляють ті, кому призначена ця інформація.

Інформація повинна подаватись в доступній (за рівнем сприйняття) формі. Тому одні й ті ж питання по різному викладаються в шкільних підручниках і наукових виданнях.

Інформацію по одному і тому ж питанню можна викласти коротко (стисло, без несуттєвих деталей) або докладно (детально, багатослівно). Стислість інформації необхідна в довідниках, енциклопедіях, підручниках, всіляких інструкціях.

1.8. Що таке обробка інформації?

Обробка інформації - отримання одних інформаційних об'єктів з інших інформаційних об'єктів шляхом виконання деяких алгоритмів [15].

Обробка є однією з основних операцій, виконуваних над інформацією, і головним засобом збільшення обсягу і різноманітності інформації.

Засоби обробки інформації - це всілякі пристрої і системи, створені людством, і в першу чергу, комп'ютер - універсальна машина для обробки інформації.

Комп'ютери обробляють інформацію шляхом виконання деяких алгоритмів.

Живі організми і рослини обробляють інформацію за допомогою своїх органів і систем.

1.9. Що таке інформаційні ресурси та інформаційні технології?

Інформаційні ресурси - це ідеї людства і вказівки по їх реалізації, накопичені в формі, що дозволяє їх відтворення.

Це книги, статті, патенти, дисертації, науково-дослідницька та дослідно-конструкторська документація, технічні переклади, дані про передовий виробничий досвід і ін. [42].

Інформаційні ресурси (на відміну від усіх інших видів ресурсів - трудових, енергетичних, мінеральних і т.д.) тим швидше ростуть, чим більше їх витрачають.

Інформаційна технологія - це сукупність методів і пристроїв, що використовуються людьми для обробки інформації.

Людство займалося обробкою інформації тисячі років. Перші інформаційні технології грунтувалися на використанні рахунків і писемності. Близько п'ятдесяти років тому почалося виключно швидкий розвиток цих технологій, що в першу чергу пов'язано з появою комп'ютерів.

В даний час термін "інформаційна технологія" вживається в зв'язку з використанням комп'ютерів для обробки інформації. Інформаційні технології охоплюють всю обчислювальну техніку і техніку зв'язку і, почасти, - побутову електроніку, телебачення і радіомовлення.

Народи розвинених країн усвідомлюють, що вдосконалення інформаційних технологій представляетсамую важливу, хоча дорогу і важке завдання.

В даний час створення великомасштабних інформаційно-технологічних систем є економічно можливим, і це зумовлює появу національних дослідницьких і освітніх програм, покликаних стимулювати їх розробку.

1.10. Що розуміють під інформатизацією суспільства?

Мета інформатизації - поліпшення якості життя людей за рахунок збільшення продуктивності і полегшення умов їх праці.

1.11. Питання для самоконтролю

1.1. Що означає термін "інформатика" і яке його походження?

1.2. Які області знань і адміністративно-господарської діяльності офіційно закріплені за поняттям "інформатика" з 1978 року?

1.3. Які сфери людської діяльності і в якій мірі зачіпає інформатика?

1.4. Назвіть основні складові частини інформатики та основні напрямки її застосування.

1.5. Що мається на увазі під поняттям "інформація" в побутовому, природно-наукове та технічне сенсах?

1.6. Наведіть приклади знання фактів і знання правил. Назвіть нові факти і нові правила, які Ви дізналися за сьогоднішній день.

1.7. Від кого (або чого) людина приймає інформацію? Кому передає інформацію?

1.8. Де і як людина зберігає інформацію?

1.9. Що необхідно додати в систему "джерело інформації - приймач інформації", щоб здійснювати передачу повідомлень?

1.10. Які типи дій виконує людина з інформацією?

1.11. Наведіть приклади ситуацій, в яких інформація

Глава 1. Теоретичні основи інформатики. Немає такої великої речі. Введення .......................................................................................... 3 Семінар 1. Інформатика як наука і вид практичної діяльності. 1.1. Історія розвитку інформатики .............................................. ...... .4 1.2. Інформатика як.

баз даних, включений в загальний курс інформатики і обчислювальної техніки. І дійсно, сучасний світ. Глава 1. ВведеніеГлава 2. Основні поняття і визначення Глава 3. Теоретико-графові моделі даних Глава 4. Реляційна модель даних Глава.

Е.А.СІМАНОВСКІЙ Введення в інформатику навчальний посібник зміст Глава 1. Основні поняття теорії інформації та кодування 5. з одиниці і триває до безкінечності: 1, 2, 3, 4, .... В інформатиці натуральні числа, доповнені нулем, представляють.