Ланцюги маркова 1

-м випробуванні настало подія

, не залежить від результатів попередніх випробувань.

Наприклад, якщо послідовність випробувань утворює ланцюг Маркова і повна група складається з чотирьох несумісних подій

, причому відомо, що в шостому випробуванні з'явилося подія

, то умовна ймовірність того, що в сьомому випробуванні настане подія

, не залежить від того, які події з'явилися в першому, другому, ..., п'ятому випробуваннях.

Зауважимо, що незалежні випробування є окремим випадком ланцюга Маркова. Дійсно, якщо випробування незалежні, то поява деякого певної події в будь-якому випробуванні не залежить від результатів раніше проведених випробувань. Звідси випливає, що поняття ланцюга Маркова є узагальненням поняття незалежних випробувань.

Часто при викладі теорії ланцюгів Маркова дотримуються іншої термінологія і говорять про деяку фізичну систему

, яка в кожен момент часу знаходиться в одному з станів:

, і змінює свій стан тільки в окремі моменти часу

тобто система переходить з одного стану в інший (наприклад з

). Для ланцюгів Маркова ймовірність перейти в будь-яке стан

залежить тільки від того, в якому стані система перебувала в момент

, і не змінюється від того, що стають відомими її стану в більш ранні моменти. Так само зокрема, після випробування система може залишитися в тому ж стані ( «перейти» зі стану

).

Для ілюстрації розглянемо приклад.

Приклад 1. Уявімо, що частка, що знаходиться на прямій, рухається по цій прямій під впливом випадкових поштовхів, що відбуваються в моменти

. Частка може перебувати в точках з цілочисельними координатами:

знаходяться відображають стінки. Кожен поштовх переміщує частку вправо з імовірністю

і вліво з імовірністю

, якщо тільки частка не знаходиться біля стінки. Якщо ж частка знаходиться біля стінки, то будь-який поштовх переводить її на одиницю всередину проміжку між стінками. Тут ми бачимо, що цей приклад блукання частинки являє собою типову ланцюг Маркова.

Таким чином, події називають станами системи, а випробування - змінами її станів.

Дамо тепер визначення ланцюга Маркова, використовуючи нову термінологію.

Ланцюгом Маркова з дискретним часом називають ланцюг, зміна станів якої відбувається в певні фіксовані моменти часу.

Ланцюгом Маркова з неперервним часом називають ланцюг, зміна станів якої відбувається в будь-випадкові можливі моменти часу.

§2. Однорідна ланцюг Маркова. Перехідні ймовірності. матриця переходу

Визначення. Однорідної називають ланцюг Маркова, якщо умовна ймовірність

(Перехід зі стану

) Не залежить від номера випробування. Тому замість

.

Приклад 1. Випадкове блукання. Нехай на прямій

в точці з целочисленной координатою знаходиться матеріальна частинка. У певні моменти часу частка відчуває поштовхи. Під дією поштовху частка з ймовірністю

зміщується на одиницю вправо і з ймовірністю

- на одиницю вліво. Ясно, що положення (координата) частки після поштовху залежить від того, де перебувала частка після безпосередньо передує поштовху, і не залежить від того, як вона рухалася під дією інших попередніх поштовхів.

Таким чином, випадкове блукання - приклад однорідного ланцюга Маркова з дискретним часом.

Далі обмежимося елементами теорії кінцевих однорідних ланцюгів Маркова.

називають умовну ймовірність того, що зі стану

(В якому система виявилася в результаті деякого випробування, байдуже якого номера) в результаті наступного випробування система перейде в стан

.

Таким чином, в позначенні

перший індекс вказує номер попереднього, а другий - номер подальшого стану. наприклад,

- ймовірність переходу з другого стану в третє.

Нехай число станів звичайно і так само

.

Матрицею переходу системи називають матрицю, яка містить всі перехідні ймовірності цієї системи:

Так як в кожному рядку матриці поміщені ймовірності подій (переходу з одного і того ж стану

в будь-який можливий стан

), Які утворюють повну групу, то сума ймовірностей цих подій дорівнює одиниці. Іншими словами, сума перехідних ймовірностей кожного рядка матриці переходу дорівнює одиниці:

Наведемо приклад матриці переходу системи, яка може перебувати в трьох станах

; перехід зі стану в стан відбувається за схемою однорідного ланцюга Маркова; ймовірності переходу задаються матрицею:

Тут бачимо, що якщо система перебувала в стані

, то після зміни стану за один крок вона з ймовірністю 0,5 залишиться в цьому ж стані, з імовірністю 0,5 залишиться в цьому ж стані, з імовірністю 0,2 перейде в стан

, то після переходу вона може виявитися в станах

; перейти ж зі стану

вона не може. Останній рядок матриці показує нам, що зі стану

перейти в будь-який з можливих станів з однією і тією ж імовірністю 0,1.

На основі матриці переходу системи можна побудувати так званий граф станів системи, його ще називають розмічений граф станів. Це зручно для наочного уявлення ланцюга. Порядок побудови граф розглянемо на прикладі.

Приклад 2. За заданою матрицею переходу побудувати граф станів.

Оскільки матриця четвертого порядку, то, відповідно, система має 4 можливих стану.

На графі не відзначається ймовірності переходу системи з одного стану в те ж саме. При розгляді конкретних систем зручно спочатку побудувати граф станів, потім визначити ймовірність переходів системи з одного стану в той же самий (виходячи з вимоги рівності одиниці суми елементів рядків матриці), а потім скласти матрицю переходів системи.

§3. рівність Маркова

Визначення. позначимо через

ймовірність того, що в результаті

кроків (випробувань) система перейде зі стану

в рівнянні (3), отримаємо, що

задовольняє рівняння (12). Теорема доведена.

§6. Області застосування ланцюгів Маркова

Ланцюги Маркова служать хорошим введенням в теорію випадкових процесів, тобто теорію простих послідовностей сімейства випадкових величин, зазвичай залежать від параметра, який в більшості додатків відіграє роль часу. Вона призначена, головним чином, для повного опису як довготривалого, так і локального поведінки процесу. Наведемо деякі найбільш вивчені в цьому плані питання.

Броунівський рух і його узагальнення - дифузійні процеси і процеси з незалежними приростами. Теорія випадкових процесів сприяла поглибленню зв'язку між теорією вірогідності, теорією операторів і теорією диференціальних рівнянь, що, крім іншого, мало важливе значення для фізики та інших додатків. До числа додатків відносяться процеси, що представляють інтерес для актуарної (страховий) математики, теорії масового обслуговування, генетики, регулювання дорожнього руху, теорії електричних ланцюгів, а також теорії обліку і накопичення товарів.

Стаціонарні процеси. Найстаріша з відомих ергодичної теорем, як зазначалося вище, може бути інтерпретована як результат, що описує граничну поведінку стаціонарного випадкового процесу. Такий процес має ту властивість, що всі ймовірні закони, яким він задовольняє, залишаються інваріантними щодо зрушень за часом. Ергодичної теорії, вперше сформульовану фізиками в якості гіпотези, можна уявити як твердження про те, що за певних умов середнє по ансамблю збігається із середнім за часом. Це означає, що одну і ту ж інформацію можна отримати з довготривалого спостереження за системою і з одночасного (і одномоментного) спостереження багатьох незалежних копій тієї ж самої системи. Закон великих чисел є не що інше, як окремий випадок ергодічеськой теореми Біркгофа. Інтерполяція і передбачення поведінки стаціонарних гауссовских процесів, що розуміються в широкому сенсі, є важливим узагальненням класичної теорії найменших квадратів. Теорія стаціонарних процесів - необхідне знаряддя дослідження в багатьох областях, наприклад, в теорії зв'язку, яка займається вивченням і створенням систем, що передають повідомлення при наявності шуму або випадкових перешкод.

Також ланцюг Маркова можна використовувати для генерації текстів. На вхід подається кілька текстів, потім будується ланцюг Маркова з можливостями проходження одних слів за іншими і на основі цього ланцюга створюється результуючий текст. Іграшка виходить вельми цікавою!

Таким чином, в нашій роботі мова йшла про схему ланцюгів Маркова. Дізналися, в яких областях і як вона застосовується, незалежні випробування є довели теорему про граничні ймовірності в ланцюзі Маркова, наводили приклади для типової і однорідного ланцюга Маркова, а так само для знаходження матриці переходу.

Ми переконалися в тому, що схема ланцюгів Маркова є безпосереднім узагальненням схеми незалежних випробувань.

Список використаної літератури

2. Гнеденко Б.В. Курс теорії ймовірностей.

3. Гмурман В.Є. Теорія ймовірностей і математична статистика.

4. Вентцель Е.С. Теорія ймовірностей і її інженерні додатки.

6. Кац М. Імовірність і суміжні питання у фізиці.