Оцінка параметрів розподілу за результатами спостереження випадкової величини

У багатьох випадках закон розподілу спостережуваної випадкової величини відомий з точністю до деякого параметра (або вектора параметрів). Тобто щільність розподілу спостережуваної випадкової величини залежить від невідомого параметра, який і треба визначити (оцінити) за вибіркою. Таке завдання в математичній статистиці називається завданням оцінки параметрів розподілу.

Очевидно, що оцінка параметра залежить від результатів спостережень:.

Довільна функція від результатів спостережень називаетсястатістікой.

Якість оцінок характеризується наступними основними властивостями.

Спроможність. Оцінка називається спроможною оцінкою параметра, якщо сходиться по ймовірності до при збільшенні обсягу вибірки (). Це означає, що для будь-кого.

Незміщеність. Оцінка називається несмещенной оцінкою параметра, якщо її математичне сподівання дорівнює оцінюваному параметру, тобто . Для оцінки параметра можна запропонувати кілька незміщене оцінок. Мірою точності несмещенной оцінки вважають її дисперсію.

Ефективність. Несмещенная оцінка параметра, дисперсія якої досягає свого найменшого значення називається ефективною оцінкою.

Несмещенная оцінка називається асимптотично ефективною, якщо найменша дисперсія досягається в межі при збільшенні обсягу вибірки.

Розглянемо задачу оцінки параметрів з позицій теорії статистичних рішень.

Позначимо - оцінка невідомого параметра. Очевидно також належить множині. Оцінка відрізняється від істинного значення параметра. Введемо міру відмінності між оцінкою і істинним значенням параметра: - функція зі значеннями на числової осі. Мінімум цієї функції буде при, тобто коли оцінка збігається з істинним значенням параметра. Таким чином, . У теорії статистичних рішень ця функція називається функцією втрат, або функцією вартості, або функцією ризику. Чим більше істинне значення параметра відрізняється від його оцінки, тим більше повинно бути відмінність між ними і, отже, більше повинні бути втрати.

Ясно, що при знаходженні оцінки за результатами спостережень бажано вибрати таку оцінку, для якої відмінність від істинного значення параметра було б мінімальним. Тобто оцінка повинна мінімізувати функцію вартості.

Але результати спостережень є реалізації деякої векторної випадкової величини, отже оцінка також випадкова величина. Крім того сам оцінюваний параметр також може трактуватися як деяка випадкова величина.

Таким чином, функція втрат залежить від випадкових величин і сама є випадковою величиною.

З математичної точки зору некоректно знаходити екстремум випадкової величини, тому поставити задачу знаходження оцінки, яка мінімізує функцію вартості, неможливо.

Можна поставити задачу отримання оцінки, яка при великій серії випробувань давала б в середньому найменші втрати, тобто в середньому найменш відрізнялася від істинного значення параметра.

Такий підхід призводить до задачі мінімізації математичного очікування функції втрат (або функції ризику).

Оцінка, отримана за цим критерієм називається оцінкою по мінімуму середнього ризику.

Щоб отримати таку оцінку треба знати закон розподілу вибіркових випадкових величин з точністю до оцінюваного параметра, а також закон розподілу самого оцінюваного параметра.

Середній ризик, як математичне сподівання функції, ризику має вигляд:

Тут - спільна щільність розподілу вибіркових випадкових величин і оцінюваного параметра.

Так як - звичайна функція зі значеннями на числової осі, то можна поставити задачу знаходження оцінки, що мінімізує цю функцію:

Тут враховано, що спільна щільність розподілу може бути записана через умовну і безумовну щільності двома різними способами.

Зауважимо, що завдання мінімізації середнього ризику може бути зведена до задачі мінімізації умовного ризику:

Запишемо підінтегральний вираз в (9) в наступному вигляді:

Так як - невід'ємна функція, то мінімум середнього ризику буде досягатися в тому випадку, якщо для кожного значення внутрішній інтеграл буде мінімальним. Таким чином, оцінка знаходиться з рішення наступної екстремальної задачі:

Оцінка отримана таким чином називається байєсівської оцінкою.

Розглянемо задачу оцінки для конкретного виду функції втрат (ризику).

Квадратична функція втрат

У разі оцінки одного параметра.

Оптимальна оцінка знаходиться з рішення наступної екстремальної задачі:

Тут перший доданок від не залежить і на рішення не впливає, а останній інтеграл дорівнює одиниці.

Неважко бачити, що мінімізується, функція є поліном другого ступеня, мінімум якого єдиний і досягається в точці:

Даний інтеграл є умовне математичне очікування оцінюваного параметра.

Таким чином, оптимальною оцінкою параметра за критерієм мінімуму середнього ризику при квадратичної функції втрат є умовне математичне очікування оцінюваного параметра.

Нехай - вибірковий випадковий вектор, компоненти якого є незалежними і однаково розподілені по гауссовскому закону:.

Оцінюваним параметром є математичне очікування, яке в свою чергу є випадковою величиною, розподіленою по гауссовскому закону:

Знайти оптимальну оцінку параметра за критерієм мінімуму середнього ризику при квадратичної функції втрат.

Так як оптимальної оцінкою в цьому випадку є умовне математичне сподівання випадкової величини, за умови, що вибірковий вектор, то знайдемо умовну щільність розподілу випадкової величини.

Підставляючи щільності розподілу за умовою задачі, отримаємо:

При обчисленні інтеграла зауважимо, що.

Тому, якщо привести показник експоненти до повного квадрату і скористатися наведеними властивістю, то в результаті інтегрування отримаємо:

Умовна щільність розподілу набуде вигляду:

Як бачимо, це щільність розподілу гауссовской випадкової величини з математичним очікуванням і дисперсією.

Таким чином, оптимальна оцінка параметра має вигляд:

Зауважимо, що оцінка є вагова сума вибіркового середнього і апріорного математичного очікування оцінюваного параметра. Сума ваг вибіркового середнього і апріорного математичного очікування дорівнює одиниці ().

Якщо апріорна дисперсія оцінки мала, то оцінка в основному зосереджена близько апріорного математичного очікування. Спостереження в цьому випадку неінформативні. І, навпаки, при великій апріорної дисперсії оцінка в основному визначається даними спостережень (зосереджена близько вибіркового середнього).

Проста функція втрат

Нехай при оцінці одного параметра функція втрат має вигляд (рис. 18). Ця функція втрат називається простий.

Тоді оптимальна оцінка повинна перебувати з рішення наступної екстремальної задачі:

Зауважимо, що при малих значеннях величини інтеграл можна записати у вигляді (рис. 19):

Тому оптимальна оцінка параметра визначається як рішення наступного екстремальної задачі:

Зауважимо, що функція називається апостеріорної щільністю розподілу параметра, тому оцінка, яка визначається виразом (10) називається оцінкою за критерієм максимуму апостеріорної щільності ймовірності.

Врахуємо, що, тому оцінку по максимуму апостеріорної щільності ймовірності можна записати також у вигляді:

Тут - називається функцією правдоподібності. а - апріорної щільністю розподілу оцінюваного параметра.

Зауважимо, що оцінка по максимуму апостеріорної щільності ймовірності може бути знайдена шляхом пошуку максимуму будь монотонно зростаючої функції від апостеріорної щільності ймовірності. Дуже часто в якості такої функції беруть натуральний логарифм:

Розглянемо попередній приклад пошуку оцінки параметра розподілу. В якості критерію оптимізації візьмемо критерій максимуму апостеріорної щільності ймовірності.

Апостеріорну щільність для цього випадку ми вже знаходили. Вона є гауссовской з математичним очікуванням. Максимум такої щільності буде в точці її математичного очікування. Отже, оптимальна оцінка за критерієм максимуму апостеріорної щільності ймовірності і за критерієм мінімуму середнього ризику при квадратичної функції втрат для цього випадку збігаються.

Таким чином, в тих випадках, коли математичне сподівання є точка максимуму апостеріорної щільності ймовірності, оцінки за критерієм середнього ризику при квадратичної функції втрат і максимуму апостеріорної щільності ймовірності рівні. В іншому випадку виходять різні алгоритми оцінок.

Зауважимо, що вибір функції втрат є не математичним завданням, а завданням статистика, формує математичну модель явища, пов'язану з обробкою спостережуваних даних.

Оцінки максимальної правдоподібності

Розглядаючи критерій максимуму апостеріорної щільності ймовірності (11) зауважимо, що якщо в околиці максимуму цієї щільності апріорна щільність оцінюваного параметра практично постійна (від не залежить), то оптимальна оцінка може бути отримана за критерієм:

Цей критерій пошуку оптимальної оцінки має самостійне значення в математичній статистиці і називається критерієм максимуму правдоподібності.

Цей критерій може використовуватися, коли не можна вважати оцінюваний параметр випадковою величиною, що потрібно за критерієм середнього ризику і максимуму апостеріорної щільності ймовірності.

У загальному випадку функцію правдоподібності будемо записувати не у вигляді умовної щільності, що справедливо, коли оцінюваний параметр є випадковою величиною, а в параметричному вигляді:.

Для спрощення обчислень, пов'язаних з отриманням максимально правдоподібною оцінки можна використовувати будь-яку монотонно зростаючу функцію від функції правдоподібності. Дуже часто використовують натуральний логарифм.

При виконанні деяких, досить загальних, умов оцінки максимальної правдоподібності спроможні. асимптотично ефективні й асимптотично нормально розподілені. Останнє означає, що

Якщо для параметра існує ефективна оцінка, то метод максимальної правдоподібності дає саме цю оцінку.

Як приклад знайдемо максимально правдоподібну оцінку математичного очікування по вибірковому гауссовскому вектору, який ми розглядали в попередніх розділах.

Схожі документи:

Основна освітня програма