Значимість коефіцієнтів лінійної регресії

Перевірка статистичної значущості коефіцієнтів лінійної регресії полягає в перевірці гіпотези значущості або незначущості відмінності оцінок деяких регресійних коефіцієнтів від нуля. Якщо в результаті перевірки виявляється, що відмінність оцінок якихось регресійних коефіцієнтів від нуля не впливає на якість моделі, то відповідні предікторние змінні можна виключити з регресійній моделі.

позначення

• - набір предікторних змінних

• - коефіцієнти лінійної регресії.

• - залежна змінна (відгук)

Модель лінійної регресії має вигляд:

Нехай .Введём додаткові позначення:

Аналіз структкрой моделі

Якщо для, X, \ Theta "> виконано (1). То кажуть, що співвідношення (1) описує" процес, який породжує дані "або що (1) є" справжньою моделлю ". Як правило, на практиці справжня модель невідома, дослідник оцінює модель, яка лише наближено відповідає процесу, що породжує дані. Вибір регресорів, які присутні в моделі назвемо структурою моделі.

Виникає питання про співвідношення між МНК-оцінок параметрів в істинної і обраної моделі. Розглянемо дві ситуації:

• в оцінюваної моделі отсутствет частина предікторних змінних, які є в істинної моделі (виняток істотних змінних);
• в оцінюваної моделі присутні предікторних змінні, яких немає в істинної моделі (включення несуттєвих змінних).

Затвердження 1 (виняток істотних змінних):

Затвердження 1 говорить про те, що якщо при побудові моделі регресії ми недобрали предікторних змінних, то отримаємо погану МНК-оцінку для параметрів регресії.

Затвердження 2 (включення несуттєвих змінних):

Тут - слід коваріціонной матриці оцінок. У затвердження 2 говориться, що якщо у регресійній моделі присутні зайві предікторние змінних, то зростають дисперсії отриманих МНК-оцінок.

Можна зробити висновок, що якщо не виконувати перевірок на значимість предікторних змінних, то для отримання хорошої МНК-оцінки коефіцієнтів регресії краще взяти предікторних змінних більше, ніж недобрати їх.

Перевірка значущості коефіцієнтів

Коефіцієнт лінійної регресії вважається значимим. якщо його МНК-оцінка відмінна від нуля.

Наведемо критерій Фішера перевірки значущості коефіцієнтів лінійної регресії.

Нульова гіпотеза стверджує, що відгук не залежить від предікторних змінних.

має має розподіл Фішера з і ступенями свободи. Тоді критичною областю критерію є правий хвіст розподілу Фішера, що відповідає альтернативній гіпотезі.

• якщо F_ (k-k_1, n-k) "> F_ (k-k_1, n-k)" >, то нульова гіпотеза відкидається на користь альтернативи;

• якщо