Економетрика - глава 3

3.2. Проблема оцінювання параметрів моделі. Багатовимірний метод найменших квадратів

При оцінці параметрів моделі за методом найменших квадратів мірою якості (критерієм якості) підгонки емпіричної регресійної функції до спостерігається вибірці служить сума квадратів помилок (залишків). У застосуванні до класичної багатовимірної лінійної регресії цей метод називається звичайним (класичним) або однокроковим багатовимірним методом найменших квадратів. Змістовний сенс критерію найменших квадратів для випадку парної лінійної регресії детально обговорювалося в розділі 2. де була приведена його графічна інтерпретація. На жаль, в багатовимірному випадку (при k> 3) також наочно графічно представити регрессионную функцію і дати інтерпретацію критерію неможливо.

Критерій найменших квадратів

Згідно (3.7) помилку лінійного рівняння регресії в i - му спостереженні можна представити таким чином

і відповідно, квадрат помилки дорівнює

Використовуючи вираз (3.9), запишемо критерій (цільову функцію) найменших квадратів в багатовимірному випадку

або, використовуючи векторно-матричні позначення, запишемо

де вектор, вектор,.

Висновок системи нормальних рівнянь

Для виведення системи нормальних рівнянь, перетворимо вираз (3.10) критерію з використанням правил дій з векторами і матрицями (див. Додаток). отримаємо

При виведенні виразу (3.11) ми використовували рівність, яке має місце, оскільки величини в правій і лівій частині його - скаляри (S (b) - скалярна функція).

Функція S (b) виду (3.11) являє собою квадратичну форму щодо вектора оцінок b. Її мінімум за параметрами b існує і визначається єдиним чином з умови рівності нулю приватних похідних функції S (b) по змінним bi. i = 1,2, ..., k.

Твердження, що мінімум функції S (b) існує і визначається єдиним чином вірно, якщо виконані умови ідентифікованих моделі лінійної регресії, тобто виконані передумови 7-9.

Використовуючи правила диференціювання скалярної функції по векторному аргументу, отримаємо вираз для похідної критерію найменших квадратів

тут - вектор - стовпець розмірності k приватних похідних цільової функції.

Мінімум цільової функції досягається в точці b. задовольняє наступній системі лінійних рівнянь, записаної в векторно-матричної формі

де для простоти запису опущені межі підсумовування за індексом i = 1,2, ..., n.

Рішення системи нормальних рівнянь у векторно-матричній формі

Рішення системи нормальних рівнянь в явному вигляді (тобто у вигляді розрахункової формули) можна отримати тільки в векторно-матричної формі. Розглянемо векторно-матричну запис нормальних рівнянь (3.13). При виконанні передумов 7-9 матриця спостережень регресорів X має повний ранг і квадратна матриця (X T X) розмірності (k x k) також має повний ранг. Отже, існує зворотна матриця (X T X) -1. Помножимо зліва обидві частини рівняння (3.13) на цю матрицю. отримаємо

Далі, враховуючи, що (X T X) -1 (X T X) = Ik. де Ik - одинична матриця розмірності k. отримуємо вираз для оцінок коефіцієнтів у вигляді

Формула (3.15) визначає оцінку за методом найменших квадратів коефіцієнтів багатовимірної лінійної регресії.

Вектор b. визначається виразом (3.15) доставляє мінімум функції S (b) виду (3.10). Дійсно, обчислюючи другі похідні по вектору b функції S (b). отримаємо. Матриця X T X є симетричною невироджених (при виконанні передумови 8) і, в силу цього, позитивно певної, що є достатньою умовою мінімуму функції S (b).

Оцінену за допомогою методу найменших квадратів емпіричну лінійну регресійну функцію можна записати у вигляді

де вектор b - оптимальна за методом найменших квадратів оцінка вектора коефіцієнтів регресії визначається виразом (3.15), xi = (xi1. xi2. xik) T - вектор - стовпець розмірності k.

Отриманим регресійний коефіцієнтами можна дати наступну інтерпретацію. Оцінений (емпіричний) регресійний коефіцієнт bj (j = 1,2, ..., k) є приватною похідної емпіричної регресійної функції по j - му регресорів (незалежної змінної). Він показує, на скільки зміниться оцінене значення при зміні j - ого регресорів на одиницю при фіксованих значеннях інших регресорів.

Властивості помилок (залишків) моделі

Вираз (3.16) для емпіричної регресійної функції можна записати у вигляді

Коефіцієнти даної регресії можна інтерпретувати так: а) якщо прибутковості акцій підприємств B і C дорівнюють нулю, прибутковість акцій підприємства A становитиме в середньому 3,3310% в рік, тобто дорівнює значенню коефіцієнта b1; б) за інших рівних умов зміна прибутковості акцій підприємства B на 1% в рік призведе (в середньому) до зміни прибутковості акцій підприємства A на 1,088% в рік; с) при інших рівних умовах зміна прибутковості акцій підприємства C на 1% в рік призведе (в середньому) до зміни прибутковості акцій підприємства C на 0,2146% в рік. При інтерпретації необхідно пам'ятати про те, що оцінки параметрів - наближені величини і спираючись на них можна робити тільки наближені висловлювання.

Торговельне підприємство має кілька філій. Керівництво підприємства вивчає питання про відкриття ще однієї філії. Для прийняття обґрунтованого рішення необхідно знати, як річний товарообіг окремого філії (yi млн. Руб.) Залежить від торгової площі (xi2 тис. Кв. Метрів) і середньоденний інтенсивності покупців (xi3 тис. Чоловік в день). У таблиці 3.2. наведені числові значення цих змінних для дванадцяти філій (дані прикладу 2.2.).

Звернемо увагу, що на відміну від попереднього прикладу, ці дані є просторовими. Вони відповідають товарообігу, торгової площі і середньоденний інтенсивності потоку покупців дванадцяти філій за певний рік. На рис. 3.2а. 3.2б наведені дві діаграми розсіювання, що характеризують залежність товарообігу від торгової площі (рис. 3.2а) і від інтенсивності потоку покупців (рис. 3.2б). Обидві діаграми вказують на наближену (хоча і не таку явну, як в попередньому прикладі) лінійну залежність між змінними. Раніше (див. Приклад 2.2. Гл. 2) ми побудували дві моделі для дослідження залежності товарообігу від: а) торгової площі; б) інтенсивності потоку покупців.

Мал. 3.2а. Діаграма "товарообіг - торгова площа"

Мал. 3.2б. Діаграма "товарообіг - інтенсивність"

В даному прикладі досліджуємо залежність товарообігу одночасно від двох чинників - пояснюють змінних: торговельної площі та інтенсивності потоку покупців. Математично цю залежність в кожному спостереженні можна виразити у вигляді множинної лінійної регресії з двома пояснюють змінними (регресорів)