Класична лінійна регресія

ЛАБОРАТОРНА РОБОТА №1

ТЕМА: КЛАСИЧНА ЛІНІЙНА РЕГРЕСІЯ

Мета: Дослідити метод побудови загальної лінійної регресії та провести аналіз її основних характеристик

Задача: Навчитися отримувати оцінки параметрів загальної лінійної регресії за допомогою 1МНК, визначати статистичні властивості окремих оцінок і моделі в цілому, будувати точковий та інтервальний прогнози за допомогою отриманої моделі. Дослідити альтернативні способи оцінки параметрів лінійної регресії.

Завдання: Для даних з варіанту перевірити гіпотезу про лінійну залежність між змінними Y і X₁, X₂, X₃.

Необхідно:

Побудувати загальну лінійну модель і оцінити коефіцієнти регресії за допомогою оператора 1МНК.

Оцінити значущость окремих коефіціентів регресії і всієї моделі в цілому.

Побудувати точковий та інтервальний прогноз на 3 періоди.

Розрахувати оцінки коефіціентів регресії методом покрокової регресії.

Результати надати у звіті в письмовому вигляді.

Звіт містить дані варіанту, проміжні розрахунки, кінцеві результати кожного етапу дослідження з необхідними поясненнями і висновками

КОРОТКІ ТЕОРЕТИЧНІ ВІДОМОСТІ

1. Економетрична модель дає кількісну оцінку кореляційно-регресійного зв'язку між економічними показниками, один чи кілька з яких є залежними (Y), а решта — незалежними змінними (X), тому часто економетричні моделі називаються регресій ними моделями, або просто регресіями.

Припустимо, що істинний зв’язок між Y і Х є лінійним, тобто

b₀ + b₁X₁ + b₂X₂ + ……. + b_mX_m+e

або у матричному вигляді:

Y = Xb + e,

де Y- вектор залежних змінних моделі;

Х – матриця незалежних змінних моделі;

e - вектор відхилень моделі;

b - вектор параметрів моделі

Y = , Х = , b = , e =

Розглянемо його оцінку за допомогою лінійної регресійної моделі:

= b₀ + b₁X₁ + b₂X₂ + ……. + b_mX_m

Оцінки параметрів цієї регресії знаходяться з умови:

(1)

де е – вектор залишків моделі,

.

Продиференціювавши (1) по b_j і прирівнявши відповідні часткові похідні по b_j до 0, отримаємо такий вираз:

,

домноживши вираз зліва на , отримуємо вираз для знаходження вектора b:

Цей вираз називається основним оператором оцінювання параметрів лінійної моделі, а елементи вектора b є оцінками коефіцієнтів лінійної регресії.

6. Якщо виконуються всі необхідні умови для застосування 1МНК, то оцінки параметрів економетричної моделі мають такі властивості:

1) незміщеності; 3) ефективності;

2) обґрунтованості; 4) інваріантності.

7. Одним з важливих завдань економетричного моделювання — оцінити прогнозне значення залежної змінної за умови, що пояснювальні змінні задані на перспективу. На основі економетричної моделі можна отримати точковий та інтервальний прогнози залежної змінної на перспективу.

8. Незміщена оцінка точкового прогнозу запишеться так:

M[У₀(Х₀)]=Х₀ B,

де Х₀ — заданий рівень пояснюючої змінної на перспективу;

Y₀— точковий прогноз залежної функції на основі економетричної моделі.

9. Дисперсія прогнозу дорівнює:

йогостандартна помилка :

10. Довірчий інтервал для прогнозних значень:

t_a - значення t-крітерію при n-mступенях свободи і рівні значущості a.

11. З огляду на залежність між оцінками параметрів моделі та коефіцієнтами парної кореляції можна запропонувати альтернативну оцінку параметрів 1 МНК на основі покрокової регресії, ідея якої базується на існуванні залежності між оцінками параметрів моделі та коефіцієнтами парної кореляції. Ця залежність пропорційна до відношення середньоквадратичних відхилень залежної та незалежної змінних.

12. Опишемо алгоритм пошагової регресії.

Крок 1. Усі вхідні дані стандартизують:

де y* - нормалізована залежна змінна;

х* - нормалізовані незалежні змінні.

Крок 2. Знаходять кореляційну матрицю (матриця парних коефіцієнтів кореляції):

r* = ,

де - парні коефіцієнти кореляції між Y і незалежними змінними Х,

де n – кількість спостережень;

- парні коефіцієнти кореляції між Х_jiX_i :

.

Крок 3. Вибирають . Відповідну незалежну змінну x_j включають в лінійну модель, для якої за допомогою 1МНК знаходять оцінки параметрів:

де g - оцінки параметрів моделі, яка будується на основі нормалізованих даних.

Крок 4. Серед тих, що залишилися, значень вибирається максимальний і в модель вводиться наступна незалежна змінна x_l.

.

Оцінюються параметри за допомогою відношення:

gr = r_xy,

де r – матриця парних коефіцієнтів кореляції між незалежними змінними;

r_yx- вектор парних коефіцієнтів кореляції між залежною та незалежними змінними.

Звідси оператор оцінювання параметрів моделі:

Якщо немає обмеження на кількість введених змінних, обчислення виконуються до тих пір, поки не будуть включені всі змінні.

Зв’язок між оцінками параметрів моделі на основі нормалізованих і ненормалізованих змінних запишеться таким чином:

.

13. Тіснота зв’язку загального впливу від незалежних змінних на залежну визначається коефіцієнтами детермінації і множинної кореляції. Коефіцієнт детермінації без урахування числа ступенів свободи

з урахуванням ступенів свободи:

.

14. Коефіцієнт детермінації показує, на скільки процентів варіація залежної змінної визначається варіацією пояснюючих (незалежних) змінних.

Коефіцієнт кореляції є інваріантною оцінкою коефіцієнта детермінації. Він характеризує тісноту зв'язку між залежною і пояснювальними змінними. Визначається як корінь квадратний від R².

15. Оскільки коефіцієнти детермінації і кореляції є вибірковими характеристиками, то їх числові значення також перевіряються на значущість згідно зі статистичними гіпотезами. Для перевірки значущості коефіцієнта кореляції використовується t-критерій.

Нульова гіпотеза: значення коефіцієнту кореляції несуттєво відрізняється від 0.

Розрахункове значення критерію визначається як:

Якщо розрахункове значення цього критерію t не менше за критичне (табличне) t_таб при вибраному рівні довіри a і ступені свободи n - m, тобто t³t_таб , нульова гіпотеза відхиляється і відповідний коефіцієнт кореляції є достовірним.

16. Гіпотеза про істотність зв'язку між залежною і незалежною змінними може бути перевірена з допомогою F-критерію. Нульова гіпотеза: всі коефіцієнти регресії несуттєво відрізняються від 0, тобто Н₀: b₀ = b₁ = …….. =b_m = 0.

Розрахункове значення F-критерію визначається за формулою:

або в альтернативному запису:

Розрахункове значення порівнюється з табличним F_таб при n-m i m-1ступенях свободи та вибраному рівні довіри a. Якщо F³F_таб , нульова гіпотеза відхиляється і істотність моделі підтверджується, в протилежному випадку – відхиляється.

17. Гіпотезу про значущість кожного з параметрів b_j економетрічної моделі можна виконати за допомогою t-крітерію. Нульова гіпотеза: b_jнесуттєво відрізняються від 0, тобто H₀: b_j = 0. Розрахункове значення t-критерію:

де c_jj – діагональний елемент j-ї строки (стовпця) матриці ,

- стандартна помилка оцінки j-го параметра моделі.

Якщо t³t_таб , нульова гіпотеза відхиляється і відповідний коефіцієнт регресії є достовірним.

18. На основі t-критерію і стандартної помилки будуються граничні інтервали для оцінок параметрів моделі:

де t_a - табличне значення t-статистики з рівнем довіри a та ступенями свободи n-m.

ПРИКЛАД ВИКОНАННЯ ЛАБОРАТОРНОЇ РОБОТИ

Нехай маємо змінні:

- середньомісячна зарплата, ум. од.;

- продуктивність праці, ум. од.;

- фондомісткість продукції ум. од;

- виконання норми виробітку,%

Гіпотеза, що пропонується для перевірки - середньомісячна зарплата лінійно залежить від продуктивності праці, фондомісткості продукції та виконання норми виробітку.

Позначимо Y - середньомісячна зарплата, X₁ - продуктивність праці, X₂ - фондомісткість продукції, X₃ - виконання норми виробітку/

Вихідні дані наведено в таблиці.

Матриця Х доповнюється стовбцем одиниць для врахування коефіцієнта регресії b₀:

1. Оцінимо параметри регресії за допомогою 1МНК.

Підготуємо необхідні проміжні матриці:

Використовуючи оператор оцінювання МНК, отримуємо

Þ Рівняння регресії має вигляд:

Y = -23,83+0,23X₁+9,018X₂+0,097X₃

Ця модель має бути проаналізована на значущість в цілому (2), а також на значущість кожного коефіцієнта регресії зокрема (3).

2. Перевірка значущості моделі

Значущість всієї моделі в цілому будемо проводити для рівня значущості a=0,05 за допомогою F-крітерія при (m-1) і (n-m) ступенях свободи. Розрахункове значення F-критерію розраховується по формулі:

де ,

Y– спостеріганні значення фактора (вихідні дані),

n – число спостережень,

m – число оцінюваних параметрів.

Нульова гіпотеза для перевірки значущості моделі: Н₀: b₀ = b₁ = …… = b_m= 0.

Проведемо необхідні попередні розрахунки.

Використовуючи вихідну матрицю Х і побудовану модель, отримуємо розрахункові Yp:

Y_p = X*B^Tі залишки е = Y - Y_p :

Сума квадратів відхилень значень регресії від середнього та сума залишків дорівнює:

583,5752 ,

Табличне значення для (m-1), (n-m) F-критерію (0,95) = 4,76. Оскільки F_p>F_табл , модель можна вважати статистично значимою. (нульова гіпотеза відхиляється).

Далі оцінюєтья значущість кожного з параметрів b_j.за допомогою t-статистики.

3. Оцінка значущості окремих коефіцієнтів регресії.

Гіпотезу про значущість кожного з параметрів b_j економетрічної моделі можна виконати за допомогою t-крітерію. Нульова гіпотеза, найбільш поширена притестуванні економетричної моделі - bjнесуттєво відрізняються від 0, тобто H₀: b_j = 0. Поширеність такої постанови нульової гіпотези – в тому, що якщо вона підтверджується, то це має означати, що відповідний X_j статистично незначущо впливає на Y, його вплив з високою вірогідністю дорівнює 0, залежності між Y та Х практично немає і відповідна змінна повинна бути виключена з моделі. Виключенням є випадок, коли при незначущому b_jзалежність між X і Y таки існує, але нелінійна. В цьому випадку треба змінити специфікацію моделі (надати їй іншу аналітичну форму).

Розрахункове значення t-критерію:

де S_bj – стандартна помилка коефіцієнта b_j,

c_jj – діагональний j-й елемент матриці С=

Визначимо значення стандартних помилок коефіцієнтів регресіїS_bj як корінь з дисперсії коефіцієнта b_j:

Для отримання оцінок дисперсії D_j розрахуємо дисперсійно-коваріаційну матрицю (іноді її називають коваріаційною).

Розраховується вона за формулою

,

де - дисперсія залишків

Матрицю С= ми маємо.

, де

n – кількість спостережень, n=10

m – кількість оцінюваних параметрів моделі, m=4.

Стандартне відхилення залишків = 4,912352.

Отримуємо:

=

На діагоналі коваріаційної матриці отримуємо дисперсії коефіцієнтів регресіїb_j:

D(b₀) = 318,9421,

D(b₁)=0,002358,

D(b₂)=272,2121,

D(b₃)=0,007489

Визначимо значення стандартних помилок коефіцієнтів регресіїS_bj:

S_b0 = = 17,85895,

S_b1 == 0,048839,

S_b2 == 16,49885,

S_b3 == 0,086537

S_b =

Розрахункове значення t-статистики отримуємо для кожного коефіцієнта:

t_b0 = b₀ / S_b0 = -23,83/ 17,85895 = -1,33433 і т. п.

t_p =

Розрахункові значення t-статистики порівнюються за абсолютною величиною з табличним t_10-4 = 1,943. Параметр вважається статистично значимим (нульова гіпотеза не підтверджується), якщо

Це означає, що в нашому випадку тільки b₁є статистично значущим і суттєво впливає на модель.

Довірчі інтервали для оцінок регресії будуються за формулою:

:

4. Якість побудованої моделі можна визначити за допомогою коефіцієнта детермінації:

,

Його значення показує, що на 85,8073% варіацію змінної Yможна пояснити варіацією пояснювальних змінних Х.

5. Тіснота зв’язку між Y і X для множинної регресії визначається за допомогою коефіцієнтів кореляції трьох типів:

- коефіцієнта множинної кореляції R (визначається як корінь з коефіцієнта детермінації) – показує тісноту зв’язку між Y і всією множиною пояснювальних зміннихX (1 на модель) ;

- парних коефіцієнтів кореляції r, що знаходяться в кореляційній матриці r* і характеризують тісноту зв’язку між Y та окремим X_j.Вони діляться на два типи:

а) парні коефіцієнти кореляції між Y та окремим X_j

б) парні коефіцієнти кореляції між окремими X_k і X_jr_XkXj(їх для моделі існує m*m);

- частинних коефіцієнтів кореляції, що також характеризують тісноту зв’язку між Y та окремим X_j, але при умові, що інші незалежні змінні сталі, тобто їх варіація не впливає на залежність між Y та Х:

де R_kj – алгебраїчне доповнення до (j,k)-го елемента кореляційної матриці r;

R_kkта R_jj – відповідні діагональні елементи цієї матриці.

За вимогами роботи треба розрахувати коефіцієнт множинної кореляції R:

R =

де R² – коефіцієнт детермінації;

0,926322 – тіснота зв’язку між Y і X для нашої регресії є досить великою.

Його значущість перевіряється також за допомогою t-статистики (нульова гіпотеза – R незначущо відрізняється від 0). В цьому випадку розрахункове значення крітерію визначається за формулою:

Розрахункое значення t-статистики порівнюється за абсолютною величиною з табличним t_10-4 = 1,943. Оскільки розрахункове значення більше, коефіцієнт кореляції є статистично значущим.

4. Побудова прогнозу по регресійній моделі

Точковий прогноз. Задані прогнозні Х₀₁, Х₀₂, Х₀₃ для певного 0-го періоду. Прогнозне значення Y₀ для цього періоду розраховується по формулі:

Y₀=

Якщо Х₀₁ = 252, Х₀₂=0,35, а Х₀₃= 128 (задаються дослідником або визначаються по продовженню тенденції їх зміни), то точковий прогноз на 0-й період складе:

Y₀ = = -23,83+0,23 * 252 + 9,02 0,35 + 0,10*128 = 49,07704,

чи в матричному вигляді:

Y = B^Т*X₀=49,07704

Де В – матриця оцінок параметрів моделі. Його стандартна похибка складає

16,60574

Інтервальнийпрогноз визначається як

=49,07704 1,943*24,1312*= =49,07704 11,58627