Метод наименьших квадратов для однофакторной линейной регрессии

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ

КАФЕДРА ПРИКЛАДНОЙ МАТЕМАТИКИ

КОНТРОЛЬНАЯ РАБОТА

ПО ДИСЦИПЛИНЕ

«ЭКОНОМЕТРИКА»

2007

Задания к контрольной работе:

1. Метод наименьших квадратов для однофакторной линейной регрессии

2. Найти коэффициент эластичности для указанной модели в заданной точке X. Сделать экономический анализ.

Модель: Y = (2/X) + 5; X = 0;

3. Убыточность выращивания овощей в сельскохозяйственных предприятиях и уровни факторов (сбор овощей с 1 га, ц и затраты труда, человеко-часов на 1 ц), ее формирующих, характеризуются следующими данными за год:

Нелинейную зависимость принять

1. Метод наименьших квадратов для однофакторной линейной регрессии

Линейная регрессия находит широкое применение в эконометрике в виде четкой эконометрической интерпретации ее параметров. Линейная регрессия сводится к нахождению уравнения вида:

Ŷ = а + bx или Ŷ = a + bx + ε;

Уравнение вида Ŷ = а + bx позволяет по заданным значениям фактора x иметь теоретические значения результативного признака, подставляя в него фактические значения фактора X. На графике теоретические значения представляют линию регрессии.

Рисунок 1 – Графическая оценка параметров линейной регрессии

Построение линейной регрессии сводится к оценке ее параметров – а и b. Оценки параметров линейной регрессии могут быть найдены разными методами. Можно обратится к полю корреляции и, выбрав на графике две точки, провести через них прямую линию. Далее по графику можно определить значения параметров. Параметр a определим как точку пересечения линии регрессии с осью OY, а параметр b оценим, исходя из угла наклона линии регрессии, как dy/dx, где dy – приращение результата y, а dx – приращение фактора x, т.е. Ŷ = а + bx.

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов(МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака (y) от расчетных (теоретических) минимальна:

∑(Y_i – Ŷ _xi)² → min

Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной.

ε_i = Y_i – Ŷ _xi.

следовательно ∑ε_i² → min

Чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю.

Обозначим ∑ε_i² через S, тогда

S = ∑ (Y –Ŷ _xi)² =∑(Y-a-bx)²;

Дифференцируем данное выражение, решаем систему нормальных уравнений, получаем следующую формулу расчета оценки параметра b:

b = (ух – у•x)/(x²-x²).

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу. Например, если в функции издержек Ŷ = 3000 + 2x (где x – количество единиц продукции, у – издержки, тыс. грн.) с увеличением объема продукции на 1 ед. издержки производства возрастают в среднем на 2 тыс. грн., т.е. дополнительный прирост продукции на ед. потребует увеличения затрат в среднем на 2 тыс. грн.

Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.

2. Найти коэффициент эластичности для указанной модели в заданной точке X. Сделать экономический анализ.

Модель: Y = (2/X) + 5; X = 0;

Известно, что коэффициент эластичности показывает, на сколько процентов изменится в среднем результат, если фактор изменится на 1%. Формула расчета коэффициента эластичности:

Э = f′(x) X/Y,

где f′(x) – первая производная, характеризующая соотношение прироста результата и фактора для соответствующей формы связи.

Y = (2/X) + 5,

f′(x) = -2/x²;

Следовательно получим следующее математическое выражение

При заданном значении X = 0 получим, что коэффициент эластичности равен Э = -1.

Допустим, что заданная функция Y = (2/X) + 5 определяет зависимость спроса от цены. В этом случае с ростом цены на 1% спрос снижается в среднем на 1%.

3. Убыточность выращивания овощей в сельскохозяйственных предприятиях и уровни факторов (сбор овощей с 1 га, ц и затраты труда, человеко-часов на 1 ц), ее формирующих, характеризуются следующими данными за год:

Нелинейную зависимость принять

Задание №1

Построим линейную зависимость показателя от первого фактора.

Обозначим: сбор овощей с 1 Га как X₁, а уровень убыточности как Y.

Найдем основные числовые характеристики.

1. Объем выборки n = 15 – суммарное число наблюдений.

2. Минимальное значение величины сбора овощей Х=18,7;

Максимальное значение сбора овощей Х=101,3;

Минимальное значение величины уровня убыточности Y=8,8;

Максимальное значение величины уровня убыточности Y=78,8;

3. Среднее значение:

X = ∑x_i.

Среднее значение величины сбора овощей X = 778,9/15 = 51,926.

Среднее значение величины уровня убыточности Y = 563,5/15 = 37,566.

4. Дисперсия

D(X) = ∑ (X_i – X)² = 588.35 D(Y) = ∑(Y_i – Y)² = 385,57.

5. Среднеквадратическое отклонение:

σ_x=√588.35 = 24.25, значит среднее сбора овощей в среднем от среднего значения составляет 24,25%.

σ_y=√385.17 = 19.63, значит среднее уровня убыточности всей сельскохозяйственной продукции в среднем от среднего значения составляет 19,63%.

Для начала нужно определить, связаны ли X₁ и Y между собой, и, если да, то определить формулу связи. По таблице строим корреляционное поле (диаграмму рассеивания). Точка с координатами (X, Y) = (51,926; 37,566) называется центром рассеяния. По виде корреляционного поля можно предположить, что зависимость между X₁ и Y линейная (стр.). Для определения тесноты линейной связи найдем коэффициент корреляции:

∑(X_i – X) (Y_i – Y)

Так как 0,6 ≤ ‌‌r_xy ‌<0,9 то линейная связь между X₁ и Y – достаточная. Попытаемся описать связь между X₁ и Y зависимостью Y=b₀+b₁X. Параметры b₀, b₁ найдем по МНК.

b₁ = r_xy σ_x σ_{y =} -0,856 х 19,63. 24,25 = -0,696;

b₀ = y – b₁X = 37.566 + 0.696 х 51.92 = 73.70

Так как b₁ < 0, то зависимость между X₁ и Y обратная: с ростом сбора овощей уровень убыточности сельскохозяйственной продукции падает. Проверим значимость коэффициентов b₀, b₁.

Значимость коэффициентов b может быть проверена с помощью критерия Стьюдента:

t_набл = b₀/σ_b0 = 73.70/6.53 = 11.28;

Значимость t_набл равна 0,00000007, т.е. 0,000007%. Так как это значение меньше 5%, то коэффициент b₀ статистически значим.

t_набл = b₁/σ_b1 = -0,696/0,1146 = -6,0716;

Значимость t_набл равна 0,000039, т.е. 0,0039%. Так как это значение меньше 5%, то коэффициент b₁ статистически значим.

Получили модель связи сбора овощей и уровня убыточности сельскохозяйственной продукции:

Y = 73.70 – 0.6960X

После того, как была построена модель, необходимо проверить ее на адекватность.

Разброс данных, объясняемый регрессией SSR = ∑(ỹ-y)² = 3990,5;

Остатки, необъясненный разброс SSЕ = ∑(ỹ-y_i)² = 1407,25;

Общий разброс данных SSY = ∑(y_i-y)² = 5397,85;

Для анализа общего качества оценной линейной регрессии найдем коэффициент детерминации: R² = SSR/SSY = 0.7192;

Разброс данных объясняется линейной моделью на 72% и на 28% – случайными ошибками.

Вывод: Качество модели хорошее

Проверим с помощью критерия Фишера. Для проверки этой гипотезы сравниваются между собой величины:

MSR = SSR / K₁ = 3990.5946/ K₁ = 3990.5946. Отсюда K₁ = 1.

MSE = SSE / K₂ = 1407.25 / K₂ = 108.25. Отсюда K₂ = 13.

Находим наблюдаемое значение критерия Фишера F_набл= MSR/MSE.

Значимость этого значения α = 0,00004, т.е. процент ошибки равен 0,004%. Так как это значение меньше 5%, то найденная модель считается адекватной.

Найдем прогноз на основании линейной регрессии. Выберем произвольную точку из области прогноза [18.7; 101.3]. Допустим это точка X₁ = 50.

Рассчитываем прогнозные значения по модели для всех точек выборки и для точки прогноза Y_{(х = 50)} = 73.7085 – 0.6960 х 50 = 38.9.

Найдем полуширину доверительного интервала в каждой точке выборки X_пр

Отсюда получим, что δ = 23,22.

В приведенной формуле:

σ_е = MSE = 108.25 = 10.40 – среднеквадратичное отклонение выборочных точек от линии регрессии.

t_y = 2,16 – критическая точка распределения Стъюдента для надежности γ = 0,95 и K₂ = 13 при n = 15.

SX = ∑(x_i-x)² или

SX = (n – 1) х D(X) = 14 х 588 х 39 = 8237,46;

Прогнозируемый доверительный интервал для любого X₁ такой (ỹ – δ; ỹ + δ).

Совокупность доверительных интервалов для всех X₁ из области прогнозов образует доверительную область, которая представляет область заключения между двумя гиперболами. Наиболее узкое место в точке X.

Прогноз для Х₁ составит от 15,7 до 62,1 с гарантией 95%. То есть можно сказать, что при сборе овощей 50 центнеров с 1 га уровень убыточности сельскохозяйственной продукции можно спрогнозировать на уровне 15,7% – 62,1%.

Найдем эластичность Y = 73.70 – 0.6960X.

В нашем случае (для линейной модели) E_x = -0.6960X/(73.70 – 0.6960X).

В численном выражении это составит:

E_х=50 = -0,6960×50 / (73.70 – 0.6960×50) = – 0,8946;

Коэффициент эластичности показывает, что при изменении величины Х₁ на 1% показатель Y уменьшается на 0,8946%.

Например, если Х₁ = 50,5 (т.е. увеличился на 1%), то Y = 38.9 + 38.9×(-0,008946) = 38,5520006.

Проверим и Y_{х =50,5} = 73.70 – 0.6960X = 73.70 – 0.6960 × 50,50 = 38,552.

Задание №2

Построим нелинейную зависимость показателя от второго фактора.

Обозначим: затраты труда, человеко-часов на 1 ц – X₂, а уровень убыточности как Y.

Найдем основные числовые характеристики.

6. Объем выборки n = 15 – суммарное число наблюдений.

7. Минимальное значение величины трудоемкости Х₂=2,3;

Максимальное значение трудоемкости Х₂=56,6;

Минимальное значение величины уровня убыточности Y=8,8;

Максимальное значение величины уровня убыточности Y=78,8;

8. Среднее значение:

X = ∑x_i.

Среднее значение величины трудоемкости X₂ = 321,8/15 = 26,816.

Среднее значение величины уровня убыточности Y = 563,5/15 = 37,566.

9. Дисперсия

D(X) = ∑ (X_i – X)² = 254,66 D(Y) = ∑(Y_i – Y)² = 385,56

10. Среднеквадратическое отклонение:

σ_x=√254,66 = 15,95 значит среднее трудоемкости в среднем от среднего значения составляет 15,95%.

σ_y=√385.17 = 19.63, значит среднее уровня убыточности всей сельскохозяйственной продукции в среднем от среднего значения составляет 19,63%.

Для начала нужно определить, связаны ли X₁ и Y между собой, и, если да, то определить формулу связи. По таблице строим корреляционное поле (диаграмму рассеивания). Точка с координатами (X, Y) = (26,816; 37,566) называется центром рассеяния. По виде корреляционного поля можно предположить, что зависимость между X₁ и Y нелинейная (стр.), а именно имеет зависимость .

Путем преобразования нелинейную зависимость приведем к линейной V = b₀ + b₁U.

Для начала заменим переменные U = x, а V = ln(Y).

Найдем конкретные значения V и U (стр.), затем строим корреляционное поле (стр.) и находим результаты регрессивной статистики.

Для определения тесноты линейной связи V = b₀ + b₁U найдем коэффициент корреляции:

∑(U_i – U) (V_i – V)

Так как 0,6 ≤ ‌‌r_xy ‌ <0,9 то линейная связь между X₁ и Y – достаточная. Попытаемся описать связь между X₁ и Y зависимостью Y=b₀+b₁X. Параметры b₀, b₁ найдем по МНК.

b₁ = r_vu σ_v σ_{u =} -0,856 х 19,63. 24,25 = -0,696;

b₀ = y – b₁X = 37.566 + 0.696 х 51.92 = 73.70

Так как b₁ < 0, то зависимость между X₁ и Y обратная: с ростом сбора овощей уровень убыточности сельскохозяйственной продукции падает. Проверим значимость коэффициентов b₀, b₁.

Значимость коэффициентов b может быть проверена с помощью критерия Стьюдента:

t_набл = b₀/σ_b0 = 73.70/6.53 = 11.28;

Значимость t_набл равна 0,00000007, т.е. 0,000007%. Так как это значение меньше 5%, то коэффициент b₀ статистически значим.

t_набл = b₁/σ_b1 = -0,696/0,1146 = -6,0716;

Значимость t_набл равна 0,000039, т.е. 0,0039%. Так как это значение меньше 5%, то коэффициент b₁ статистически значим.

Получили модель связи сбора овощей и уровня убыточности сельскохозяйственной продукции:

Y = 73.70 – 0.6960X

После того, как была построена модель, необходимо проверить ее на адекватность.

Разброс данных, объясняемый регрессией SSR = ∑(ỹ-y)² = 3990,5;

Остатки, необъясненный разброс SSЕ = ∑(ỹ-y_i)² = 1407,25;

Общий разброс данных SSY = ∑(y_i-y)² = 5397,85;

Для анализа общего качества оценной линейной регрессии найдем коэффициент детерминации: R² = SSR/SSY = 0.7192;

Разброс данных объясняется линейной моделью на 72% и на 28% – случайными ошибками.

Вывод: Качество модели хорошее

Проверим с помощью критерия Фишера. Для проверки этой гипотезы сравниваются между собой величины:

MSR = SSR / K₁ = 3990.5946/ K₁ = 3990.5946. Отсюда K₁ = 1.

MSE = SSE / K₂ = 1407.25 / K₂ = 108.25. Отсюда K₂ = 13.

Находим наблюдаемое значение критерия Фишера F_набл= MSR/MSE.

Значимость этого значения α = 0,00004, т.е. процент ошибки равен 0,004%. Так как это значение меньше 5%, то найденная модель считается адекватной.

Найдем прогноз на основании линейной регрессии. Выберем произвольную точку из области прогноза [18.7; 101.3]. Допустим это точка X₁ = 50.

Рассчитываем прогнозные значения по модели для всех точек выборки и для точки прогноза Y_{(х = 50)} = 73.7085 – 0.6960 х 50 = 38.9.

Найдем полуширину доверительного интервала в каждой точке выборки X_пр

Отсюда получим, что δ = 23,20.

В приведенной формуле:

σ_е = MSE = 108.25 = 10.40 – среднеквадратичное отклонение выборочных точек от линии регрессии.

t_y = 2,16 – критическая точка распределения Стъюдента для надежности γ = 0,95 и K₂ = 13 при n = 15.

SX = ∑(x_i-x)² или

SX = (n – 1) х D(X) = 14 х 588 х 39 = 8237,46;

Прогнозируемый доверительный интервал для любого X₁ такой (ỹ – δ; ỹ + δ).

Совокупность доверительных интервалов для всех X₁ из области прогнозов образует доверительную область, которая представляет область заключения между двумя гиперболами. Наиболее узкое место в точке X.

Прогноз для Х₁ составит от 15,7 до 62,1 с гарантией 95%. То есть можно сказать, что при сборе овощей 50 центнеров с 1 га уровень убыточности сельскохозяйственной продукции можно спрогнозировать на уровне 15,7% – 62,1%.

Найдем эластичность Y = 73.70 – 0.6960X.

В нашем случае (для линейной модели) E_x = -0.6960X/(73.70 – 0.6960X).

В численном выражении это составит:

E_х=50 = -0,6960×50 / (73.70 – 0.6960×50) = – 0,8946;

Коэффициент эластичности показывает, что при изменении величины Х₁ на 1% показатель Y уменьшается на 0,8946%.

Например, если Х₁ = 50,5 (т.е. увеличился на 1%), то Y = 38.9 + 38.9×(-0,008946) = 38,5520006.

Проверим и Y_{х =50,5} = 73.70 – 0.6960X = 73.70 – 0.6960 × 50,50 = 38,552.

Задание №3

Построим линейную зависимость показателя от двух факторов.

Обозначим: сбор овощей с 1 га как X₁, затраты труда, человеко-часов на 1 ц – X₂, а уровень убыточности как Y.

Найдем основные числовые характеристики.

1. Объем выборки n = 15 – суммарное число наблюдений

2. Минимальное значение величины сбора овощей Х₁=18,7;

Максимальное значение сбора овощей Х₁=101,3;

Минимальное значение величины трудоемкости Х₂=2,3;

Максимальное значение трудоемкости Х₂=56,6;

Минимальное значение величины уровня убыточности Y=8,8;

Максимальное значение величины уровня убыточности Y=78,8;

3. Среднее значение:

X = ∑x_i.

Среднее значение величины сбора овощей X = 778,9/15 = 51,926.

Среднее значение величины трудоемкости X₂ = 321,8/15 = 26,816.

Среднее значение величины уровня убыточности Y = 563,5/15 = 37,566.

4. Дисперсия

D(X) = ∑ (X_i – X)² = 254,66 D(Y) = ∑(Y_i – Y)² = 385,56

5. Среднеквадратическое отклонение:

σ_x=√254,66 = 15,95 значит среднее трудоемкости в среднем от среднего значения составляет 15,95%.

σ_y=√385.17 = 19.63, значит среднее уровня убыточности всей сельскохозяйственной продукции в среднем от среднего значения составляет 19,63%.

Для начала нужно определить, связаны ли X₁ и Y между собой, и, если да, то определить формулу связи. По таблице строим корреляционное поле (диаграмму рассеивания). Точка с координатами (X, Y) = (26,816; 37,566) называется центром рассеяния. По виде корреляционного поля можно предположить, что зависимость между X₁ и Y нелинейная (стр.), а именно имеет зависимость .

Путем преобразования нелинейную зависимость приведем к линейной V = b₀ + b₁U.

Для начала заменим переменные U = x, а V = ln(Y).

Найдем конкретные значения V и U (стр.), затем строим корреляционное поле (стр.) и находим результаты регрессивной статистики.

Для определения тесноты линейной связи V = b₀ + b₁U найдем коэффициент корреляции:

∑(U_i – U) (V_i – V)

Так как 0,6 ≤ ‌‌r_xy ‌ <0,9 то линейная связь между X₁ и Y – достаточная. Попытаемся описать связь между X₁ и Y зависимостью Y=b₀+b₁X. Параметры b₀, b₁ найдем по МНК.

и₁ = к_чн σ_н. σ_{ч =} -0,856 х 19,63. 24,25 = -0,696;

b₀ = y – b₁X = 37.566 + 0.696 х 51.92 = 73.70

Так как b₁ < 0, то зависимость между X₁ и Y обратная: с ростом сбора овощей уровень убыточности сельскохозяйственной продукции падает. Проверим значимость коэффициентов b₀, b₁.

Значимость коэффициентов b может быть проверена с помощью критерия Стьюдента:

t_набл = b₀/σ_b0 = 73.70/6.53 = 11.28;

t_набл = b₁/σ_b1 = -0,696/0,1146 = -6,0716;

Значимость t_набл равна 0,000039, т.е. 0,0039%. Так как это значение меньше 5%, то коэффициент b₁ статистически значим.

Получили модель связи сбора овощей и уровня убыточности сельскохозяйственной продукции:

Y = 73.70 – 0.6960X

После того, как была построена модель, необходимо проверить ее на адекватность.

Разброс данных, объясняемый регрессией SSR = ∑(ỹ-y)² = 3990,5;

Остатки, необъясненный разброс SSЕ = ∑(ỹ-y_i)² = 1407,25;

Общий разброс данных SSY = ∑(y_i-y)² = 5397,85;

Для анализа общего качества оценной линейной регрессии найдем коэффициент детерминации: R² = SSR/SSY = 0.7192;

Разброс данных объясняется линейной моделью на 72% и на 28% – случайными ошибками.

Вывод: Качество модели хорошее

Проверим с помощью критерия Фишера. Для проверки этой гипотезы сравниваются между собой величины:

MSR = SSR / K₁ = 3990.5946/ K₁ = 3990.5946. Отсюда K₁ = 1.

MSE = SSE / K₂ = 1407.25 / K₂ = 108.25. Отсюда K₂ = 13.

Находим наблюдаемое значение критерия Фишера F_набл= MSR/MSE.

Значимость этого значения α = 0,00004, т.е. процент ошибки равен 0,004%. Так как это значение меньше 5%, то найденная модель считается адекватной.

Найдем прогноз на основании линейной регрессии. Выберем произвольную точку из области прогноза [18.7; 101.3]. Допустим это точка X₁ = 50.

Рассчитываем прогнозные значения по модели для всех точек выборки и для точки прогноза Y_{(х = 50)} = 73.7085 – 0.6960 х 50 = 38.9.

Найдем полуширину доверительного интервала в каждой точке выборки X_пр

δ = σ_е t_y 1 + + = 10.4 × 2.016 1 + +

Отсюда получим, что δ = 23,20.

В приведенной формуле:

σ_е = MSE = 108.25 = 10.40 – среднеквадратичное отклонение выборочных точек от линии регрессии.

t_y = 2,16 – критическая точка распределения Стъюдента для надежности γ = 0,95 и K₂ = 13 при n = 15.

SX = ∑(x_i-x)² или

SX = (n – 1) х D(X) = 14 х 588 х 39 = 8237,46;

Прогнозируемый доверительный интервал для любого X₁ такой (ỹ – δ; ỹ + δ).

Совокупность доверительных интервалов для всех X₁ из области прогнозов образует доверительную область, которая представляет область заключения между двумя гиперболами. Наиболее узкое место в точке X.

Прогноз для Х₁ составит от 15,7 до 62,1 с гарантией 95%. То есть можно сказать, что при сборе овощей 50 центнеров с 1 га уровень убыточности сельскохозяйственной продукции можно спрогнозировать на уровне 15,7% – 62,1%.

Найдем эластичность Y = 73.70 – 0.6960X.

В нашем случае (для линейной модели) E_x = -0.6960X/(73.70 – 0.6960X).

В численном выражении это составит:

E_х=50 = -0,6960×50 / (73.70 – 0.6960×50) = – 0,8946;

Коэффициент эластичности показывает, что при изменении величины Х₁ на 1% показатель Y уменьшается на 0,8946%.

Например, если Х₁ = 50,5 (т.е. увеличился на 1%), то Y = 38.9 + 38.9×(-0,008946) = 38,5520006.

Проверим и Y_{х =50,5} = 73.70 – 0.6960X = 73.70 – 0.6960 × 50,50 = 38,552.