Полшков Ю.Н. Курс лекций по экономико-математическому моделированию

Подождите немного. Документ загружается.

110

Лекция 9

ОБОБЩЁННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

План лекции

1. Обобщённый МНК в условиях гетероскедастичности.

2. Матричная форма обобщённого МНК.

1. При нарушении гомоскедастичности рекомендуется традиционный метод

наименьших квадратов (известный в английской терминологии как метод OLS

– Ordinary Least Squares) заменять обобщённым МНК, т.е. методом GLS (Gen-

eralized Least Squares).

Обобщённый МНК применяется к преобразованным данным и позволяет

получать оценки, которые обладают не только свойством несмещённости, но и

имеют меньшие выборочные дисперсии. Остановимся на использовании ОМНК

для корректировки гетероскедастичности.

Как и раньше, будем предполагать, что среднее значение остаточных ве-

личин равно нулю. А вот дисперсия их не остается неизменной для разных зна-

чений фактора, а пропорциональна величине

, т.е.

σσ

⋅ ,

где

– дисперсия ошибки при конкретном -м значении фактора; i

– по-

стоянная дисперсия ошибки при соблюдении предпосылки о гомоскедастично-

сти остатков;

– коэффициент пропорциональности, меняющийся с измене-

нием величины фактора, что и обусловливает неоднородность дисперсии.

При этом предполагается, что

неизвестна, а в отношении величин

выдвигаются определенные гипотезы, характеризующие структуру гетероске-

дастичности.

Рассмотрим случай однофакторной линейной регрессии.

В общем виде для уравнения

yabx

при

σσ

=⋅ модель

примет вид:

yabx K

=+ + . В ней остаточные величины гетероскеда-

стичны. Предполагая в них отсутствие автокорреляции, можно перейти к урав-

нению с гомоскедастичными остатками, поделив все переменные, зафиксиро-

ванные в ходе -го наблюдения, на

. Тогда дисперсия остатков будет ве-

личиной постоянной, т. е.

Иными словами, от регрессии по

мы перейдем к регрессии на новых

переменных:

yK и

K . Уравнение регрессии примет вид:

ii i

yxa

KK K

+⋅ +

а исходные данные для данного уравнения будут иметь вид:

111

...

⎛⎞

⎜⎟

⎝⎠

...

⎛⎞

⎜⎟

⎝⎠

По отношению к обычной регрессии уравнение с новыми, преобразован-

ными переменными представляет собой взвешенную регрессию, в которой пе-

ременные и

взяты с весами 1

Оценка параметров нового уравнения с преобразованными переменными

приводит к взвешенному МНК, для которого необходимо минимизировать

сумму квадратов отклонений вида

() ()

Sab y a bx

=−−

∑

Соответственно получим следующую систему нормальных уравнений:

KKK

yx x x

⎧

=⋅ +⋅

⎪

⎨

⋅

⎪

=⋅ +⋅

⎪

⎩

∑∑∑

Если преобразованные переменные

и взять в отклонениях от сред-

них уровней, то коэффициент регрессии

b можно определить как

⋅

∑

При обычном применении МНК к уравнению линейной регрессии для пе-

ременных в отклонениях от средних уровней коэффициент регрессии опре-

деляется по формуле:

⋅

∑

Как видим, при использовании обобщённого МНК с целью корректиров-

ки гетероскедастичности коэффициент регрессии представляет собой взве-

шенную величину по отношению к обычному МНК с весом

112

При наличии одной объясняющей переменной гипотеза

σσ

трансформирует линейное уравнение

yabxe

в уравнение

++,

в котором параметры и поменялись местами, константа стала коэффици-

ентом наклона линии регрессии, а коэффициент регрессии – свободным чле-

ном.

a b

Аналогичные подходы возможны не только для уравнения парной, но и

для множественной регрессии.

Предположим, что рассматривается модель вида

11 2 2

yabxbx

=+ + +,

для которой дисперсия остаточных величин оказалась пропорциональна

представляет собой коэффициент пропорциональности, принимающий раз-

личные значения для соответствующих

i значений факторов

. Ввиду то-

го, что

σσ

⋅ ,

рассматриваемая модель примет вид

11 2 2iii

yabxbx K

=+ + + ,

где ошибки гетероскедастичны.

Для того чтобы получить уравнение, где остатки

гомоскедастичны, пе-

рейдем к новым преобразованным переменным, разделив все члены исходного

уравнения на коэффициент пропорциональности

. Уравнение с преобразо-

ванными переменными составит

ii i i

yxx

KK K K

=+ + +.

Это уравнение не содержит свободного члена. Вместе с тем, найдя пере-

менные в новом преобразованном виде и применяя обычный МНК к ним, полу-

чим иную спецификацию модели:

yxx

Ab b

KKK

=+ + +

Параметры такой модели зависят от концепции, принятой для коэффици-

ента пропорциональности

. В эконометрических исследованиях довольно

часто выдвигается гипотеза, что остатки

пропорциональны значениям фак-

тора. Так, если в уравнении

11 2 2

...

yabxbx bx e=+ + ++ +

113

предположить, что

=⋅, т.е.

σσ

⋅ , то обобщённый МНК

предполагает оценку параметров следующего трансформированного уравнения:

11 1

...

xyx

bb b

xxx

=+ ++ +

Применение в этом случае обобщённого МНК приводит к тому, что на-

блюдения с меньшими значениями преобразованных переменных

K имеют

при определении параметров регрессии относительно больший вес, чем с пер-

воначальными переменными. Вместе с тем, следует иметь в виду, что новые

преобразованные переменные получают новое экономическое содержание и их

регрессия имеет иной смысл, чем регрессия по исходным данным.

Пример 1. Пусть – издержки производства,

– объем продукции,

– основные производственные фонды,

– численность работников, тогда

уравнение

11 2 2 3 3

yabxbx bx=+ + + +e

является моделью издержек производства с объемными факторами. Предпола-

гая, что

пропорциональна квадрату численности работников

, мы полу-

чим в качестве результативного признака затраты на одного работника

yx, а

в качестве факторов следующие показатели: производительность труда

фондовооружённость труда

x . Соответственно трансформированная мо-

дель примет вид

31 2

yxx

bb b

xxx

=+ + +

где параметры , , численно не совпадают с аналогичными параметрами

предыдущей модели. Кроме этого, коэффициенты регрессии меняют экономи-

ческое содержание: из показателей силы связи, характеризующих среднее абсо-

лютное изменение издержек производства с изменением абсолютной величины

соответствующего фактора на единицу, они фиксируют при обобщённом МНК

среднее изменение затрат на работника; с изменением производительности тру-

да на единицу при неизменном уровне фовдовооруженности труда; и с измене-

нием фондовооруженности труда на единицу при неизменном уровне произво-

дительности труда.

Если же предположить, что в модели с первоначальными переменными

дисперсия остатков пропорциональна квадрату объема продукции,

σσ

=⋅, можно перейти к уравнению регрессии вида:

12 3

xyx

bb b

xxx

=+ + +

114

В нем новые переменные:

yx – затраты на единицу (или на 1 ден. ед.

продукции),

x – фондоёмкость продукции,

x – трудоёмкость продук-

ции.

Гипотеза о пропорциональности остатков величине фактора может иметь

реальное основание: при обработке недостаточно однородной совокупности,

включающей как крупные, так и мелкие предприятия. Поэтому большим объ-

ёмным значениям фактора может соответствовать большая дисперсия результа-

тивного признака и большая дисперсия остаточных величин.

2. Часто матричная форма более удобна для исследования гетероскедастично-

сти и применения обобщённого МНК.

Если дисперсия остатков постоянна для каждого наблюдения (т.е. имеет

место гомоскедастичность) и равна

, то матрица

(M )

⋅

имеет следую-

щий вид:

/2 2

1 0 ... 0

0 1 ... 0

()

... ... ... ...

0 0 ... 1

εε σ σ

⎛⎞

⎜⎟

⋅= =

⎜⎟

⎝⎠

Если же дисперсия остатков изменяется от наблюдения к наблюдению

(т.е. имеет место гетероскедастичность), то матрица

(M )

⋅

имеет вид:

()

εσ

⋅= ,

где – известная симметричная положительно определенная матрица, отлич-

ная от единичной матрицы .

Предположим, что выглядит следующим образом:

0 ... 0

... ... ... ...

0 0 ...

⎛⎞

⎜⎟

⎝⎠

Её можно представить в виде произведения матриц:

SPP

⋅ ;

115

0...0

0...

... ... ... ...

00...

⎛⎞

⎜⎟

⎝⎠

;

0...0

0...

... ... ... ...

00...

−

⎛⎞

⎜⎟

⎝⎠

Наиболее часто выдвигаются гипотезы о том, что дисперсия остатков

пропорциональна величине модуля переменной

или её квадрату. В первом

случае

= , . Во втором 1, 2,...,i= n

()

= .

Пусть задана эконометрическая модель:

YXB

для которой

()

εσ

⋅= .

Задача лежит в нахождении элементов вектора . Для этого использует-

ся матрица , при помощи которой корректируется исходная информация. Эта

идея была положена в основу обобщённого МНК или метода Эйткена. Приве-

дём без доказательства основные результаты.

Удобно преобразовать матрицы исходных данных следующим образом:

−

=⋅X

−

;

YPY⋅

;

−

⋅ .

Такое преобразование приводит к тому, что

(

)

(

)

** 2

εσ

⋅=. Это говорит

о гомоскедастичности. Следовательно, далее можно использовать стандартный

1МНК с целью получения основных результатов для обобщённого МНК.

Оператор оценивания метода Эйткена имеет вид:

()

(

)

()

** *

BXX X

−

= .

Эта оценка является несмещенной линейной оценкой вектора , имеющего

наименьшую дисперсию и матрицу ковариаций:

()

(

)

2**

var( )BXX

−

= .

Несмещённая оценка для дисперсии остатков

может быть получена

по формуле:

()

(

)

()

** ** *

YXBYXB

nm nm

εε

=−−=

−− −−

Наличие этих сведений достаточно для проведения эконометрического

анализа.

116

Пример 1. В табл. 1 приведены данные по зависимой переменной и

независимым переменным

123

xx.

Табл. 1. Данные задачи

№

1 -2,66 0,68 0,42 25,68

2 1,41 0,74 0,05 18,13

3 -2,79 0,66 0,29 25,74

4 0,42 0,72 0,48 21,21

5 -2,24 0,68 0,41 22,97

6 1,41 0,77 0,62 16,38

7 1,89 0,78 0,56 13,21

8 0,36 0,78 1,76 14,48

9 1,18 0,81 1,31 13,38

10 5,18 0,79 0,45 13,69

11 1,44 0,77 0,5 16,66

12 1,55 0,78 0,77 15,06

13 0,09 0,72 1,2 17,6

14 1,9 0,79 0,21 15,98

15 1,43 0,77 0,25 18,27

16 5,39 0,8 0,15 14,42

17 -2,3 0,71 0,66 22,76

18 1,42 0,79 0,74 15,41

19 1 0,76 0,32 19,35

20 0,91 0,78 0,89 16,83

21 -3,76 0,62 0,23 30,53

22 1,12 0,75 0,32 17,98

23 0,03 0,71 0,54 22,09

24 0,55 0,74 0,75 18,29

25 -2,76 0,65 0,16 26,05

26 -2,78 0,66 0,24 26,2

27 1,72 0,84 0,59 17,26

28 0,61 0,74 0,56 18,83

29 0,5 0,75 0,63 19,7

30 0,61 0,75 1,1 16,87

Ранее было выявлено наличие гетероскедастичности с помощью как кри-

терием

, так и параметрическим тестом Гольдфельда-Квандта. Причём ис-

точник гетероскедастичности – переменная

Требуется с помощью обобщённого МНК построить многофакторную

линейную эконометрическую модель.

117

Решение. Предположим, что дисперсия остатков пропорциональна вели-

чине модуля переменной

. Следовательно,

= , 1, 2,...,in

. Имеем:

0, 6481 0 ... 0

00,2236...0

... ... ... ...

00...1,04

⎛⎞

⎜⎟

⎝⎠

x⋅

;

1,5430 0 ... 0

0 4, 4721 ... 0

... ... ... ...

0 0 ... 0,9535

−

⎛⎞

⎜⎟

⎝⎠

Для применения метода Эйткена преобразуем матрицы данных:

1 1,0493 0,6481 39, 6251

1 3,3094 0, 2236 81,0798

... ... ... ...

1 0,7151 1,0488 16,0849

XPX

−

⎛⎞

⎜⎟

=⋅=

⎜⎟

⎝⎠

; .

4,1044

6,3057

...

0,5816

YPY

−

⎛⎞

⎜⎟

=⋅=

⎜⎟

⎝⎠

Оператор оценивания обобщённого МНК имеет вид:

2, 0927

11, 4738

3, 6459

0,3947

⎛⎞

⎜⎟

−

⎜⎟

−

⎝⎠

Поэтому модель получается такой:



2, 0927 11, 4738 3,6459 0,3947

yxx=+ ⋅−⋅− .

Несмещённая оценка для дисперсии остатков:

1,9178

= . Матрица ко-

вариаций оценок коэффициентов регрессии:

7,0227 1,3999 5, 6198 0,0412

1,3999 0,8315 0,9616 0,0086

var( )

5,6198 0,9616 4,7710 0,0343

0, 0412 0,0086 0,0343 0,0009

−−−

⎛⎞

⎜⎟

−−

⎜⎟

−

⎜⎟

−−

⎝⎠

Множественный коэффициент детерминации: . Модель зна-

чима с надёжностью не менее 95%. Множественный коэффициент корреляции

также оказался значимым.

0,9086R =

0,9532R =

118

Лекция 10

АВТОКОРРЕЛЯЦИЯ ОСТАТКОВ

План лекции

1. Понятие автокорреляции остатков.

2. Критерий Дарбина-Уотсона.

3. Метод Эйткена для модели с автокоррелированными остатками.

1. Одним из условий, при которых применима теорема Гаусса-Маркова, являет-

ся гипотеза 4.

А именно, при ковариации ошибок (остатков) равны нулю:

k≠ l

cov( , ) ( ) 0

kl k l

εεε

⋅=,

т.е. для разных наблюдений имеет место статистическая независимость (некор-

релированность) ошибок. Невыполнение гипотезы 4 называется автокорреля-

цией ошибок.

Автокорреляция остатков означает наличие корреляции между остат-

ками текущих и предыдущих (последующих) наблюдений. Коэффициент кор-

реляции между

, где

– остатки текущих наблюдений,

– остатки

последующих наблюдений (например,

1lk

), может быть определен как

()

(

)

cov ,

εε

σσ

⋅

т.е. по обычной формуле линейного коэффициента корреляции. Если этот ко-

эффициент окажется существенно отличным от нуля, то остатки автокоррели-

рованы.

Отсутствие автокорреляции остаточных величин обеспечивает состоя-

тельность и эффективность оценок коэффициентов регрессии. Особенно акту-

ально соблюдение данной предпосылки МНК при построении регрессионных

моделей по рядам динамики, где ввиду наличия тенденции последующие уров-

ни динамического ряда, как правило, зависят от своих предыдущих уровней.

При несоблюдении основных предпосылок МНК приходится корректиро-

вать модель, изменяя ее спецификацию, добавлять (исключать) некоторые фак-

торы, преобразовывать исходные данные для того, чтобы получить оценки ко-

эффициентов регрессии, которые обладают свойством несмещённости, имеют

меньшее значение дисперсии остатков и обеспечивают в связи с этим более

эффективную статистическую проверку значимости параметров регрессии.

Автокорреляция в остатках может быть вызвана несколькими причинами,

имеющими различную природу.

1) Она может быть связана с исходными данными и вызвана наличием

ошибок измерения в значениях результативного признака .

2) В ряде случаев автокорреляция может быть следствием неправильной

спецификации модели. Модель может не включать фактор, который оказывает

существенное воздействие на результат и влияние которого отражается в остат-

119

ках, вследствие чего последние могут оказаться автокоррелированными. Очень

часто этим фактором является фактор времени

От истинной автокорреляции остатков следует отличать ситуации, когда

причина автокорреляции заключается в неправильной спецификации функцио-

нальной формы модели. В этом случае следует изменить форму модели, а не

использовать специальные методы расчета параметров уравнения регрессии

при наличии автокорреляции в остатках.

2. Один из наиболее распространенных методов определения автокорреляции в

остатках – это расчет критерия Дарбина-Уотсона.

Критерий выглядит так:

()

εε

−

∑

т.е. величина есть отношение суммы квадратов разностей последовательных

значений остатков к остаточной сумме квадратов по модели регрессии.

Введём понятие коэффициента автокорреляции остатков первого по-

рядка:

(

)

cov ,

εε

σσ

−

⋅

который измеряет зависимость между соседними уровнями ряда

−

При больших значениях существует соотношение между критерием

Дарбина-Уотсона и :

(

)

21dr=⋅ − .

Т.о., если в остатках существует полная положительная автокорреляция и

, то . Если в остатках полная отрицательная автокорреляция, то

и, следовательно, . Если автокорреляция остатков отсутствует, то

и . Т.е.

04.

1r = 0d =

1r =− 4d =

0r = 2d = d≤≤

Алгоритм выявления автокорреляции остатков на основе критерия Дар-

бина-Уотсона следующий. Выдвигается гипотеза

об отсутствии автокорре-

ляции остатков. Альтернативные гипотезы

состоят, соответственно, в

наличии положительной или отрицательной автокорреляции в остатках. Далее

по специальным таблицам определяются критические значения критерия Дар-

бина-Уотсона и для заданного числа наблюдений , числа независимых

переменных модели и уровня значимости

d n

. По этим значениям числовой

промежуток

[

]

0; 4 разбивают на пять отрезков. Принятие или отклонение ка-

ждой из гипотез с вероятностью

−

осуществляется следующим образом: