Чураков Е.П. Математические методы обработки экспериментальных данных в экономике

Подождите немного. Документ загружается.

Следовательно,

(2.54)

(2.55)

Рассмотрим структуру матрицы Y^, вытекающую из ее опре-

деления:

¥o(^l) ¥0(^2) - Wo(Xn)

\\fl(xi) \\fi(x2) ... y¥i{xj

Wm(Xi) WmiXl) - Wm(Xn)

где

\\foix)y

\|/i(jc),...,

y\fm(x)

- компоненты вектора

\|г(дс).

Тогда из равенства (2.54) следует

i4'f,(Xi)ei=0, V^

= 0,

1, 2, ..., m,

где ё/

—

/-й компонент вектора е.

(2.56)

(2.57)

Регрессионные модели обычно конструируют таким образом,

что компонент ©о вектора регрессионных параметров в имити-

рует «постоянную составляющую» функции регрессии, не зави-

сящую от экзогенных переменных. Для этого обычно полагают

\\foix)

= 1. Но тогда из (2.57) при к = 0 следует

/=1

(2.58)

му,

ЧТО 8

(/— ys) =

О,

выражение (2.53) упрощается:

Совместное выполнение условий (2.55), (2.58) приводит к то-

(2.59)

1 -.т-^

вар

(у)

=вар

(/) +—е' е.

Определение 2.8. Коэффициент

£ £

вар {у) вар

{у)

lilP

\\y-yst

называется

коэффициентом

детерминации.

(2.60)

Содержательно этот коэффициент определяет, какая часть ва-

риации экспериментальных данных объясняется разбросом рег-

рессионной (детерминированной) составляющей этих данных.

Из определения вытекает К^^

[О,

1], Если К^ = О, то eap{f) = О,

те./= Ч'в = 75

i|f^(jc/)e = y,i=' \,2, ...,

А7.

А это можно интер-

претировать как независимость эндогенной переменной от экзо-

генных переменных. Если же К^ = 1, то ё = 0^, т.е. регрессионная

поверхность проходит точно через все экспериментальные точки

j^/

(/ = 1,

2,...,

л) в смысле выполнения равенств у^ = V^(JC/) в

(/ = 1, 2, ..., п). Разумеется, если положить т -^ I = п и матрицу

Те R'^^^ выбрать невырожденной, это условие будет достигнуто,

так как МНК-оценка (2.24) в этом случае приобретает вид

е =

{^^ЧГ}~^'¥^у

= ЧГ^Ч'^У^Ч^^у =

Т" V =^4^0

у.

Однако это условие, вообще говоря, не является признаком

хорошо подобранной рефессионной модели, так как такая мо-

дель будет «отслеживать» все случайные составляющие 8 в ре-

зультатах эксперимента

>?,

а это недопустимо.

Проверка гипотезы

HQ:

©i = ©2 = ... = в^;, = 0. Введенный ко-

эффициент детерминации широко используется для подтвержде-

ния (или опровержения) предположения о том, что эндогенная

переменная действительно зависит от выбранных экзогенных пе-

ременных. С этой целью в рассмотрение вводятся две гипотезы:

Но:©1=©2 = ... = ©;„ = 0;

Hi:©o,©b©2, ...,©^^^0.

В качестве «индикатора» правомочности одной из этих гипо-

тез используется величина

к] п-т-1

Y=—^

которая с учетом определения коэффициента детерминации пре-

образуется к врщу

1Фв-д^5|р п-т-\

|>^-Фв

сх\\1

Для последующих доказательств это выражение целесообраз-

но представить так:

1 \\we-ys\ 1 \\4fe-ys\\

TT.Il2

m m

(2.61)

1 ll>^-ye|

n-m-\

r?-

Найдем распределение этой величины при

справедливости

ги-

потезы Но . Прежде всего обратим внимание на знаменатель. Ес-

ли мысленно его умножить и разделить на число п

—

1, то

величина (п-т-1)—г» ^^^ было уже доказано, будет подчинена

Х^-распределению с л

—

— 1

степенями свободы. Следователь-

но,

знаменатель в (2.61) можно представить как ";—~—г» гдеслу-

1\ n

—

чайная величина v -

{п

—т—Х).

Рассмотрим теперь числитель в (2.61). С учетом модели на-

блюдений (2.4) и определения МНК-оценки (2.24) находим:

1 'Г 1 'Г 1 X

= —55

= —SS

we +

—SS

е,

п п п

we =

W(W^W)~^W^y

= Ye +

W{W^W)~^W^t

и, следовательно.

1|Г(фТ^)-1фТ

^^Т

Если справедлива гипотеза

HQ,

т.е. ©i = ©2 = ... = ©^ = О, то

we =

5©о,

так как первый столбец матрицы W состоит из единиц,

т.е.

представляет собой вектор

Но тогда

Е„ —SS

WO:

f 1 ^

С ^ Т

Е^

—SS

seo=o^

и получаем упрощенное выражение

we-ys

( 1 л

i|r(^T^)-liirT

^^Т

е.

(2.62)

Докажем теперь важное для последующего вывода утвержде-

ние.

Утверждение 2.10. Пусть матрица

Y =

[\|fo Vi ...

Vm].

где \|//€

- столбцы матрицы. Тогда справедливы равенства

хр(хр^хр)-^хр^щ

= у., / = о, 1,...,

т.

(2.63)

Векторы

Vo,

¥ь

•••

^Vm

являются линейно независимыми,

так

как rank

т +

п. Построим подмножество

б^"^^с

R'^, кото-

рое состоит из векторов

допускающих разложение по векторам

\|Го,

Vi,

•-,

¥m как по базису, т.е. G^^^

=\zeR'^:z=

Sa,\|f^,

а,бК1

и в пространстве

R'^

образует линейное

(т

1)-мерное подпрост-

ранство. Рассмотрим вектор

ve=

Е€)/\|//.Из этого разложения

следует

^в е

G^'^^.

Величина

/ =

||у

—

Тв|р представляет собой

квадрат расстояния между векторами

у и

Ч^В.

Тогда величина

min/определяет наименьшее расстояние от вектора

>? до

подпро-

странства С^"^^

т.е.

расстояние

до

такого векторам изб'^^^ кото-

рый является ортогональной проекцией Пр вектора

на множе-

ство

СГ^^:

Пр^б^^^ С другой стороны, min/ =

Цу

- Yef и,

следовательно^

Тв =

T(T^Y)~^Y^>? =

z*.

Но отсюда вытекает, что

матрица

Y(Y

Y)~^Y^ является матрицей ортогонального про-

ецирования

на

подпространство

G^ ^ Эта

матрица любой век-

тор,

принадлежащий множеству

6^"*"^

преобразует в себя, т.е.

из

условия

zeG^"^^

следует Y(^P^Y)~^Y^z

Так как

\|Го,

Vi,...,

V,^2

G G^'^^ то равенства (2.63) справедливы. Заметим, что непосред-

ственно это равенство вытекает из тождества T(Y T)~^T^Y =

Следствие. Так как вектор

является столбцом матрицы Y,

именно

\|Го,

то справедливы равенства

y^iy^^y^y^y^^s

s^WCV^Wy^^^^

s^.

(2.64)

Утверждение

2.11.

Матрица Y(Y^T)~^Y^-—

S5^

является

идемпотентной и ее ранг равен

т.

Доказательство проводится непосредственно:

(Y(Y'^^-^Y^-

SS^)^

= ^f^^fTy^-\^fT^^(^fT^^-\y^T +

}_ ^^Т ^^Т

где учтены условия (2.64) и очевидное s s

—

п; аналогично

yp^xp(xp^yif)-^

- SP ~

ss^

= /w.

Воспользовавшись выражением (2.62) и утверждением 2.11,

теперь можем числитель в (2.61) представить в виде

\we-ysf/G^=^

Г 1 ^

^(^Т^)-1фТ ^^Т

где е/а -стандартный гауссовский вектор.

Так как матрица Y(Y Ч') 4f — " ss является идемпотент-

ной, то в соответствии с утверждением 2.5 эта величина подчине-

на х^(т)-распределению. Таким образом, выражение (2.61) мо-

жет быть представлено в эквивалентной форме

—W

у= tn

п-т-1

где

%^(АЯ),

х^{п

—

т— I)

—

случайные величины.

Ранее при доказательстве утверждения 2.8 было показано, что

при гауссовском векторе е вектор у

—

Ч^&и оценка а независи-

мы.

Но тогда независимы вектор Тв

—

>i и та же оценка 5^, т.е.

числитель и знаменатель в (2.61). Последнее порождает незави-

симость случайных величин w и v, а это означает, что случайная

величина у при справедливости гипотезы Но подчинена распре-

делению Фишера с т степенями свободы числителя и п

—

степенями свободы знаменателя, т.е. у ~ F(m, п

—

1), что поз-

воляет сформулировать следующий критерий проверки гипотезы

Но (или альтернативы Hi).

На основе экспериментальных данных построим величину

\\we-ysf 1

= z^ , (2.65)

2 т

где в

—

МНК-оценка (2.24) регрессионных параметров, а^- оценка

(2.37) дисперсии экспериментальных ошибок.

Зададимся доверительной вероятностью q ипо таблицам или

с помощью вычислительных средств найдем ^-квантиль

рас-

пределения Фишера с т,п

—

I степенями свободы. Тогда ес-

ли окажется у <

Ug,

то с вероятностью q считается справедливой

гипотеза Но; если же у >

Ug,

то с вероятностью

1 —

q ошибиться

предпочтение отдается альтернативе Hi.

Проверка гипотезы

HQ:

Э/

= в/ (/ =

О,

1, ..., т).

Пусть в соответствии с какими-либо априорными соображе-

ниями появились основания предполагать, что параметр 0/ рег-

рессионной модели принимает гипотетическое значение ©Д

Требуется на основе имеющихся экспериментальных данных

подтвердить или опровергнуть это предположение. С этой целью

в рассмотрение вводятся две гипотезы:

Но:е,

= еЛН1:0,^0Д

Анализ ситуации проводится следующим образом. В случае

гауссовской регрессионной модели, как было показано выше,

в - N{0,

a^(Y^T)~^)

и, следовательно, при

справедливости

гипо-

тезы

Но 0/ - 0/ ~ Л^(0, а^), al = аV//, где \|/// - /7-й элемент

матрицы (T^Y)~

Тогда случайная величина (0/

- &i^)/Gi

N(0,1),

т.е.

представляет собой стандартную гауссовскую случайную ве-

личину. Построим случайную величину

в,-е?

Y=-

Нп-т-1)а^

(j2 fi-m-l

где5^

= lb-Ч'в|р/(«-/"-!)•

Так как случайные величины, формирующие числитель и

знаменатель этого выражения, статистически независимы и

/„ ^у.

l^rr'^

•^ -^—Х^{п-т-\), то в соответствии с определением

y~t(n-m-

I). Если учесть, что а/^ = aV//

а^ = о\ц, то оказы-

вается удобным представить

Y =

"^^^^ -t(n-m-l), (2.66)

что справедливо, таким образом, при выполнении гипотезы

HQ.

Принятие последующего решения осуществляется

по уже

извест-

ной схеме (см. вывод критерия (1.28)).

соответствии

результа-

тами регрессионного анализа находится величина (2.66). Далее

при выбранной доверительной вероятности 1

—

а по таблицам

для распределения Стьюдента сп

—

т—1

степенями свободы или

машинным образом находится lOOa/2-процентная точка >viooa/2-

Если окажется |у| < >viooa/2> то с вероятностью 1 - а считается

справедливой гипотеза Но; при противоположном неравенстве,

т.е.

в случае

|у|

>V|ooa/2>

гипотеза

отвергается как не согласую-

щаяся с экспериментальными данными с вероятностью а ошиб-

ки первого рода.

Для линейных рефессионных моделей, построенных с ис-

пользованием множества (1.18), величина (2.66) позволяет до-

полнительно решить вопрос о целесообразности включения /-й

экзогенной переменной

состав величин, влияющих на эндоген-

ную переменную. Отсутствие такого влияния можно интерпрети-

ровать как равенство 0/^ = 0. Тогда, если окажется |0J

a/Wiooa/25

то с вероятностью

1 —

а целесообразно считать, что /-я экзоген-

ная переменная не оказывает влияния на эндогенную перемен-

ную;

при противоположном неравенстве гипотезу

HQ:

0/ =

сле-

дует отвергнуть с вероятностью а ошибиться.

Выражение (2.66) позволяет построить доверительные интер-

валы для параметров регрессионной модели. Действительно, с

вероятностью

1 —

а должно выполняться

«а/2 - 'я '^"V2 =>®/ +S/V2 <0/ ^^/ -S/V2'

ОЛ,

..., т.

Здесь

Ua/2

есть

а/2-квантиль

распределения Стьюдента с

—

I степенями свободы. Если учесть уже доказанное для

данного случая равенство

wiooa/2 "^ —««/25

то найденный интервал

запишется так: 0/ -

a/Wiooa/2

©/

+ 5/>^iooa/2-

2.3.9. Нелинейные регрессионные модели.

Проблема стохастической сходимости

Характерная особенность рассмотренных выше регрессионных

моделей проявляется в их линейной зависимости от параметров

©о,

01, ...,

Qni-

Вместе с тем не исключается перспектива приме-

нения моделей с нелинейной зависимостью от регрессионных

параметров, подобно тому, как это было в случае производствен-

ной функции Кобба—Дугласа. Так, если множество потенциаль-

ных функций регрессии задается соотношением (1.20), то вектор

экспериментальных данных

>;,

определенный подобным (2.4) об-

разом, будет представлен выражением

= Y(в) +

e,>^R^вeR^

т+\

(2.67)

в котором вектор-функция ^(в) определена естественным для

(1.20) образом:

^(в)=Е

¥л(^ьв)

¥)t(^2»e)

Как и ранее, МНК-оценка в вектора параметров в ищется в

соответствии с условием

/Н1>^-^(в)Г-^тш,

(2.68)

причем стационарные точки в функции /удовлетворяют тради-

ционному условию V/( в) =

0;;,+1.

Однако из-за нелинейного

включения вектора в в состав минимизируемой функции / най-

ти оценку в как явную функцию в

(у)

экспериментальных дан-

ных,

отличие от (2.24), не удается. Поэтому применяют различ-

ные численные алгоритмы нелинейного оценивания

[25].

Несмо-

тря на многообразие подобных

методов,

можно выделить некото-

рые общие принципы, в соответствии с которыми конструирует-

ся большинство из

них.

Детальный анализ этих принципов не яв-

ляется целью настоящего пособия. Однако некоторые справоч-

ные сведения, касающиеся процедуры решения задачи (2.68),

привести полезно.

Определение

2.9.

Говорят, что вектор he

R'"'*"^

задает направле-

ние убывания функции /(в) в точке в, если при

всех

малых

выполняется условие

/(в +

РА)

/(в).

Утверждение 2.12. Для того чтобы вектор h задавал направле-

ние убывания функции /(в)

точке в, необходимо

достаточно,

чтобы в этой точке выполнялось условие (А,

У/(в))

О,

т.е. ска-

лярное произведение вектора

и вычисленного в точке в гради-

ента функции У(в) должно быть отрицательным.

Доказательство этого утверждения, несмотря на его простоту,

мы опускаем, так как оно несущественно для последующего из-

ложения.

Определение 2.10. Последовательность точек в^^\ в^^^ 0Р'\ ...

в пространстве

R'"'^^

будем называть

минимизирующей

функцию

/(в),

если выполняются условия /(в^^^)

/(в^^^

JiQp-^

> ....

Определение

2.11.

Последовательность точек

в^^^,

В^^\ 0Р'\ ...

в пространстве

R'""^^

будем называть

сходящейся

к некоторой ста-

ционарной точке в

R'""^^

функции

/(в),

если при

V5 > О 3iV(5) >

О,

так

что

при к

iVвыполняется условие

||в^^^

—

ё||

5 или, что эк-

вивалентно, lim II

в^^^

—

при

/: —>

оо.

Заметим, что в общем случае минимизирующая и сходящаяся

последовательности могут не совпадать.

Основываясь на введенных понятиях, можно предложить

правило вычисления последовательности точек в^^\ в^^\ в^^^ ...

в пространстве R'""^ , минимизирующей функцию /(в).

доста-

точно общем виде это правило таково:

0(^+1) = в^^) + a^hb

А:

О,

2,...,

(2.69)

где вектор

А^

задает направление убывания функции /(в)

точке

в^^^,

скалярная величина

aic>Q

определяет величину шага пере-

мещения.

зависимости от

того,

как конкретно выбираются па-

раметры а^ и А^, получают конкретный вычислительный алго-

ритм минимизации функции /(в). В частности, если принять

hj^

= — V/(e^

О?

что соответствует утверждению 2.12, то получим

семейство

градиентных

алгоритмов. Из всего многообразия по-

добных методов остановимся на одном -- методе

последователь-

ной

линеаризации.

Суть его заключается в следующем.

Пусть в соответствии с какими-либо предварительными со-

ображениями можно указать предполагаемое значение

в^^^

оцен-

ки е. Если таковые соображения отсутствуют, примем

в^^^

= 0;„-f

Назовем эту величину

нулевым приближением

к оцен-

ке е. Полагая функцию Т(в) дифференцируемой, разложим ее в

окрестности точки в^^^ в ряд Тейлора, офаничив разложение

первой частичной суммой. Приближенно получим:

Подставив это разложение в (2.68), получим функцию /, ква-

дратично зависящую от отклонения

Ыд^^\

Найдем вектор Дв^^\

минимизирующий /. Очевидно, эта задача аналогична задаче

(2.22),

решается теми же средствами и приводит к подобному

(2.24) результату: Ав^^^ =

{{D^^^)^

D^^Y\D^^Viy -^^(в^^^)). Это

позволяет найти

первое приближение

^^^^ к оценке в

в(1) = в<^) + ((/)(0))Т /)(0))-1(/)(0))Т(^ _ 4^(0(0))).

Если теперь функцию Т(в) линеаризовать

окрестности точ-

ки

в^^^

и повторить всю операцию, получим

второе

приближение.

Обобщение процесса линеаризации с последующей минимиза-

цией квадратичной целевой функции порождает следующее

релаксационное правило последовательного приближения к

МНК-оценке:

(2.70)

А:

= 0, 1,....

Несложно заметить, что сомножитель

{D^^^)^(y

4^(6^^^))

(2.70) коллинеарен антиградиенту функции /, вычисленному в

точке в^^^:

(/><^))Т(з;

_ ^а0% = -0,5V/(e^^^).

Поэтому правило последовательных вычислений (2.70) мож-

но представить в эквивалентной форме:

0(^+1) ^Qik) _

о^5((/)(^>)'Г

/>^^W/(e^^>),

)к

О,

.... (2.71)

Следовательно, построенный алгоритм можно классифици-

ровать как

градиентный

со специфичной матрицей весовых ко-

эффициентов. В сопоставлении с (2.69) имеем h^ =

— ((D^^^)^x