Чураков Е.П. Математические методы обработки экспериментальных данных в экономике

Подождите немного. Документ загружается.

оценки, которой соответствует неслучайный оцениваемый пара-

метр,

такими показателями являются

величина смещения

т^т =

М^^{г\(у,

в)} =

My\Q{e {у))

- в,

представляющая собой среднее значение ошибки оценивания, и

ковариационная матрица

ошибок оценивания

^л = ^>'|в{[ЛО', в) -

ш^Св)]

[л(у, в) - /п^(в)]^},

элементы главной диагонали которой представляют собой дис-

персии ошибок оценивания отдельных компонентов вектора в, а

остальные элементы

—

ковариации между этими ошибками. Для

несмещенных ошибок

{m^{&)

= 0^+1) ковариационная матрица

ошибок принимает вид

К^

М^е{[^(У)

- в] [в(у) - ef), (2.7)

и элементы ее главной диагонали имеют смысл дисперсий откло-

нений оценок от оцениваемых параметров, те. являются мерой

разброса оценки относительно оцениваемого параметра.

Точность безусловной оценки, которая соответствует случай-

ному оцениваемому параметру, принято характеризовать матри-

цей вторых моментов отклонений оценки от оцениваемых пара-

метров:

Кг^

Му^е

{[в(у) - в] [е(у) -

в]'^}.

(2.8)

Элементы главной диагонали этой матрицы представляют со-

бой средние квадраты ошибок оценивания отдельных компонен-

тов случайного вектора в, а остальные элементы являются вто-

рыми смешанными моментами этих ошибок.

Как уже отмечалось, степень приближения оценок к оцени-

ваемым параметрам является ограниченной снизу Это значит,

что при любом способе оценивания нельзя получить оценки,

точность которых будет выше определенных значений, являю-

щихся границами принципиально достижимых результатов. Эти

границы задаются с помощью

неравенства

Рао

—

Крамера.

Для

несмещенных условных оценок справедливо

К^

Му1е{[ё(у)

- в] [ё{у) - ef} > ф-\ (2.9)

Здесь Ф

—

так называемая

информационная

матрица Фишера,

определяемая двумя эквивалентными способами:

Ф =

ут

^^-Ыу\е)

де

1пД>^|в)

=-л/

у\е

Эв^

•1пДу|в)

(2.10)

где

д^1пДу|в)

определяется как вектор-строка,

—jlnL(y |в)- матрица вторых производных (матрица Гессе, ее

С/в

определение дано в п. 2.2). Нижняя фаница в неравенстве Рао -

Крамера, заметим, достигается при эффективных оценках. Ана-

логичные соотношения существуют для смещенных и безуслов-

ных оценок (например, [29]).

2.2.

Операции многомерного

дифференцирования

Выше мы уже встречались с операциями дифференцирования,

отличающимися от традиционно изучаемых в курсе высшей ма-

тематики их аналогов. Разумеется, это отличие чисто «организа-

ционное», не затрагивающее сущности и свойств дифференциро-

вания как математической операции. Рассмотрим наиболее ха-

рактерные ситуации, нуждающиеся в соответствующих коммен-

тариях.

Пусть у

Лх) и/К'^ -> R, т.е. рассматривается скалярная

функция у

от

п переменных

дс

= [xi

JC2

...

Xfj]^.

Тогда по определе-

нию

djc

dfjx)

Шх)_Шх)_

_§А£)

Эх^ дх2 дх^

(2.11)

т.е.

производная от скалярной функции по векторному аргументу

определяется как вектор-строка частных производных. Вектор-

столбец

V/(JC):

djc

-iT

(2.12)

образует

градиент

функции/(jc) в точке х.

Рассмотрим два характерных случая. Пусть у = х^Ах, Ае ^^'^.

При П-2(А=

[Qij],

ij =1,2) легко получаем у = awXi" + {ац +

+ ^21)^1-^2 "'• ^22^2 и в соответствии

определенисм

6х

{2aixXi+{ai2+a2\)x2{ai2+a2x)xx-\-2a22X2\

[^1^2]

= [XiX2]

^11 ^12

^21 ^22.

2^11 ^12+^21

^12

"'"^21 2(322

1Л

^11 «21

.«12 «22

д:'^(^

^'^).

По аналогии и для общего случая {п

2) можем получить

—Х'^АХ

= Х'^(А + А'^),

VX^AX

= (A + A^)X, (2.13)

djc

Соответственно при симметрической матрице А, т.е. для ква-

X Q тг Т Т

дратичной формы х Ах, имеем —х Ах

2х А, Vx Ах

2Ах.

Аналогичным образом для линейной формы у = с х находим

d X т ,-, т

Для функции/. R'' -^ R вводится понятие второй производ-

ной по вектору

По определению

djc^

д^/(х)

д^Ах)

дх1

д^Ях)

ЭхгЭх!

3V(Jc)

ЭХ|ЭХ2

aV(>:)

дх^

ЭУ(д:)

Эх^Эх] Эх^Эх2

эУ(ж)

ЭУ(л:)

Эх2Эх„

эУ(х)

eR'

(2.14)

Эту матрицу называют матрицей вторых производных, или

матрицей Гессе, а ее определитель — гессианом. В частности,

V^JTAX

-А-^А^И при симметрической матрице VVAX = 2А.

Пусть

д'

=/W и/: R'^ ~> R'", т.е. рассматривается w-мерная

вектор-функция/(jc) =

[/i(jc)/2(jc)

...fm(x)V

от

п переменных. Тог-

да по определению

df(x)

6х

dfi(x) дМх)

dxi дх2

ЩХ) д/2(х)

dxi дх2

¥тМ df„{x)

Эх1

Эх-)

дА(х)

дх„

д/2(х)

дх„

dfmix)

дх„

тхп

(2.15)

Эту матрицу принято называть матрицей Якоби, а ее опреде-

литель (при т^п)—

якобианом.

частности, для функции у = Ах,

где ^GR"""", имеем

^-Ах^А.

(2.16)

Если JCGR'^ И W(A:)GR'", V(JC)GR'"

—

две вектор-функции, то

производная по вектору х скалярного произведения этих функ-

ций определяется как вектор-строка

-^{u{x),v(x))

u^ix)-^v{x)

v^{x)-^u{x) (2.17)

ox QX ox

И, как следствие, производная от квадрата нормы, согласованной

со скалярным произведением, и градиент находятся из выраже-

ний:

-f

II и{х)

-^{и{х)Мх))

2и^{х)-^и{х),

дх 6х 6х

V||ii(x)f

= 2

djc

и{х)

и{х).

(2.18)

2.3.

Метод наименьших квадратов

2.3.1.

МНК-оценки

Возвратимся теперь к проблеме оценивания параметров в рег-

рессионной модели

(2.3).

Дополнительно уточним некоторые по-

ложения, касающиеся этой модели. Прежде всего условимся в

последующих процедурах вектор в классифицировать как неиз-

вестный, что соответствует отсутствию всякой априорной ин-

формации о его свойствах. Далее будем полагать, что ошибки

Ej{Xj)

Ejj'

=1,2,..., п.

Т.е.

не зависят от значений экзогенных пе-

ременных, принимаемых при проведении эксперимента. Допол-

нительно эти ошибки полагаем центрированными, не коррели-

рованными

друг с

другом

имеющими при всеху одну

и ту

же,

во-

обще говоря неизвестную, дисперсию а^

(в

таких случаях измере-

ния (2.3) принято

Hdi3biBaThравноточными).

Таким образом,

M{Ej}=0,

M{EiEj} = \^2 ^.^'^-

J =

h2, ..., п. (2.19)

Итак, предполагается, что результатом проведения некоторо-

го эксперимента является совокупность наблюдений (апостери-

орная выборка) (2.3), упорядоченных в форме (2.4). Матрица \Р

определяется выбранной системой функций при аппроксимации

неизвестной функции регрессии и значениями экзогенных пере-

менных при проведении эксперимента. Векторы в и е в (2.4)

соответствуют сделанным выше комментариям. Задача заключа-

ется в поиске оценки в(у) вектора в как функции наблюде-

ний}?.

Одним из наиболее распространенных подходов к решению

сформулированной задачи

настоящее время является

метод

на-

именьших квадратов

(МНК). Его особенность прежде всего про-

является в отсутствии каких-либо жестких претензий к априор-

ной информации об оцениваемых параметрах

эксперименталь-

ных ошибках. И это очень важно для эконометрических задач,

которые, как правило, не допускают экспериментального повто-

рения и в этом смысле являются однократными. Поэтому МНК,

несмотря на

свою

большую историю (он применялся еще Гауссом

и Лежандром), в экономических исследованиях занимает лиди-

рующую позицию. Существо метода заключается в следующем.

в рассмотрение вводится целевая функция

J=ilyj-yv'^(xj)ef,

(2.20)

представляющая собой сумму квадратов удаления эксперимен-

тальных данных от значений, определяемых регрессионной со-

ставляющей

модели наблюдений (2.3). Заметим, что именно

эти значения наблюдались бы в эксперименте, если бы функция

регрессии действительно относилась

классу (1.19)

отсутство-

вали латентные переменные и сам процесс измерений эндоген-

ной переменной был идеален. Структура целевой функции (2.20)

является характерным признаком МНК. Наилучшей (оптималь-

ной) оценкой

(МНК-оценкой),

найденной по этому методу, счи-

тается такое значение параметра в, при котором функция (2.20)

достигает своего минимума. Таким образом, МНК-оценка ищет-

ся из условия

e(3;) =

argmin/

argmin

[у,--

y\f'^(х

Asf.

(2.21)

в у=1

Если, используя обозначения (2.4), целевую функцию (2.20)

переписать в эквивалентной, но более компактной форме

J==(y- 4fef(y

Ч'в) = \\у-

YGlp,

то задача (2.21) будет формулироваться так:

e(y)

3irgmin\\y~wef,

(2.22)

Запишем необходимое условие минимума для этой задачи,

вычислив

соответствии

(2.18), (2.16) градиент функции

приравняв его нуль-вектору:

Vib'

Тв|р =

-Т¥^(у

Ч'в) = 0^

+ 1 =>

W^We

4f^y.

(2.23)

Уравнение (2.23) представляет собой матрично-векторную

форму записи системы линейных неоднородных алгебраических

уравнений, состоящей из

/и

скалярных уравнений и содержа-

щей такое же число неизвестных

©о,

©ь ..., Э^. Прежде чем при-

ступить

поиску решения данной системы, сформулируем ряд

необходимых для этой цели положений.

Определение 2.1. Матрица AeR^^" называется матрицей

полного

ранга,

если ее ранг rank ^ удовлетворяет условию гапк^ =

= min (п, т).

Утверждение 2.1. Для произвольной матрицы А справедливо:

rank

= rank А^А = rank

AJV

Доказательство утверждения можно найти, например, в [8, 9].

Утверждение 2.2. Пусть в (2.23) матрица Y^e R^'" ^

^^^'^

являет-

ся матрицей полного ранга и « > (т + 1). Тогда матрица Y^T яв-

ляется невырожденной.

Действительно, матрица

Y^YG

R^'"

^^^^'^ "^

^\ и в силу ограни-

чения « >

Аи

+ 1 и предьщущего утверждения имеем гапкЧ'^Т =

= rank

Ч?

= m + 1. Но это значит, что определитель |Y^Y|

О,

т.е.

матрица Y^Y не вырождена.

Возвратимся теперь к системе уравнений (2.23). Из невырож-

денности матрицы Y^Y вытекает существование обратной мат-

рицы (^^Т) , что позволяет найти решение системы в форме

в = QV^^y^^ у. Так как целевая функция /является выпуклой,

то необходимое условие ее минимума является и достаточным,

поэтому найденное решение системы (2.23) представляет собой

решение задачи (2.22) и, следовательно, МНК-оценка вектора в

определяется выражением

е(у)^{1!^'9)~^'9^у, (2.24)

Если учесть определение матрицы Y, данное в комментариях

к (2.4), то эту оценку можно представить в другой редакции:

е{у)

-1

Ev(^/)3^/.

(2.25)

/=1

При линейной относительно оцениваемых параметров моде-

ли наблюдений МНК-оценка оказывается линейной относитель-

но вектора наблюдений у. Офаничение п> тЛ- 1, физически оз-

начающее, что число наблюдений при организации эксперимен-

та должно быть больше числа оцениваемых параметров регресси-

онной модели, является существенным и означает, что лишь в

этом случае можно успешно справиться с влиянием неконтроли-

руемых ошибок е. При п< т+ I rank Y = rank W^4f <пи матрица

W^4f оказывается вырожденной. В этом случае система (2.23), да-

же если она совместна, не является определенной.

2.3.2.

Основные свойства МНК-оценок.

Теорема Маркова

Займемся теперь анализом основных свойств найденной оценки.

Покажем прежде всего, что МНК-оценка (2.24) является несме-

щенной. С этой целью, используя (2.4), находим

М^е{^(у)}

M^e{(4f'^4^)-'4f^y}

= Л/,|в{(^^^)-^Т^в +

е)}

= в,

что и является условием несмещенности.

Второй важнейшей характеристикой оценки является кова-

риационная матрица ошибки. Для несмещенной оценки она оп-

ределяется как (2.7). Ошибка оценивания находится естествен-

ным образом:

Л(у, в) = в(у) - в =

(Ч^^ЧО"

V^>;

- в =

(2.26)

= (Y^40~^^^(Ye +

- в = (Ч'^^-^Ч'^е

и, следовательно, К^ = М{г\г^) =

{'V^^y^'V^Mizz^YV

(Т'^Т)"^ =

= (Т'^Т)~^Т'^Хе "Р (Ч''^'F)-^ где К^ - ковариационная матрица

вектора е. Так как в соответствии с (2.19)

К^

= о^Е, где Е

—

еди-

ничная матрица, окончательно находим

Кг^

М{г\х\^}

= о\^^^-\ (2.27)

Соотношение (2.27) принципиально позволяет выявить точ-

ностные возможности метода наименьших квадратов. К сожале-

нию,

практическая значимость этого результата невелика, так

как в большинстве эконометрических задач дисперсия а^ экспе-

риментальных ошибок неизвестна. Однако МНК-оценкам при-

суще еще одно важное свойство.

Теорема Маркова. Пусть модель наблюдений имеет структуру

(2.4),

вектор

удовлетворяет условиям (2.19), матрица Ч'является

матрицей полного ранга

и л > m

Тогда МНК-оценка (2.24) яв-

ляется наилучшей (в смысле наименьшей дисперсии ошибок

оценивания) среди всех линейных несмещенных оценок.

Для доказательства теоремы предположим, что мы хотим

найти наилучшую в указанном смысле линейную несмещенную

оценку

к-то

компонента

0у^

вектора в. Этот компонент очевид-

ным образом выразим через сам вектор:

0^^^

А^^^в,

где

А^

- век-

тор,

у которого на (к

1)-й позиции

(А:

О, 1, ...,

т)

находится

единица, а остальные компоненты равны нулю. Оценку

вели-

чины 0^ будем искать в классе линейных функций наблюдений,

т.е.

в виде 0^

И^Л, где

Wj^

—

вектор подлежащих определению

весовых коэффициентов. Пусть

—

ошибка оценивания, т.е.

Первое слагаемое в этом выражении зависит от неизвестного

вектора

и поэтому его величину нельзя оценить даже ориенти-

ровочно. Чтобы ошибку оценивания сделать независимой от оце-

ниваемого вектора, потребуем

yp^W,-h,-(i^^,,

(2.28)

При этом дополнительно оказывается М{щ}

—

О, т.е. соотно-

шения (2.28) оказываются условиями несмеш;енности. В развер-

нутом виде выражение (2.28) представляет собой систему линей-

ных неоднородных алгебраических уравнений, состоящую из

+ 1

уравнений с п неизвестными в виде компонентов вектора

Wj^.

Так

как

\ м^

—

матрица полного ранга, то при указанной

стр>ж:туре вектора

А^

эта система совместна, но не определена, т.е.

имеет неофаниченное число решений. Если равенство (2.28) вы-

полняется, ошибка оценивания будет определяться только ошиб-

ками эксперимента

искомой весовой функцией:

r\j^

И^^^в,

причем дисперсия Cj^ этой ошибки оказывается равной

а^'

а^

Wt^Wj,,

(2.29)

Последующая задача заключается в поиске на множестве ре-

шений системы (2.28) такого вектора

Wj^,

который минимизирует

величину (2.29). Эта традиционная задача на условный экстре-

мум решается методом неопределенных множителей Лагранжа.

Составим функцию Лагранжа

W,,

Я)

а^

W, +

X\4f^W,

- h),

где

X —

вектор неопределенных множителей Лагранжа.

Стационарные точки этой функции находятся из условия ра-

венства нулевым векторам ее градиентов по векторам

Wi^

и X:

2aV^-TX = 0„Y^^F^-A^ = 0^

Выразив из первого уравнения этой системы вектор

W/c

под-

ставив его значение во второе, получим

0,5а~^Т^ТХ

Ajt

= 0^

Так как матрица ^^Т по доказанному не вырождена, то отсюда

однозначно находится вектор

подстановка значения которого

в первое уравнение предыдущей системы позволяет найти иско-

мый вектор весовых коэффициентов

>F^

= Y(Y^Yr^Ab

(2.30)

что приводит к следующему выражению оценки, наилучшей в

классе линейных несмещенных оценок:

0^ = hj (Y'^40-^YY ^ = О, 1,..., т.

(2.31)

Упорядочив все эти т + 1 оценок в форме одной векторной

оценки, получим

Ло^

№^V)"^vV

Но первый матричный сомножитель в этом выражении есть

не что иное, как единичная матрица, и, следовательно.

Этот результат полностью совпадает с ранее полученной

МНК-оценкой

(2.24).

Таким образом, МНК-оценка действитель-

но оказывается наилучшей

классе линейных несмещенных оце-

нок.

Значение теоремы Маркова становится еще более важным,

если предположить, что вектор экспериментальных ошибок яв-

ляется гауссовским, а именно

7V(0,

G^E).

Покажем, что в этом

случае МНК-оценка оказывается

наилучшей

среди всех

нелиней-

ных несмещенных

оценок,

т.е.

эффективной.

этой целью обратим-

ся к неравенству Рао - Крамера (2.9) и найдем информационную