Чураков Е.П. Математические методы обработки экспериментальных данных в экономике

Подождите немного. Документ загружается.

[ДГ,

ДГ2 ... Х„] =

[У1

У2 ••• Уп]-

У?'

У^'

А''

Х2

х<^>

.^•^ ••

З'^^^

••

yi''

v.(l)

v(2)

• У^'>'

• /^'

• у^\

\еК'

еК

кхп

(1.1)

(1.2)

Здесь и далее символ R^^^ используется для обозначения мно-

жества матриц размерностью а на Ь.

Теперь можем более определенно сформулировать существо

проблемы восстановления зависимостей. Располагая экспери-

ментальными данными в объеме (1.1), (1.2), требуется разрабо-

тать математическую модель, устанавливающую связь между эн-

догенными Y и экзогенными X переменными и учитывающую

присутствие неконтролируемых латентных переменных. Разуме-

ется, это чисто качественная формулировка замысла и она будет

уточняться в процессе последующего изучения проблемы. Одна-

ко ряд вопросов, порожденных сформулированным намерением,

можно выявить уже сейчас. Основные из них следующие.

С какой целью строится математическая модель?

Имеется ли вообще какая-либо связь между всеми из вве-

денных переменных или только между некоторыми из них? Как

оценить степень этой связи?

классе каких математических моделей предполагается ис-

кать зависимость эндогенных переменных от экзогенных?

Как адаптировать выбранную в некотором классе модель к

экспериментальным данным (1.1), (1.2), т. е. как установить кон-

кретный вид модели по экспериментальным данным?

Как оценить эффективность построенной модели и в каком

смысле эту эффективность следует понимать?

Наиболее просто дать ответ на первый вопрос. Будем пола-

гать,

что математическая модель строится для того, чтобы можно

было вычислять значения эндогенных переменных при любых

значениях экзогенных переменных, не охваченных эксперимен-

тальными данными (1.1), (1.2), и при необходимости управлять

эндогенными переменными путем выбора надлежащих значений

экзогенных переменных. Подобные цели формируют задачи вос-

становления (по иной терминологии - интерполяции) и прогно-

за (предсказания, экстраполяции). Ответы на остальные вопросы

дают методы регрессионного (и частично корреляционного)

анализа.

1.2. Функция регрессии и регрессионная модель

эндогенных переменных

Подчеркнем прежде всего, что эндогенные переменные даже при

фиксированных (принявших определенные конкретные значе-

ния ) экзогенных переменных являются случайными величина-

ми.

Это утверждение понимается в следующем смысле. Пусть в

некотором эксперименте экзогенные переменные приняли зна-

чение

(Х=

дс),

а эндогенные переменные - у (Y= у ). Если те-

перь провести второй эксперимент, в котором опять же обеспе-

чить равенство ^ = дс, то из-за влияния неучитываемых латент-

ных переменных и неизбежных ошибок в результатах измерений

окажется Y^y

Аналогичная ситуация возникнет

третьем и по-

следующих экспериментах. Таким образом, последовательность

значений эндогенных переменных, полученных в ряде экспери-

ментов при одном и том же значении экзогенных переменных,

следует рассматривать как реализации случайной величины У,

имеющей некоторую, как правило, неизвестную плотность веро-

ятностей

(о(у

\Х= х) или короче

со(у I

х). Если бы условная плот-

ность о)(у\х) случайной величины Убыла известна, можно было

бы попытаться найти значение эндогенной переменной

У,

соот-

ветствующее значению экзогенной переменной Х= х, пост>ттив

следующим образом. Отметим прежде всего, что точное значение

эндогенной переменной Уиз-за влияния латентных переменных

принципиально найти нельзя. Можно отыскать некоторую вели-

чину

У,

в каком-то смысле близкую к У, но не равную У Вектор

У—У определяет отклонение того, что можно найти, от того, что

хотелось бы найти. В таких случаях вектор

называют оценкой

вектора У, а разность У-Y

—

ошибкой оценивания. Величину

ошибки оценивания как вектора принято характеризовать нор-

мой ||У - У

II,

понимаемой для определенности в евюшдовом

смысле. Эта норма в силу указанных причин является случайной

величиной. Тогда в качестве меры близости величин УиУможно

выбрать какую-либо неслучайную характеристику случайной

величины IIУ

—

УII или, что математически удобнее, величины

||У~У|р.

Наиболее простой такой характеристикой является сред-

нее значение (математическое ожидание), найденное при усло-

вии A'=jc, т.е. при условии, что экзогенные переменные равны ве-

личине

jc:

Af{||y~y|pI Л'=

дс},

где

М-

символ усреднения. В раз-

вернутом виде

M{\\Y-Yf\X

x}=l\\y^Yf(^(y\X

x)dy,

(1.3)

где дифференциал dy понимается как многомерный dy =

dy^^^dy^^...

d^^^ и соответственно интеграл понимается как А:-мерный.

Очевидно, оценка

в среднем наиболее «близка»

У, если

она минимизирует величину (1.3), т.е. находится в результате ре-

шения оптимизационной задачи

M{\\Y-Yf\X

= x}-->

min.

(1.4)

Если В качестве нормы принять евклидову, т.е. ]|У

—

У |р

= (Y—Y)^(Y—Y), то необходимое условие минимума в задаче (1.4)

сведется к уравнению

VM{||y-yf

A/{V(y-y)'^(y-y)|;^=jc}

= -2М{(У-У)|^=х} = 0^,

^^-^^

где V

—

градиент по вектору

У;

0^^

А:-мерный нулевой вектор.

Так как в (1.5) вектор Уне зависит от У, то из (1.5) непосред-

ственно получаем

M{Y\X=^x}==] y(a(y\X

x)dy.

(1.6)

—сх>

функцию У=У(дс), определяемую соотношением (1,6) и по су-

ществу представляющую собой условное среднее вектора У, при-

нято называть

функцией

регрессии,

или

просто регрессией

величи-

ны Уна X. Традиционно ее обозначают символом ту{х). Заметим

еще раз, что здесь и далее вьщеленные полужирным шрифтом

символы указывают на их векторную природу.

Таким образом, при известной условной плотности

(х)(у\х= х) величины Кв качестве оценки Уэтой величины следу-

ет принять

ее

условное среднее - функцию регрессии. Тогда саму

случайную величину Кпри фиксированном значении экзогенных

переменных

Л"

можно представить как сумму ее среднего зна-

чения ту(х) и некоторого случайного отклонения

е(дс),

случайная

природа которого порождена как влиянием латентных перемен-

ных, так и случайными ошибками, неизбежно сопутствующими

процессу измерения эндогенных переменных. Это слагаемое мо-

жет в общем случае зависеть от значений экзогенных перемен-

ных, что и отображается в записи e(jc) = г(Х= х).

Итак, в соответствии с проведенными построениями связь

эндогенных и экзогенных переменных, косвенно учитывающая

влияние латентных переменных, сводится к соотношению

¥=ту(Х=х) + г(Х=х). (1.7)

Из (1.7) непосредственно следует

М{г(х)

\Х=

х}

=^0^^,

т.е. век-

тор

является центрированным. Дополнительно предполагается,

что при любых

ковариационная матрица этого вектора являет-

ся конечной (все элементы матрицы ограничены).

Выражение (1.7) принято

называть регрессионной моделью

эн-

догенных переменных. Его можно было бы рассматривать как

конечный результат наших исследований на пути построения ис-

комой математической модели. К сожалению, это преждевре-

менный оптимизм, так как условная плотность

(х)()\Х=

х) реаль-

но неизвестна и, как следствие, неизвестна функция рефессии.

Поэтому выражение (1.7) отражает принципиальную структуру

искомой модели, но не содержит той конкретики, которая соста-

вила бы инструментарий практической деятельности и алгорит-

мическое руководство ею.

L3.

Модели, аппроксимирующие функцию

регрессии. Гоуссовскоя регрессия

Итак, практически построить модель (1.7) не удается, так как не-

известна условная плотность соО?|Л'=

JC)

И,

как следствие, функ-

ция регрессии ту(Х= х). Однако проблемы, порожденные при-

кладными задачами, заставляют искать выход из возникшей до-

статочно сложной ситуации. И этот выход таков.

Условимся прежде всего в последующем рассматривать слу-

чай одной эндогенной переменной, т.е. положим размерность к

вектора Уравной единице. Соответственно функция регрессии в

этом случае оказывается скалярной. Основная идея построения

искомой модели заключается в следующем: зададимся некото-

рым классом S функций, которому принадлежит неизвестная

функция регрессии. Четко сформулированных и формально

обоснованных рекомендаций по выбору этого класса функций

нет. Поэтому выбор определяется опытом и интуицией исследо-

вателя, предварительным анализом экспериментальных данных

(1.1),

(1.2), априорными представлениями о сущности искомой

зависимости и т.п. Подчеркнем тем не менее, что правильный

выбор класса

Е в

значительной степени определяет успех всех по-

следующих исследований, и поэтому удача здесь не только жела-

тельна, но и необходима. Наиболее апробированный подход за-

ключается в формировании класса S как множества определен-

ных с точностью до вектора параметров в функций (параметри-

ческое семейство функций) S =

{f{X\Q)).

Если действительно

ту{Х = х)еЕ, то параметры в можно подобрать так, что

ту(Х= х)

=/{Х;0).

Если все же ту(Х

х)€Е, то есть надежда на

основе эмпирических данных (1.1), (1.2) подобрать такое значе-

ние в вектора в, что с приемлемой точностью, определяемой в

том или ином смысле, можно представить ту{Х=х)

^J{X;

в), и в

обоих случаях вместо (1.7) положить

Y=^f(Xie)

E(X),

(1.8)

считая при этом функцию/(^; в)

аппроксимацией

неизвестной

регрессии.

Чтобы иметь какое-либо начальное представление о форми-

рующих класс 5 функциях, рассмотрим не претендующий на

общность случай двух гауссовских

скалярных

величин

Уи

А'и

най-

дем регрессию УнаХ, используя определение (1.6).

этом случае

каждая из величин и совместно обе являются гауссовскими, т.е.

У~

Nyimy,

а/), Х-

N,{m,,

с,^),

Z=^[YX\'^-

N^(m,,

К,),

где N(.) —

символ гауссовской плотности

указанными

скобках па-

раметрами.

в развернутом виде, как известно,

7 1

Ny(my,Cy)= I expj

2not

•-^iy-m,,^

(1.9)

^х('Пх,Ох)

^QXp<

2UGy

—(x-m^f

2ai

(1.10)

N,(m,^,)

. -cxpi-^iz-m.fK^^z-m,)}, (1.11)

pnf\K,\

I 2

где \KJ и

K^~^

- определитель ковариационной матрицы и обратная

ковариационная матрица соответственно (подобные обозначения

используются и далее).

В соответствии с определением представим

Kz =

СТ2

'^ух

^х

и тогда совместная плотность вероятностей со(у, х) величин YwX

после проведения соответствующих операций в (1.11) с учетом

симметрии

куу^

к^у

примет вид

(х^{у,х) =

М^{т^,К^)^

^{2т1)\с]с1-к1^)

(1.12)

хехр-^

2(c^v^x~^vx)

{О1У^

-2kyJx-¥olx^)\

jyyjx '^yxf

где

у —у

—

гПу,

=х

— Шх —

центрированные величины.

Чтобы вычислить рефессию (1.6), необходима условная плот-

ность со(у|х), которая находится делением выражения (1.12) на

выражение (1.10). Осуществив эту операцию, найдем показатель

соответствующей экспоненты

(ol^y^ -2кухУХ'Ьо1х^)-\-0,5о^'х'^ =

A^y^x

-^yx)

(1.13)

r¥

~^y-^y

-l^yx^x^(x-ni^)f.

2(ОуСх-кух)

Так как гауссовская величина Кпри фиксированном значении

величины

по-прежнему остается гауссовской,

то

условная

плотность

со(у|

х) является гауссовской

может быть представле-

на в виде

o^(y\x)

Ny{my{x),Dy{x))=

^Щ'^^п^ Лу-гпу{х)^

pnDyix)

[ ЩМ J

Но тогда

из

сопоставления

(1.13) следует,

что

слагаемое

Шу

кухО^'^(х — Шх)

(1.13) есть не что иное как условное матема-

тическое ожидание величины Y, т.е. функцию регрессии при га-

уссовских величинах

¥и

А"

удается найти без проведения опера-

ций интегрирования (1.6),

путем анализа структуры условной

гауссовской плотности со(у|х). Итак, получаем:

ку

а:

my(x)

M{Y\X

my+^(x-mx).

(1,14)

При этом сомножитель

^ ^

j- в (1.13) определяет услов-

^у^х ~

'^ух

ную дисперсию

Dy{x)

величины У, т.е.

D{y\X

= Dy{x) =

M{{Y-myf\X

x}=

^ \ ^\ (1.15)

Соотношения (1.14), (1.15) иногда удобнее использовать

другой редакции, если обозначить

„

^УХ

_ \^х

.У

Тогда

ту(х)

М{У\Х

= х}=ту'\-Гух

M-(x-w^), (1.16)

0(У\Х=х)

а/(1-ГуЛ

(1.17)

Проанализируем полученные результаты.

Принципиально важным является то, что при гауссовских

величинах 7и ^регрессия Кна доказывается линейно зависящей

от значения

величины X.

Мерой связи величин ¥и Jf оказывается коэффициент кор-

реляции

Гух.

Если

Гух

О,

то, как следует из (1.16), условное мате-

матическое ожидание величины У вообще не зависит от значения

величины X, т.е. из некоррелированности гауссовских случайных

величин следует их независимость.

Условная дисперсия (1.17) величины Кне зависит от прини-

маемых величиной ^значений. Если |r^J

1, то

JSr=

х)

О,

это означает, что при фиксированном

величина Y также

оказывается фиксированной, причем, как следует из (1.16),

на

уровне

ту±

-^(х-т^.). То обстоятельство, что при фиксиро-

ванном А"величина ^принимает также фиксированное значение,

в свою очередь, означает, что в этом случае, т.е. при |r^J

1, вели-

чины THWY связаны функциональной зависимостью

ту±

{ay\-Y^'\x -

т^).

Из этих трех выводов обратим внимание на первый: функция

регрессии в указанных условиях оказывается линейной. Это об-

стоятельство позволяет и в иных ситуациях, пусть не гауссовских,

исходить из предположения

линейной структуре неизвестной

функции регрессии, т.е. класс функций S ограничивать множест-

вом линейных зависимостей вида

E =

{{в,x*)}ЛieiXЩ,

(1.18)

- скалярное произведе-

ние векторов

и X*.

Здесь вектор экзогенных переменных ЛГ расширен до вектора

X*, с тем чтобы в составе функции регрессии можно было управ-

лять «постоянной составляющей», независимой от экзогенных

переменных (аналогичная составляющая присутствует в (1.16)).

Класс линейных относительно экзогенных переменных и па-

раметров в функций (1.18) является в настоящее время одним из

наиболее используемых. Этому способствуют не только строгое

обоснование этой модели при гауссовских величинах, но и, как

будет показано далее, изящность, и простота получения значе-

ний параметра в на основе экспериментальных данных (1.1),

(1.2).

Вместе с тем не следует считать класс функций (1.18) един-

ственно применяемым. Естественным обобщением является

множество вида

s= Д0,л|/д;^)

(1.19)

где

\|//(Х),

/ =

О,

1, 2, ...,

m —

выбранные из определенных соображе-

ний базисные функции.

Линейный случай (1.18) является частным случаем (1.19).

Могут быть применены и более сложные модели элементов мно-

жества S с нелинейной зависимостью от вектора параметров в:

E =

|ix|/,(^r,e)l (1.20)

где,

например, щ{Х, в) = 0о(А^^^У(Х^2))/>

^^{s)y^

а^виЬ^

02,...,

c = 0s,

\|//(Z,e) = 0,/=l,2,...,^.

Подчеркнем еще

раз,

что выбор и обоснование класса S явля-

ется наиболее уязвимым и слабо защищенным теоретическими

средствами местом в проблеме аппроксимации функции регрес-

сии. В последующем мы еще раз возвратимся к этому вопросу и

дадим ряд дополнительных рекомендаций, направленных на уп-

рощение или усложнение аппроксимирующих моделей, если не-

обходимость

этом будет выявлена.

целом же нужно стремить-

ся к тому, чтобы класс

не оказался недопустимо упрощенным

(это может привести к потере наиболее характерных свойств ап-

проксимируемой функции регрессии), но и не был бы чрезмерно

усложненным, ибо за этим могут последовать вычислительные

осложнения обработки экспериментальных данных (1.1), (1.2)

без достижения заметного положительного эффекта в качестве

решения задачи восстановления зависимостей, понимаемого в

том или ином смысле.

1.4. Некоторые специальные случайные

величины и их свойства

Приводимые далее сведения известны из курса теории вероятно-

стей и математической статистики. Однако чтобы опрометчиво

не полагаться на память читателя, кратко напомним их.

Определение 1.1. Случайная величина г -

N(0,

1), т.е. гауссов-

ская с нулевым математическим ожиданием и единичной дис-

персией, называется

стандартной гауссовской случайной

величи-

ной.

Определение 1.2. Пусть еь 82, ..., е^ ~ последовательность не-

зависимых стандартных гауссовских случайных величин. Тогда

случайная величина

x(«)=ie?,

говорят, имеет %^-распределение с п степенями свободы.

таком

случае пишут

%^(л).

Доказывается, что

т^

= п,

Сх^

= п^.

Определение 1.3. Пусть

EQ,

Е\,

£2, ..., г^

—

последовательность

независимых стандартных гауссовских случайных

величин.

Тогда

случайная величина

У =

1Д

2 П

-п}^'

Гп''^''^

говорят, имеет распределение Стьюдента, или /-распределение с

п степенями свободы.

таком случае пишут;;

t(n).

Доказывает-

ся,

что при п> 2ту

0,Оу^

= п(п —

2)"^.

Определение 1.4. Пусть ei,

82,...,

Е^,

r|i, г|2,...,

Лл"~

последова-

тельность независимых стандартных гауссовских случайных ве-

личин. Тогда говорят, что случайная величина