Давнис В.В. Прогнозные модели экспертных предпочтений

Подождите немного. Документ загружается.

"повторяющихся"

(или

группированных) статистических наблюде-

ний, имеющих структуру вида

У,

У\ <, <2

. . х ;

УГ

Л.

х"

"Л'

х"

12 • •

^22 " '

х\ .

1»)

. X?

2/г

•у

. . x

it,

(3.38)

В каждой

Л-й

фуппе наборы независимых переменных равны

между собой,

т.е. х* = х* = ••• = **,. где х* = (*,-,, х*

' . . ., х-

Фактически имеет место ситуация, когда

выборке присутствуют

по нескольку наблюдений зависимой переменной

у,

соответству-

ющих одним

и тем же

значениям объясняющих переменных (либо

в группе

все

наборы объясняющих переменных

силу того,

что

мало отличаются друг

от

друга, заменены одним

и тем же

набо-

ром

усредненными значениями

(

). В

этом случае функция

правдоподобия приобретает следующий

вид:

L(y; b) =

ПП{

(

>''

[1-

F(x*b)]'"

}

=п

2><

F(x*b)

I-F(x*b)

'•'

(3.39)

Если все п

достаточно велики, то можно вместо максимиза-

ции логарифмической функции правдоподобия для получения

оценок параметров модели применить схему метода взвешенных

наименьших квадратов. С этой целью перейдем от исходного на-

бора наблюдений к наблюдениям вида

(ДД.),

/ = 1,2, ...,7V,

(

°)

где р =2^у'- /

rij—

относительная частота события, состоящего в

/='

том, что зависимая переменная примет значение, равное едини-

це,

при значениях объясняющих переменных, равных х,.

В соответствии с теоремой Бернулли относительная частота Д

связана с истинным значением вероятности P{j,-=l|x,.)

F(x

;

неравенством

P{|p,.-F(x,.b)j<£}>l-<5, (3.41)

которое позволяет записать соотношение

{

= F(x,b) + £,. (3.42)

Случайная составляющая

имеет нулевое математическое ожида-

ние Е(е,) = 0 и дисперсию, равную D(e,) = F(x

b)(l-F(x,b))/« .

Таким образом, соотношение для относительной частоты мож-

но рассматривать как нелинейную регрессию с гетероскедастичными

(т.е.

имеющими неравные дисперсии) остатками. Параметры та-

кой регрессии оцениваются с помощью итерационной вычислитель-

ной процедуры, минимизирующей взвешенную сумму квадратов

ifF^bKl-F^b))]-

-F(x

;

b)]

. (3.43)

Упростить построение нелинейной регрессии можно в том слу-

чае,

если удается подобрать такое преобразование, которое позво-

ляет заменить нелинейную модель линейной, эквивалентной ис-

ходной в смысле совпадения оцениваемых параметров. Таким

преобразованием является функция F

, обратная функции рас-

пределения вероятности соответствующего закона. Если операцию

обращения применить к (3.42), то получается соотношение

5?,

=х,.Ь + е,., (3.44)

представляющее собой линейную регрессию, обоснованность ко-

торой приводится ниже.

Промежуточное представление при переходе от (3.42) к (3.44)

F-

(A) = F"

(F(x

b) + e

) (3.45)

можно в окрестности точки е = 0 разложить в ряд Тейлора и,

ограничившись точностью первого порядка, записать следующим

образом:

(A-) = F-

(F(x

.b)) +

где F (F(x

b)) = x,b, а остаточный член легко преобразуется к

виду

dF"'(F.)_

1 1

___

;

~ dF(F,.)

/<Щ.

~ f(x,b) ~ f

;

•

(3,47)

В преобразованном остаточном члене величина f = f(x-b) рав-

на значению функции плотности закона распределения вероятно-

сти F в точке Х-Ь.

Введение обозначений y=Y'\p) и £.=£.// позволяет запи-

сать уравнение регрессии (3.44). Зависимая переменная в этом

уравнении представляет собой квантиль уровня p

функции распреде-

ления F. Случайные составляющие £

- имеют нулевые математические

ожидания Е(ё~) = 0 и неравные дисперсии D(£}) = F,(l - F,)//?,- ff.

В результате проведенных преобразований задача построения

нелинейных логит- и пробит-моделей свелась к оценке параметров

линейной функции регрессии с гетероскедастичными остатками.

В качестве зависимых переменных в этих функциях регрессии

применяются квантили соответствующих распределений. В логит-

моделях для расчета квантиля используется функция

Й = 1П[А-/(1-Д->], (3.48)

которая является решением уравнения

/(l

)

pi (3.49)

относительно z, т.е. действительно находит квантиль уровня р{.

В пробит-моделях значения зависимой переменной y

опреде-

ляются в виде табличных квантилей уровня Pi стандартного нор-

мального распределения.

dF-(F

)

(3.46)

После преобразования моделей к линейному виду их построение

осложняется только гетероскедастичностью остатков е

;

-. Как извест-

но,

избежать возможного искажения коэффициентов удается путем

применения взвешенного метода наименьших квадратов. В каче-

стве весовых коэффициентов в этом методе используются величи-

ны,

обратные дисперсии соответствующих остатков De}. Для ло-

гит-модели весовые коэффициенты определяются из соотношения

.dA(x.b) 2

(')

_J_

(»,b)

я,-Л

(1-Л,-)

Ц-а-Ц) Л(х

-Ь)(1-Л(х

Ь) Л

;

(1-Л

= л,.Л,.(1-Л,). (3.50)

Таким образом, оценка параметров логит-модели сводится к

решению оптимизационной задачи вида

Хи^ф-Х/Ь)

in, (3.51)

/=i ь

где у,- рассчитано по формуле (3.48); w

(/)

определяется в соответ-

ствии с (3.50).

Оценка параметров b пробит-модели сводится к решению этой же

оптимизационной задачи, но с другими значениями зависимой пе-

ременной и другими весовыми коэффициентами. Для пробит-модели

значения зависимой переменной y

определяются в виде табличных

квантилей уровня p

стандартного нормального распределения, а

весовые коэффициенты w- рассчитываются по формуле

=п,.ф

(х,Ь)/Ф(х,Ь)(1-Ф(х,.Ь)), (3.52)

в которой

ср

— функция плотности, а Ф — функция распределе-

ния стандартного нормального закона вероятности.

При фиксированных значениях весовых коэффициентов w ре-

шение оптимизационной задачи (3.51) легко получается с помо-

щью обобщенной процедуры метода наименьших квадратов. Од-

нако в рассматриваемом случае веса w зависят от оцениваемых

параметров Ь, и решение оптимизационной задачи можно полу-

чить,

применив итерационную процедуру. На первом шаге этой

процедуры оптимизация (3.51) проводится с помощью обобщен-

ного метода наименьших квадратов при w = 1. Полученные оцен-

ки Ь^

' используются для подсчета по соответствующим формулам

весовых коэффициентов w' '(b^') или w^

(

') в зависимости от

модели (логит-модель или пробит-модель). Эти новые коэффици-

енты применяются в обобщенном методе наименьших квадратов

на следующем шаге итерационной процедуры для получения оце-

нок Ь^ '. Итерационная процедура продолжается до тех пор, пока

пересчитанные весовые коэффициенты очередного шага не совпа-

дут до определенного знака после запятой с весовыми коэффици-

ентами предыдущего шага.

Подобного рода итерационные процедуры применяются во мно-

гих статистических пакетах. В частности, возможность построения

моделей бинарного выбора с использованием итерационной проце-

дуры реализована, например, в пакетах Eviews и STATISTICA.

3.3.

Оценка качества пробит- и логит-моделей

3.3-1 • Адекватность

Оценка качества регрессионных моделей с бинарной

зависимой переменной осуществляется практически по той же

схеме, что и качества обычной линейной регрессии: определяет-

ся пригодность модели в целом, затем — статистическая значи-

мость каждого коэффициента модели и, наконец, проверяются

гипотезы (если они имеют место) относительно ограничений,

которым могут удовлетворять отдельные группы параметров.

Пригодность модели в целом (адекватность) определяется с по-

мощью двух показателей. В качестве первого рассмотрим предло-

женный Макфадденом (McFadden) индекс

отношения правдоподобия

тот 1 toLflj)

lnL(6

)

где InL(b) — максимальное значение логарифмической функции

правдоподобия, достигаемое в точке, координаты которой равны

оценкам параметров модели b = (b

,...,

), a lnL(£

) — зна-

чение логарифмической функции правдоподобия, вычисленное в

предположении, что Ь

= Ь

= ... = Ъ

= 0. (Во многих пакетах

предусмотрен расчет этих значений функции правдоподобия.)

Интуиция подсказывает, что значения такого показания долж-

ны быть заключены между 0 и 1. Действительно, в случае, когда

все коэффициенты, кроме Ь

, равны нулю, индекс отношения

правдоподобия тоже равен нулю. Если же модель оказалась такой,

что ее расчетные значения у = (F(x Ь) в точности совпадают с

наблюдаемыми значениями у

т.е. имеют место только случаи

или у

(

= у. =1, или у

= у. =0, то индекс LRI = 1. О такой

модели принято говорить, что она совершенно согласована. В

остальных случаях значение LRI заключено между 0 и 1, причем

чем больше совпадений между расчетными и фактическими зна-

чениями, тем ближе значение индекса к 1. К сожалению, слу-

чаи, когда значения индекса заключены между нулем и едини-

цей, не имеют собственной интерпретации. Даже в случае

когда построенная модель идентична истинной функции распре-

деления вероятностей, она не является совершенно согласованной.

Второй показатель принято называть псевдо (pseudo) R

. Его

расчет осуществляется по формуле

j^2

_ j \

2(lnL(b)-rnL(4))) '

(354)

где п — объем выборки.

Как и в случае индекса LRI, псевдо R

равен 0, когда все

коэффициенты модели, кроме Ь

равны нулю. Его значение

приближается к 1 по мере того, как увеличивается разность между

InL(b) и 1пЦЪ

), но 1 не достигает. Чем ближе к 1 значение

псевдо R

, тем точнее модель воспроизводит фактические значе-

ния бинарной переменной.

3.3.2. Статистическая значимость

коэффициентов

Проверка статистической значимости отдельных коэф-

фициентов модели осуществляется с помощью статистики Валь-

да. Для вычисления ее значения необходимо иметь стандартные

ошибки коэффициентов модели. Стандартные ошибки, как и в

случае линейной регрессии, определяются по диагональным эле-

ментам ковариационной матрицы оценок 6. Но прежде чем пе-

рейти к определению значимости, исследуем вопрос состоятель-

ности и асимптотической нормальности этих оценок.

Известно, что решение любого из уравнений правдоподобия

(3.1) или (3.2), даже если оно существует, не обязательно име-

ет хорошие асимптотические свойства. Желаемые состоятельность

и асимптотическая нормальность обеспечены только в том случае,

когда выполняются определенные условия, налагаемые на пове-

дение объясняющих переменных в генеральной совокупности.

Существуют два подхода к этой проблеме:

1) полагают, что объясняющие переменные являются стохас-

тическими. Тогда налагаемые на них условия предстают в форме

"все х. являются независимыми, одинаково распределенными слу-

чайными переменными, для которых существуют моменты доста-

точно высокого порядка";

2) полагают, что объясняющие переменные фиксированы. В

этом случае условия будут следующими:

• для зависимой переменной у

существует асимптотическая

матрица вариации-ковариации;

• значения независимых переменных х. ограничены, т.е.

всегда найдутся такие константы т, М; т

>—

°°,

М<^>, что

х. < М, V/, /'.

Если одно из этих условий выполнено, то при достаточно

больших п оценка b существует и сходится по вероятности к ис-

тинному значению Ь. Ковариационная матрица этой оценки рав-

няется матрице, обратной к информационной матрице Фишера,

которая представляет собой математическое ожидание Гессиана,

взятое с обратным знаком

V(b)

r' = J-E

Предполагается, что математическое ожидание здесь берется

условно по х.

Таким образом, при выполнении сформулированных выше

условий можно считать, что оценка вектора коэффициентов мо-

дели, полученная с помощью метода максимального правдоподо-

бия, является асимптотически нормальной, т.е.

(

-Е

ln(L)

ЭЬЭЬ'

-1-1

Как нетрудно понять, асимптотическая матрица ковариации

зависит от неизвестного параметра Ь. Поэтому непосредственное

использование ее в практических расчетах исключено. Рекоменда-

ции здесь те же самые, что и при использовании обычной регрес-

сии — неизвестные параметры, присутствующие в матрице, сле-

ln(L)

ЭЬЭЬ'

(3.55)

дует заменить соответствующими оценками. Руководствуясь этим

общим правилом, можно записать

V(b)= -E

1п(Ъ)

ЭЬЭЬ'

(3.57)

ь=ь

и использовать в практических расчетах не ковариационную мат-

рицу, а ее оценку.

Рассмотрим детально, каким образом может быть получена

оценка этой матрицы. Для этого вычислим матрицу вторых про-

изводных (Гессиан)

ln(L) _ Э

ЭЬЭЬ'

дЪ

/=1

ain(L)

эь

f'F-f

, f'(l-F) + f

(1-F)

-X/X/O-JV)

(3.58)

где F = F(x,.b) и f = f(x,b).

Для получения информационной матрицы Фишера необходи-

мо Гессиан умножить на —1 и взять математическое ожидание.

Используя тот факт, что Е(_у

;

) = F(x

b), и проведя несложные

преобразования, получаем

1 = Е

- Э

In (L)

ЭЬЭЬ'

= 2-

[f(x,b)r

(3.59)

^F(x

b)[l-F(x

b)]

Соответственно асимптотическая матрица вариации-ковариации Ь

примет вид

-1

]aF(x,b)[l-F(x,b)J

а ее оценка равна

v(b)

[f(x,b)]

F(x,b)[l-F(x,b)]

(3.60)

(3.61)

Корни квадратные из диагональных элементов этой матрицы S

являются стандартными ошибками соответствующих оценок \)

Их используют для получения статистики Вальда

Чкк

, к=0, 1,

т.

(3.62)

В случае логит-модели, для которой f=F(l-F), матрица Фи-

шера упрощается:

-Э

1п(Ь)

ЭЬЭЬ'

XFCx^tl-FCx^JxX.

(363)

Кроме того, матрицу Фишера можно представить в более ком-

пактной и более удобной для расчетов форме. С этой целью обо-

значим через X матрицу наблюдений за экзогенными перемен-

ными, дополненную столбцом из единиц и имеющую размер

пх(т+\).

По-прежнему х

(

. будет обозначать /-ю строку матрицы

наблюдений. Далее через D обозначим диагональную матрицу «-го

порядка, у которой /-й элемент диагонали имеет следующий вид:

d;; =

[f(x,b)]

(3.64)

F(x,b)[i - F(x,b)]

Тогда информационная матрица Фишера может быть записана

следующим образом:

-Э

1п(Ь)"

= Е

ЭЬЭЬ'

= ХТ)Х.

(3.65)

Ковариационная матрица в этом случае равна

V(b) = (XDX)-

. (3.66)

Такая форма ковариационной матрицы напоминает обобщенную

оценку наименьших квадратов.

3.3.3- Стандартные ошибки предсказанных

вероятностей и предельных эффектов

Расчетные значения F, = F(x,b), получаемые с помо-

щью оцененных пробит- и логит-моделей, представляют собой ве-

роятности того, что переменная у примет значение 1 или 0. Воз-

можные изменения этих вероятностей в зависимости от факторов

оцениваются частными предельными эффектами

F(x,b)

Эх

f(X-b)b.

(3.67)

Это именно те характеристики, которые подлежат интерпретации

и практическому использованию. Чтобы иметь представление о на-

дежности выводов, полученных на основе результатов моделирова-

ния, необходимо иметь оценки стандартных ошибок этих характе-

ристик, получить которые можно с помощью дельта-метода [63].

Для расчетной вероятности F, дельта-метод позволяет записать

асимптотическую величину стандартной ошибки в виде

V( F,) =

[Э

F(x,b) /ЭЬ]'У(Ь)[Э F(x,b)/дЬ], (3.68)

где V(b) — асимптотическая ковариационная матрица оценки Ь.

Заметим, что доступность практического использования данной

формулы гарантируется тем, что асимптотическую ковариацион-

ную матрицу в ней, следуя рекомендациям предыдущего парагра-

фа, можно заменить оценкой V(b).

Чтобы сделать формулу (3.68) более удобной для расчетов,

проведем ее преобразование. С этой целью введем обозначение:

Z, = х,Ь. Тогда вектор производных может быть представлен сле-

дующим образом:

[aF(x,b)/ab] = [aF(x,b)/8z

][3z./ab] =

f(x,b)x,.

(3.69)

Замена в (3.68) вектора производных на (3.69) позволяет запи-

сать выражение для стандартной ошибки расчетной вероятности

в более компактной форме:

V(F,.) = [f (x,b)

]

x,. V(b)x;

•

(3.70)

Стандартная ошибка зависит от вектора, по которому рассчи-

тывалась вероятность.

Теперь перейдем к рассмотрению предельных эффектов. Для

удобства введем обозначение g =f(xb)b- Тогда асимптотическая

ковариационная матрица предельных эффектов может быть запи-

сана так:

V(g,-) - [3g, /3b']V(b)[3g,

/ЭЬ']'-

(3-71)

Для дальнейших преобразований матрицу производных предста-

вим в виде суммы

В полученном выражении вычисление производной дЪ/дЪ'

привело к единичной матрице, а вычисление dZj/дЪ'— к вектор-

строке х

(