Лекции по эконометрике
Подождите немного. Документ загружается.
,
m)(N)R(1
1)(mR
F
2
2
(2.15)
где, m – число компонент вектора
X
; N – число опытов.
Проверяется нуль гипотеза:
H
0
: F = 0;
если
m),Nν1;mν(αFF
21таблрасч
:.
то коэффициент множественной
корреляции незначим (гипотеза Н
0
принимается);
если
,FF
таблрасч
то R
2
значим (гипотеза Н
0
отвергается);
–
1
– число степеней свободы для числителя;
2
– число степеней свободы для
знаменателя (
1
=m-1;
2
=N-m) дроби (2.15).
2.4.6. Индекс корреляции при нелинейной связи двух случайных величин
Слово «индекс» здесь понимается в смысле «отношения» [ ]. Поэтому
употребляется и другой термин для этой числовой меры: «корреляционное
отношение».
Пусть две случайные величины XKи Y связаны в среднем нелинейным
функциональным уравнением вида:
(x)Y f
(2.16)
Например:
2
10
Y xbb
Функция f(x) должна быть априори известна.
(x)xyx
yx,
σσ
(x)M((x)M(X))((XM
σσ
Y)cov(X,
f
ff
г
(2.16)
Тогда выборочная оценка индекса корреляции равна [ ]:
N)(x)(x))(x(x
SS
1
N
1
(x)x
yx,
i
ii
f
ff
г
(2.17)
Практическая формула для индекса корреляции [ ]:
1).()(S
;)()
ˆ
(S;
S
S
-1
1
22
1
22
e
2
y
2
e
N
N
ă
N
N
i
iy
i
ii
m
ÓÓ
ÓÓ
(2.18)
Здесь:
2
e
S
– дисперсия остатков уравнения регрессии;
2
y
S
– общая дисперсия как мера разброса наблюдений вокруг среднего.
Заметим, что при подстановке
2
e
S
и
2
y
S
под корень в уравнении (2.18) и
условии (N-m)(N-1) при больших N степени свободы
21
υυ
и их можно
сократить, откуда следует упрощенная приближенная расчетная формула.
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
21
])Y(Y[
])Y
ˆ
(Y[
1
N
1
2
N
1
2
i
i
i
ii
г
(2.20)
Эта формула допускает наглядное толкование: чем сильнее стохастическая
связь в уравнении (2.16), тем меньше доля дисперсии
2
e
S
по отношению к общей
дисперсии
2
y
S
и больше индекса корреляции
г
.
2.4.7. Индекс множественной корреляции
Пусть построено нелинейное уравнение множественной регрессии:
).(
ˆ
n
jjj
xfb
0j
Ó
(2.20)
Тогда использую простую формулу (2.20), можно получить индекс
множественной корреляции
N
2
N
2
n
X....
2
X
1
XY
)Y(Y
)Y
ˆ
(Y
1R
1i
i
1i
ii
(2.21)
Соответственно квадрат этого индекса даст множественный индекс
детерминации в нелинейном случае.
2.5. Коэффициент ранговой корреляции
Коэффициент ранговой корреляции служит числовой мерой стохастической
связи между качественными (нечисловыми) показателями
Качественные показатели называют также ординальными и порядковыми
переменными.
Пример:
На соревнованиях по фигурному катанию получена таблица оценок за
«технику» T
i
и «артистичность» S
i
(два качественных признака).
Номер оценки
Ранги
оценка за
«технику»
оценка за
«артистичность»
признак X признак Y
i T
i
S
i
1 T
1
S
1
2 T
2
S
2
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
22
…. …. ….
N T
N
S
N
Здесь T
i
, S
i
– ранги (баллы), т.е. значения ординальных переменных, которые
находятся путем экспертных оценок (оценки судей).
Выборочная оценка, коэффициента ранговой корреляции Спирмена
определяется по формуле
1.ζ1;
NN
)S(σ
1ζ
3
N
2
1i
ii
T
(2.22)
N – число наблюдений (строк).
Значимость коэффициента ранговой корреляции Спирмена проверяется
аналогично (2.9) по критерию Стьюдента.
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
23
Глава III. Множественный регрессионный анализ
3.1. Постановка задачи
Будем постулировать выполнение основной предпосылки эконометрического
анализа (1.1) – (1.5).
Пусть имеется выборка пространственного типа, т.е. кортежи наблюдений:
.N1,,, iyx
ii
1). Требуется получить уравнение регрессии, для объясненной части M
x
(Y)
случайной величины Y, т.е. получить параметрическую оценку:
)(
ˆ
(Y)M b,xy
x
)(y
ˆ
– общем случае нелинейная функция.
2). Требуется также, провести статистический анализ остатков е
i
, т.е.
установить: адекватна ли модель. И оценить ее погрешность.
Замечание 1: Всю теорию регрессионного анализа мы будем излагать для
аддитивной формы (структуры) модели которая более наглядно
интерпретируется: виден отдельный вклад каждого выходного фактора:
.e)(
ˆ
Y;)()(
ˆ
b,xyxfbb,xy
q
0α
jαα
(3.1)
В частном случае, когда в структуре модели на каждый входной фактор
выделена одна базисная функция имеем:
f
(x
j
)
f
j
(x
j
);
j; q=n; f
0
1.
Пример:
y
ˆ
=b
0
f
0
(x
0
) + b
1
x
1
+ b
2
lnx
2
; f
0
(x
0
)1; f
1
=x
1
1
; f
2
lnx
2
.
Здесь каждый член отражает вклад своего фактора, в общем случае
нелинейный.
Замечание: Вид координатных функций f
(x
j
) выбирается в соответствии с
особенностями моделируемого объекта. Это могут быть функции:
-степенные;
-показательные;
-экспотенциальные;
-логарифмические;
-тригонометрические и др.
Для колебательных процессов, например сезонных колебаний, хорошо
подходят гармонические функции. Удобно подбирать вид базисных функций f
(x
j
)
с помощью инструмента МS Excel «Мастер диаграмм».
3.2. Метод наименьших квадратов (МНК) в скалярной форме
Используя уравнение регрессии (3.1), запишем функцию цели Ф,
характеризующую качество аппроксимации объясненной части Y
e
=M
x
(Y)
уравнением регрессии:
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
).Ф(minФ:
;)()
ˆ
(Ф
2
2
x,bb
xfbyyy
b
ααiii
N
1i
N
1i
q
0α
j
(3.2)
Это задача безусловной оптимизации, т.е требуется найти такие оптимальные
значения
b
вектора параметров уравнения регрессии, которые доставляют
минимум функции цели Ф.
Замечание: Для простоты далее считаем, что в уравнении регрессии каждый
входной фактор x
j
предоставлен одним членом суммы со своей базисной
функцией f
j
(x
j
), т.е.
j.
В теории регрессионного анализа показано, что функция Ф непрерывна и
строго выпукла по аргументам b
j
. Тогда ее минимум обеспечивается условиям
.j;
b
)b,x(
n1,0
Ф
j
(3.3)
Система (3.3) называется системой, нормальных уравнений. Если вектор
b
входит в модель линейно, то эта система представляет собой линейные
алгебраические уравнения относительно искомых
bj
, j=
n1,
.
Замечание: Под линейным вхождением bj, в модель понимается, что сами
координаторные функции f
j
(x
j
) могут быть нелинейными, но они не должны
содержать ни одного оцениваемого параметра bj.
Пример:
.eby;eby
xx
1
b
00
ˆˆ
Здесь обе модели нелинейны по независимой переменной х. Однако вторая
модель линейна по искомому параметру b
0
, в тоже время как в первой модели
параметр b
1
входит в структуру модели нелинейно.
Если система нормальных уравнений, есть система линейных алгебраических
уравнений, то для ее решения можно использовать аппарат линейной алгебры и,
соответственно, матричную форму метода наименьших квадратов.
3.3. Матричная форма метода наименьших квадратов.
3.3.1.Уравнение наблюдений в матричной форме
Запишем наблюдения в каждой точке i:
.e)(e)(
ˆ
Y
n
i
0j
ii
jijji
xfbb,xy
(3.4)
Введем в рассмотрение матрицу плана наблюдений или матрицу базисных
функций (не путать с вектором
x
).
.X;
)(1
1
1
)()(
X
ij
nNnN1
i1
21
11
nin1i0i0
xf...f
............
......f
......
......f
......f
xf...xff
f
(3.5)
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
25
Тогда при условии линейного вхождения вектора параметров
b
в модель,
получим:
eXe)(
ˆ
Y
bb,xy
(3.6)
Справедливость уравнения (3.6) проверяется переводом уравнения (3.6) в
скалярную форму по правилу умножения матрицы X на вектор
b
.
В уравнении наблюдений (3.6)
b
= (b
0
,b
1
,….,b
j
,….b
n
); - n – мерный вектор оцениваемых параметров;
e
= (e
0
,e
1
,….,e
j
,….e
n
); - N – мерный вектор остатков;
Y
= (y
0
,y
1
,….,y
j
,….y
n
); - N – мерный вектор наблюдений.
Замечание: Если структура модели нелинейна по
b
, т.е.
b
входит в
базисную функцию, то записать уравнение (3.6) невозможно и классический
метод наименьших квадратов непримерим.
3.3.2.Нормальные уравнения регрессии и формула для параметров уравнения
Используем известную формулу из матричной алгебры:
).a,...,a,(aa;aaa
n21
n
T2
1i
i
(3.7)
Тогда, опуская стрелки с учетом того, что
by
Х
ˆ
получаем:
N
1i
ФminXYXY)
ˆ
(Ф
b
T
2
bbyy
ii
(3.8)
)(0;
Ф
n21
b,...,b,bb
b
(3.9)
Система нормальных уравнений запишется в виде:
YXX)(X
TT
b
(3.10)
где (X
T
X) – матрица нормальных уравнений.
Пусть обратная матрица (X
T
X)
-1
существует (она называется
информационной матрицей Фишера). Тогда:
YXX)(X
T1T
b
В противном случае det(X
T
X)
-1
=0 и матрица нормальных уравнений
необратима.
Если det(X
T
X)
-1
0, но очень мал, то обращаемая матрица плохо обусловлена.
Возникает вычислительные проблемы обращения матриц большей размерности.
3.4. Предпосылки метода наименьших квадратов
Классический метод наименьших квадратов, лежащий в основе
регрессионного анализа, предъявляет довольно жесткие требования к базе данных
и свойствам полученных случайных остатков:
.yy
iii
ˆ
e
Должны выполняться ряд условий (предпосылки) метода наименьших
квадратов.
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
26
Пусть выполнена основная предпосылка эконометрического анализа, т.е.
моделируемую случайную величину Y можно разбить на две части объясненную
и случайную:
).X((Y)M;)X(Y
x
E
Перечислим предпосылки классического метода наименьших квадратов.
1). Зависимая переменная Y
i
и возмущения E
i
– это случайные величины, а
вектор объясняющих переменных Х
i
– неслучайный (детерминированный).
2). Математическое ожидание возмущений E
i
равно 0:
ME
i
=0
3). Дисперсия возмущений E
i
(дисперсия зависимой переменной Y
i
)
постоянна:
.nЕ)D(Yn;Е)D(
2
2
2
1
ii
E
(3.12)
где Еn – матричная единица.
Это условие называется гомоскедастичностью или равноизменчивостью
возмущения E
i
(зависимой переменной Y
i
). На рисунке 3.1. показан случай
нарушения свойства гомоскедастичности:
(II)(I)
σσ
ÓÓ
, т.е. для разных диапазонов
изменения х дисперсия
(II)
σ
Ó
существенно изменяется (зависит от х).
Рис. 3.1. Иллюстрация нарушения свойств гомоскедастичности
4). Возмущения E
i
и E
j
(или наблюдение Y
i
и Y
j
) не корректированы:
M(E
i
E
j
)= 0 ; ij (3.13)
5). Ранг матрицы плана X
[N
x
n
]
должен быть не более числа опытов N:
r=k < N,
где, k – число членов регрессии. Ранг r равен числу линейно независимых
столбцов матрицы X.
6). Возмущения E
i
(или зависимая переменная Y
i
) есть нормально
распределенная случайная величина
EN(0;
2
E
n
). (3.14)
При выполнении всех предпосылок 1…5 и 6 модель называется классической
нормальной регрессионной моделью.
x
y
0
а b
(II)
σ
Ó
(I)
σ
Ó
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
27
Замечание 1: Формально уравнение регрессии можно построить и без
предпосылки о нормальном ЗР? возмущений E
i
. Однако при этом модель не
имеет практического смысла, поскольку невозможно оценить:
-адекватность;
-точность;
-доверительные интервалы оценок коэффициентов и Y.
В этих операциях используется НЗР ? (критерий Стьюдента)
Замечание 2: Для получения адекватного, хорошего интерпретируемого (с
возможностью раздельной оценки вклада каждого фактора) уравнения регрессии
с необходимой точностью требуется выполнение еще одной седьмой
предпосылки.
7). Отсутствие мультиколлинеарности.
Мультиколлениарность – это наличие линейной корреляции объясняющих
переменных между собой.
Предпосылки метода наименьших квадратов проверяются как
соответствующие статистические гипотезы.
3.5. Свойства оценок, получаемых по методу наименьших квадратов
Утверждение: Оценка
b
по методу наименьших квадратов при выполнении
предпосылок метода наименьших квадратов обладает важными статистическими
свойствами:
1). Она несмещенная (не содержит систематических ошибок)
(Mb
j
=
j
), j= . (3.15)
2). Оценка метода наименьших квадратов – состоятельная
01,)(limP
N
b
(3.16)
Здесь - сколько угодно малое число.
Другими словами, при увеличении N оценка вектора становиться все
более точной, приближаясь к генеральному значению по вероятности.
Заметим, что без этого свойства организация эксперимента была бы
затруднительной.
3). Эффективность оценки (теорема Гаусса-Маркова).
Если уравнение регрессии – это классическое нормальное линейное
регрессии, т.е. удовлетворяются все предпосылки регрессионного анализа, то в
классе линейных несмещенных оценок метода наименьших квадратов – оценка
YXX)(X
T1T
b
является наиболее эффективной, т.е. обладает наименьшей
дисперсией.
3.6. Оценка адекватности уравнения регрессии (проверка гипотез о
предпосылках метода наименьших квадратов)
3.6.1.Гипотеза о близости к нулю математического ожидания остатков
1,N
b
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
28
Здесь используется критерий Стьюдента для остатков и проверяется нуль-
гипотеза:
?1N;t
S
Ne
t:H
таб
Σ
e0
να
(3.17)
S
- среднее квадратичное отклонение остатков – мера рассеяния остатков
относительно своего среднего
1N
)e(e
S
1
2
Σ
N
i
ii
(3.18)
Замечание: Здесь число степеней свободы S
=(N – 1), так как на вычисление
среднего (центра рассеяния) расходуется одна степень свободы:
,SS
N;)e(e
eΣ
N
1
i
i
(3.19)
где S
e
- среднее квадратичное отклонение наблюдений Y
i
относительно
поверхности регрессии
),( bxy
ˆ
:
,
kN
ee
kN
)y
ˆ
(y
S
T
N
1
2
e
i
ii
(3.20)
где, k – число членов уравнения регрессии, включая свободный член.
3.6.2. Гипотеза о статистической значимости коэффициентов регрессии b
j
Используя t – критерий Стьюдента проверяем нуль гипотезу:
?k)N;(tt:H
;X)(X
e
SS;
S
b
t
таб0
T
να
j
jj
j
j
j
j
b
b
b
b
1
(3.21)
Выводы:
Если данное неравенство выполнено, то коэффициент b
j
– статистически не
значим.
Если все коэффициенты в уравнение регрессии не значимы то уравнение
регрессии не значимо: влияние регрессоров Х
j
на формирование значений
Y не различимо на фоне случайных возмущений E. Модель не адекватна.
Если все коэффициенты уравнения регрессии значимы, то нарушение
адекватности в данном пункте (по данной гипотезе) нет. Но вывод об
адекватности делать рано, должны быть выполнены все предпосылки
метода наименьших квадратов.
Если часть коэффициентов уравнения регрессии значима, а часть не
значима, то это не является снованием для нарушения адекватности.
Значимая часть регрессоров может адекватно описывать объект.
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
29
Незначимые коэффициенты уравнения регрессии и соответствующие им
регрессоры следует исключить из модели: они не несут никакой полезной
информации.
3.6.3. Гипотеза о статистической значимости всего уравнения регрессии в целом
Используется критерий Фишера- Снедекора F и проверяется нуль-гипотеза:
k)(NQ
1)(kQ
F
?k)N1;k;(FF:H
e
R
21таб0
ννα
(3.22)
Q
R
– сумма квадратов отклонений расчетных значений
ι
y
ˆ
от среднего
i
y
,
обусловленная вариацией факторов; Q
e
- сумма квадратов отклонений расчетных
значений
i
y
ˆ
от фактически наблюдаемых, обусловленная влиянием случайных
возмущений E
i
(включая влияние неучтенных в модели факторов).
N
1
N
1
T22
e
N
1
2
R
.eee)
ˆ
(yQ;)
ˆ
(Q
i i
iii
i
i
yyy
Выводы:
1. Если гипотеза Н
0
выполнена, то уравнение регрессии в целом
статистически незначимо и можно сразу делать вывод о неадекватности модели.
2. Если нуль-гипотеза Н
0
не выполнена, т.е. F>F
таб
, то уравнение регрессии в
целом значимо и можно переходить к проверке других гипотез.
3.6.4. Оценка качества уравнения регрессии
Для комплексной оценки качества уравнения регрессии используется
коэффициент детерминации R
2
Коэффициент детерминации R
2
как мера качества уравнения регрессии
характеризует долю вариации зависимой переменной, обусловленную регрессией
(влиянием факторов), в общей вариацией результативной переменной Y
i
; чем
ближе коэффициент детерминации R
2
к единице, тем лучше уравнение регрессии
аппроксимирует экспериментальные данные, тем ближе эмпирические точки
располагаются к линии регрессии, тем больше прогностическая сила модели.
Замечание: Коэффициент множественной детерминации, определяется по
результатам линейного корреляционного анализа, не следует смешивать с
рассматриваемым коэффициентом детерминации R
2
, справедливого и для
моделей, нелинейных по регрессорам (в этом случае его следует называть
«индексом множественной детерминации»). Другими словами,
R
2
R
j
.
12
…
m
2
.
Это разные коэффициенты: первый из них связан с регрессионным анализом,
т.е. привязан к конкретной параметрической модели
),( bxy
ˆ
, а второй связан
корреляционным анализом линейно-связанных случайных величин, т.е. с
корреляционной матрицей K. Сходство только в термине «детерминация», а
расчетные формулы – разные:
Линия уравнения регрессии
Верхняя граница доверительных
интервалов для индивидуальных
значений Y
0
*
Нижняя граница доверительных
интервалов для расчетного
значения
Временной срез
t
0
=const
30