Щипин К.С. Система прогнозирования на основе многокритериального анализа временных рядов
Подождите немного. Документ загружается.
11
Ряд )(tx называется строго стационарным, если совместное распределение
вероятностей
m наблюдений )(),...,(),(
21 m
txtxtx такое же, как и для m наблюдений
)(),...,(),(
21
τ
τ
τ
+++
m
txtxtx , при любых m ,
m
ttt ,...,,
21
и
τ
/56/.
Другими словами, свойства строго стационарного временного ряда не меняются при
изменении начала отсчета времени. В частности, при
1
=
m из предположения о строгой
стационарности временного ряда )(tx следует, что закон распределения вероятностей
случайной величины )(tx не зависит от t , а значит, не зависят от t и все его основные
числовые характеристики, в том числе: среднее значение atx
=)(E и дисперсия
22
))(()(
σ
=−= atxtx ED .
Очевидно, значение
a определяет постоянный уровень, относительно которого
флуктуирует анализируемый временной ряд
)(tx
, а постоянная величина
σ
характеризует
размах этой флуктуации. Поскольку закон распределения вероятностей случайной величины
)(tx
одинаков при всех t , то он сам и его основные числовые характеристики могут быть
оценены по наблюдениям
)(...,),2(),1( Nxxx
/29/. В частности оценки среднего значения и
дисперсии:
∑
=
=
N
t
tx
N
a
1
)(
1
ˆ
, (1.2)
∑
=
−=
N
t
atx
N
1
22
)
ˆ
)((
1
σ
. (1.3)
1.2. Обзор, математических моделей, применяемых при анализе
временных рядов
1.2.1. Регрессионные модели
1.2.1.1.
Результирующая и объясняющие переменные
Результирующей называется переменная (или признак) y , характеризующая
результат или эффективность функционирования анализируемой системы /56/. Ее значения
формируются в процессе и внутри функционирования этой системы под воздействием ряда
других переменных и факторов, часть из которых поддается регистрации и, в определенной
степени, управлению и планированию. В регрессионном анализе результирующая
переменная выступает в роли функции, значения которой определяются (с некоторой
12
случайной погрешностью) значениями упомянутых выше объясняющих переменных,
выступающих в роли аргументов. Поэтому по природе своей результирующая переменная
y
всегда стохастична.
Объясняющие – переменные (или признаки)
Τ
= ),...,,(
)()2()1( p
xxxX , поддающиеся
регистрации, описывающие условия функционирования изучаемой системы и в
существенной мере определяющие процесс формирования значений результирующих
переменных /56/. Как правило, часть из них поддается хотя бы частичному регулированию и
управлению. Значения ряда объясняющих переменных могут задаваться как бы «извне»
анализируемой системы. В этом случае их принято называть экзогенными. В регрессионном
анализе
они играют роль аргументов той функции, в качестве которой рассматривается
анализируемый результирующий показатель
y . По своей природе объясняющие переменные
могут быть как случайными, так и неслучайными.
1.2.1.2. Функция регрессии
y
по
Τ
= ),...,,(
)()2()1( p
xxxX
Функция )(
*
XF называется функцией регрессии
y
по
X
, если она описывает
изменение условного среднего значения результирующей переменной
y (при условии, что
значения объясняющих переменных X зафиксированы на уровнях
*
X ) в зависимости от
изменения значений
*
X объясняющих переменных /56/. Математически это определение
может быть записано в виде:
)|()(
**
XXyXf == E . (1.4)
В дальнейшем в целях упрощения обозначений правую часть (1.4) будем записывать
просто )|(
XE y . Поэтому сокращенно функция регрессии может быть определена также
соотношением
)|()(
XyXf E= . (1.5)
Объясняющие переменные
X могут быть как случайными величинами, так и
неслучайными параметрами, от значений которых зависит закон распределения вероятностей
случайной результирующей переменной
y .
1.2.1.3. Уравнения регрессионной связи между y и
X
Выше было отмечено, что в регрессионном анализе результирующая переменная y
выступает в роли функции, значения которой определяются (с некоторой случайной
13
погрешностью) значениями объясняющих переменных
Τ
= ),...,,(
)()2()1( p
xxxX , выступающих
в роли аргументов этой функции. Это может быть выражено в виде уравнений
регрессионной связи:
⎩
⎨
⎧
≡ε
ε+=
0)(
)()()(
X
XxfXy
E
. (1.6)
Присутствие случайной «остаточной» составляющей («регрессионных остатков»
)(
Xε в первом соотношении уравнений (1.6) обусловлено причинами двоякой природы: во-
первых, она отражает влияние на формирование значений
y факторов, не учтенных в
перечне объясняющих переменных
X ; во-вторых, она может включать в себя случайную
погрешность в измерении значения результирующего показателя
y (даже в «идеальной»
ситуации, когда по значениям объясняющих переменных
X в принципе можно было бы
однозначно восстановить значение анализируемой результирующей переменной).
Второе соотношение в уравнениях (1.6) непосредственно следует из смысла функции
регрессии )|()(
XyXf E= , поскольку усреднение (вычисление математического ожидания)
левых и правых частей первого из соотношений (1.6) при любом фиксированном значении
X
дает
))(())(()|)((
XEXEXXE
ε
+
= fy . (1.7)
А так как )()|)((
XXXE fy = по определению и )())(( XXE ff
=
(поскольку величина
)(
Xf при фиксированных значениях X не является случайной), то 0))(( =ε XE при любом
фиксированном значении
X .
Спецификация и способ статистического анализа моделей типа (1.6) зависят от
конкретизации требований к виду функции )(
Xf , природе объясняющих переменных X и
стохастических регрессионных остатков )(
X
ε
.
1.2.1.4. Исходные статистические данные
Все выводы в регрессионном анализе строятся на основании имеющихся исходных
статистических данных. Будем полагать в дальнейшем, что мы располагаем результатами
регистрации значений анализируемых объясняющих ),...,,(
)()2()1( p
xxx и результирующей (
y
)
переменных на
n статистически обследованных объектах. Так что, если i — номер
обследованного объекта, то имеющиеся исходные статистические данные состоят из
n строк
вида:
14
);,...,,(
)()2()1(
i
p
yxxx , ni ,...,2,1
=
, (1.8)
где
)( j
i
x
и
i
y — значения соответственно
j
-й объясняющей переменной ( pj ,...,2,1
=
) и
результирующего показателя, зарегистрированные на
i -м обследованном объекте.
Из чисто технических соображений данные (1.8) в регрессионном анализе обычно
представляют в виде двух матриц вида:
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
)()1(
)(
2
)1(
2
)(
1
)1(
1
...1
............
...1
...1
p
nn
p
p
xx
xx
xx
X
– (1.9)
матрица размера
)1( +× pn , составленная из наблюденных значений объясняющих
переменных, и
()
T
n
yyyY ,...,,
21
= – (1.10)
вектор-столбец высоты
n , составленный из наблюденных значений результирующей
переменной. Возможны ситуации, когда данные регистрируются на одном и том же объекте,
но в разные периоды («такты») времени. Тогда
i будет означать номер периода времени, к
которому «привязаны» соответствующие данные, a
n – общее число тактов времени, в
течение которых собирались исходные данные (случай «временной» выборки в отличие от
предыдущей — «пространственной»).
Наконец, возможна ситуация; когда «отслеживается» каждый из объектов в течение N
тактов времени («пространственно-временная» выборка, или «панельные данные»). В любой
из упомянутых ситуаций исходные данные могут быть представлены в конечном счете в
форме (1.9) – (1.10), которую мы примем за базовую.
1.2.1.5. Основные задачи прикладного регрессионного анализа
Анализ регрессионных зависимостей вида (2.3), базирующийся на исходных
статистических данных (1.9) – (1.10), нацелен на решение следующих основных задач /56/.
1.
Для любых заданных значений объясняющих переменных
Τ
= ),...,,(
)()2()1( p
xxxX
построить наилучшие в определенном смысле точечные и интервальные (с
доверительной вероятностью
P
) оценки соответственно )(
ˆ
Xf и
[]
p
f )(X∆ для
неизвестной функции регрессии )(
Xf .
15
2.
По заданным значениям объясняющих переменных
Τ
= ),...,,(
)()2()1( p
xxxX построить
наилучший в определенном смысле точечный и интервальный (с доверительной
вероятностью
P
) прогноз соответственно )(
ˆ
Xy и
[
]
p
y )(X
∆
для неизвестного значения
результирующей переменной )(
Xy .
3.
Пусть известно, что искомая функция регрессии принадлежит некоторому
параметрическому семейству функций
{
}
);(
Θ
Xf , где
Τ
=Θ ),...,,(
10 k
θθθ
– векторный
параметр, все или некоторые компоненты которого допускают определенную
экономическую интерпретацию. Требуется построить наилучшие в определенном
смысле точечные и интервальные оценки для неизвестных значений этих параметров.
4.
Оценить удельный вес влияния каждой из объясняющих переменных
)()2()1(
,...,,
p
xxx на
результирующий показатель
)(Xy и, в частности, определить, какие из объясняющих
переменных можно исключить из модели (1.6) как практически не влияющие на процесс
формирования значений результирующего показателя.
Итак, собственно регрессионный анализ начинается с решения задачи 1 и, в частности,
с конструирования по исходным данным вида (1.9) – (1.10) оценки
)(
ˆ
Xf
для неизвестной
функция регрессии )|()(
XEX yf = . Исходным этапом в решении этой задачи следует
признать выбор параметрического семейства функций
{
}
);( Θ
=
XfF – класса допустимых
решений, в рамках которого предполагается вести поиск наилучшей (в определенном
смысле) аппроксимации
)(
ˆ
Xf
для
)(Xf
. Существует тезис о том, что «не следует гнаться за
чрезмерной сложностью функции, описывающей поведение искомой функции регрессии».
Следуя этой логике, при подборе общего вида функции регрессии, как правило, идут от
простого к сложному, т.е. начинают с анализа возможности использовать простейшую
линейную модель.
1.2.1.6. Классическая линейная модель множественной регрессии (КЛММР)
Классическая линейная модель множественной регрессии (КЛММР) представляет
собой простейшую версию конкретизации требований к общему виду функции регрессии
)
X , природе объясняющих переменных X и статистических регрессионных остатков )(X
ε
в
общих уравнениях регрессионной связи (1.6). В рамках КЛММР эти требования
формулируются следующим образом /56/:
16
()
()
()
⎪
⎪
⎪
⎪
⎪
⎩
⎪
⎪
⎪
⎪
⎪
⎨
⎧
<+=
−
⎩
⎨
⎧
≠
=σ
=εε
==ε
=ε+θ++θ+θ=
)6.2(емсоотношениопределенаXматрица
1матрицыранг
;переменныеенеслучайны,...,,
;при0
при
;,...,2,10
;,...,2,1...
)()2()1(
2
)()1(
np
xxx
ji
ji
ni
nixxy
p
ji
i
p
ipiiii
X
E
E
i
(1.11)
Из (1.11) следует, что в рамках КЛММР рассматриваются только линейные функции
регрессии, т. е.
(
)( )
)()1(
10
...|
p
p
xxyf θ++θ+θ== XEX , (1.12)
где объясняющие переменные
)()2()1(
,...,,
p
xxx играют роль неслучайных параметров,
от которых зависит закон распределения вероятностей результирующей переменной y . Это,
в частности, означает, что в повторяющихся выборочных наблюдениях (
)()2()1(
,...,,
p
iii
xxx )
единственным источником случайных возмущений значений y , являются случайные
возмущения регрессионных остатков
i
ε
.
Кроме того, постулируется взаимная некоррелированность случайных регрессионных
остатков (
0)( =εε
ji
E
для ji ≠ ). Это требование к регрессионным остаткам
n
ε
ε
ε
,...,
2,1
относится к основным предположениям классической модели и оказывается вполне
естественным в широком классе реальных ситуаций, особенно, если речь идет о
пространственных выборках (1.9) – (1.10), т.е. о ситуациях, когда значения анализируемых
переменных регистрируются на различных объектах (индивидуумах, семьях, предприятиях,
банках, регионах и т. п.). В этом случае данное предположение означает, что «возмущения»
(регрессионные остатки), получающиеся при наблюдении одного какого-либо обследуемого
объекта, не влияют на «возмущения», характеризующие наблюдения над другими
объектами, и наоборот.
Тот факт, что для всех остатков
n
ε
ε
ε
,...,
2,1
выполняется соотношение
22
σ=ε
i
E , где
величина
2
σ от номера наблюдения i не зависит, означает неизменность дисперсий
регрессионных остатков. Последнее свойство принято называть гомоскедастичностью
регрессионных остатков.
Наконец, требуется, чтобы ранг матрицы X , составленной из наблюденных значений
объясняющих переменных, был бы максимальным, т.е. равнялся бы числу столбцов этой
матрицы, которое в свою очередь должно быть меньше числа ее
строк. Случаи np ≥
+
1 не
17
рассматриваются, поскольку при этом число
n имеющихся в нашем распоряжении исходных
статистических данных оказывается меньшим или равным числу оцениваемых параметров
модели (1+p ), что исключает принципиальную возможность получения сколько-нибудь
надежных статистических выводов. Что касается требования к рангу матрицы
X
, то оно
означает, что не должно существовать строгой линейной зависимости между объясняющими
переменными. Так, если, например, одна объясняющая переменная может быть линейно
выражена через какое-то количество других, то ранг матрицы X окажется меньше 1
+
p , а
следовательно, и ранг матрицы XX
T
будет тоже меньше 1
+
p . А это означает вырождение
симметрической матрицы XX
T
(т.е. 0)det( =XX
T
), что исключает существование матрицы
1
)(
−
XX
T
, которая играет важную роль в процедуре оценивания параметров анализируемой
модели.
В дальнейшем нам удобнее будет оперировать с матричной записью модели (1.11).
При этом кроме обозначений (1.9) – (1.10) введем также матрицы (векторы):
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
10
1
01
O
n
I – (1.13)
единичная матрица размерности
nn
×
;
()
Τ
θθθ=
p
,...,,
10
Θ – (1.14)
вектор-столбец неизвестных значений параметров;
()
Τ
εεε=
n
,...,,
21
ε – (1.15)
вектор-столбец регрессионных остатков;
()
Τ
= 0,...,0,0
n
0 – (1.16)
вектор-столбец высоты
n , состоящий из одних нулей;
()
(
)
(
)
(
)
()
()
()
()()
()
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎝
⎛
εεεεε
εεεεε
εεεεε
==
Τ
ε
2
21
2
2
212
121
2
1
...
............
...
...
nnn
n
n
EEE
EEE
EEE
εεEΣ
– (1.17)
ковариационная матрица размерности
nn
×
вектора остатков;
18
()
Τ
θθθ=
p
ˆ
,...,
ˆ
,
ˆˆ
10
θ – (1.18)
вектор-столбец оценок неизвестных значений параметров;
()
(
)
(
)
(
)
pjl
lj
,...,2,1,0,
ˆˆˆ
ˆ
=σ=
⎥
⎦
⎤
⎢
⎣
⎡
−−=
Τ
Θ
ΘΘΘΘΘEΣ , – (1.19)
ковариационная матрица размерности
)1()1(
+
×
+
pp вектора несмещенных оценок Θ
ˆ
неизвестных параметров
Θ (в соотношении (1.19)
[
]
)
ˆ
)(
ˆ
()(
jjlllj
θθθθσ
−−=Θ E
Тогда матричная форма записи КЛММР имеет вид:
()
⎪
⎪
⎪
⎩
⎪
⎪
⎪
⎨
⎧
<+=
−
σ=
=ε
+=
ε
npматрицыранг
переменныеенеслучайныxxx
p
n
n
1
;,...,,
,
,
,
ˆ
)()2()1(
2
X
IΣ
0E
εΘXY
(1.20)
Когда дополнительно к условиям (1.11) или (1.20) постулируют нормальный характер
распределения регрессионных остатков
Τ
εεε= ),...,,(
21 n
ε (что записывается в виде
);(
2
nn
N I0ε σ∈
), то говорят, что y и X связаны нормальной КЛММР.
1.2.1.7.
Оценивание неизвестных параметров КЛММР: метод наименьших
квадратов и метод максимального правдоподобия
Соотношения (1.11) и (1.20) определяют специфицированные уравнения
статистической связи, существующей между результирующей переменной
y
и
объясняющими переменными X . Однако значения участвующих в этих уравнениях
параметров
()
Τ
θθθ=
p
,...,,
10
Θ и
2
σ не известны; их требуется статистически оценить по
имеющимся исходным статистическим данным вида (1.9) – (1.10). Опишем способы
статистического оценивания параметров
Θ и
2
σ в рамках КЛММР (метод наименьших
квадратов) и в рамках нормальной КЛММР (метод максимального правдоподобия).
1.2.1.8.
Метод наименьших квадратов (МНК)
В основе логики метода наименьших квадратов лежит стремление исследователя
подобрать такие оценки
p
θθθ
ˆ
,...,
ˆ
,
ˆ
10
для неизвестных значений параметров функции
регрессии соответственно
p
θ
θθ ,...,,
10
, при которых сглаженные (регрессионные) значения
19
)()1(
10
ˆ
...
ˆˆ
p
ipi
xx θ++θ+θ результирующего показателя как можно меньше отличались бы от
соответствующих наблюдаемых значений y . Сформулируем математически этот принцип.
Введем в качестве меры расхождения сглаженного и наблюденного (в i -м наблюдении)
значений результирующего показателя разность /56/:
(
)
)(1
10
ˆ
...
ˆˆ
ˆ
p
ipiii
xxy θ−−θ−θ−=ε (1.21)
(будем в дальнейшем называть
i
ε
«невязками»). Очевидно, значения следует подбирать
таким образом, чтобы минимизировать некоторую интегральную по всем имеющимся
наблюдениям характеристику невязок. Примем за такую интегральную характеристику
подгонки значений y , с помощью линейной функции от
)()2()1(
,...,,
p
iii
xxx
( ni ,...,2,1
=
)
величину
∑∑
==
ε=θ−−θ−θ−=θθθ
n
i
n
i
i
p
ipiip
xxyQ
11
22)()1(
1010
)
ˆ
...
ˆˆ
()
ˆ
,...,
ˆ
,
ˆ
(
(1.22)
Очевидно, величина Q будет определяться при заданной системе наблюдений (1.9) –
(1.10) конкретным выбором значений оценок параметров
p
θθθ
ˆ
,...,
ˆ
,
ˆ
10
. Оценки по методу
наименьших квадратов (МНК-оценки)
мнкpмнкмнк ..1.0
ˆ
,...,
ˆ
,
ˆ
θθθ как раз и подбираются таким
образом, чтобы минимизировать величину Q , определенную соотношением (2.15), т.е.
)
ˆ
,...,
ˆ
,
ˆ
(min)
ˆ
,...,
ˆ
,
ˆ
(
21
ˆ
,...,
ˆ
,
ˆ
..1.0
21
pмнкpмнкмнк
QQ
p
θθθ=θθθ
θθθ
(1.23)
или
)
ˆ
(minarg
ˆ
ˆ
ΘΘ Q
мнк
Θ
= (1.24)
Опишем процедуру решения оптимизационной задачи (1.24). Начнем с простейшего
частного случая, когда рассматривается зависимость y от единственной объясняющей
переменной
x
(т.е. 1=p ). Этот случай обычно называют моделью парной линейной
регрессии. Первое из уравнений связи (1.11) в данном случае имеет вид:
iii
xy ε+θ+θ
=
10
, ni ,...,2,1
=
(1.25)
Критерий Q метода наименьших квадратов:
∑
=
θ−θ−=θθ
n
i
ii
xyQ
1
2
1010
)
ˆˆ
()
ˆ
,
ˆ
( . (1.26)
20
Необходимые условия экстремума по
0
ˆ
θ
и
1
ˆ
θ функции
)
ˆ
,
ˆ
(
10
θθQ :
⎪
⎪
⎩
⎪
⎪
⎨
⎧
=θ−θ−−=
θ∂
∂
=θ−θ−−=
θ∂
∂
∑
∑
=
=
n
i
iii
n
i
ii
xyx
Q
xy
Q
1
10
1
1
10
0
0)
ˆˆ
(2
ˆ
0)
ˆˆ
(2
ˆ
, (1.27)
или, после раскрытия скобок и очевидных тождественных преобразований:
⎪
⎪
⎩
⎪
⎪
⎨
⎧
=⋅θ+θ⋅
=⋅θ+θ⋅
∑∑∑
∑∑
===
==
n
i
ii
n
i
i
n
i
i
n
i
i
n
i
i
yxxx
yxn
11
2
10
1
11
10
ˆˆ
)(
ˆˆ
(1.28)
Система (1.28) из двух линейных уравнений относительно
0
ˆ
θ
и
1
ˆ
θ представляет так
называемую стандартную форму нормальных уравнений (для случая 1=p ). Ее решения
легко выписываются в явном виде:
∑
∑
∑∑
∑∑∑
=
=
==
===
−
−−
=
−
−
=θ
n
i
i
n
i
ii
n
i
i
n
i
i
n
i
i
n
i
i
n
i
ii
мнк
xx
yyxx
xxn
yxyxn
1
2
1
2
11
2
111
.1
)(
))((
)(
))((
ˆ
(1.29)
xy
мнкмнк .1.0
ˆˆ
θ−=θ
, (1.30)
где
∑
=
=
n
i
i
n
x
x
1
,
∑
=
=
n
i
i
n
y
y
1
.
Перейдем к случаю многих объясняющих переменных (р > 1). В этом случае более
удобной оказывается матричная форма записи всех необходимых в данной задаче условий и
соотношений:
Τ
θ−−θ−θ−θ−−θ−θ−=−= )
ˆ
...
ˆˆ
,...,
ˆ
...
ˆˆ
(
ˆ
ˆ
)1(
101
)1(
1101
p
npnn
p
p
xxyxxyΘXYε – вектор-
столбец невязок;
)
ˆ
()
ˆ
()
ˆ
...
ˆˆ
()
ˆ
(
1
2)()1(
10
ΘXYΘXYΘ −−=θ−−θ−θ−=
Τ
=
∑
n
i
p
ipii
xxyQ , – (1.31)
оптимизируемый (по
Θ
ˆ
) критерий метода наименьших квадратов.
Перед тем как выписать необходимые условия экстремума функции )
ˆ
(
ΘQ по Θ
ˆ
,
преобразуем правую часть (1.31):
ΘXΘYXΘYYΘ
ˆˆˆ
2)
ˆ
(
ΤΤΤΤΤ
+−=Q
(1.32)