Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов

Подождите немного. Документ загружается.

получают прямым вычислением по формуле метода наи-

меньших квадратов

(14.3)

Ковариационная

матрица вектора оценок вычисляется

также по формуле

(14.4)

е'е

где*

- — оценка дисперсии ошибки уравнения;

вектор ошибок.

При

оценивании используются все выборочные наблю-

дения

сразу. Однако предположение о постоянстве пара-

метров уравнения в экономических исследованиях не все-

гда реалистично. В гл. 8 § 2 был предложен градиентный

алгоритм адаптации регрессионных коэффициентов. Здесь

мы рассмотрим рекуррентные методы оценивания парамет-

ров множественной регрессии.

§ 1. РЕКУРРЕНТНОЕ ОЦЕНИВАНИЕ

ПАРАМЕТРОВ РЕГРЕССИИ

Для рекуррентного

подхода

характерно то, что ин-

формация

в виде выборочных, упорядоченных во времени зна-

чений

(временных рядов) обрабатывается последовательно. На

каждом шаге рекуррентных вычислений полученные на пре-

дыдущем шаге оценки обновляются с

учетом

новой порции

Данных, поступивших за очередную единицу времени. Это оз-

начает, что при рекуррентных вычислениях статистическая база

оценивания

расширяется вместе с продвижением модели впе-

ред по оси времени. При одинаковой статистической базе ре-

куррентные оценки эквиваленты оценке «по формуле». Досто-

инством рекуррентных вычислений является то, что в

ходе

их

выполнения

будут

получены оценки параметров для проме-

жуточных моментов. Эти

оценки,

отложенные на графике вме-

сте со своими доверительными интервалами и дисперсией ос-

311

татков,

дают

дополнительную полезную информацию для раз-

мышления

относительно устойчивости (изменчивости) оценок

наилучшего объема выборки.

Рассмотрим теоретические основания рекуррентной про-

цедуры оценивания регрессии [160, 124]. Запишем множе-

ственную линейную регрессию в векторной форме для мо-

мента t:

(14.5)

со стандартными предположениями, что

—

вектор постоянных коэффициентов;

—

[х

...,x

—

независимые ошибки с нулевым математическим

ожиданием и постоянной дисперсией а

Оценку МНК

(14.3)

можно переписать в векторной фор-

ме как

Е*А

(2>tÄ

(14.6)

<t=i

Нам

необходимо построить рекуррентную процедуру

оценивания.

В рекуррентном алгоритме целью является

получение оценки $, на момент t как функции от предше-

ствующей оценки ß

и значений переменных, наблюдае-

мых в момент t. Рекуррентную оценку в общем

случае

бу-

дем представлять в виде произведения

двух

рекуррентных

величин,

одна из которых содержит операцию обращения:

где

(14.7)

(14.8)

(14.9)

312

Выражения

(14.8)

(14.9)

означают, что

(14.10)

(14.11)

Как

видим, рекуррентное обновление g

не вызывает за-

труднений. Обновление же F,

требует

на каждом шаге об-

ращения

матрицы размерности р хр. Существует более

эко-

номный

с вычислительной точки зрения алгоритм, в котором

удается избежать прямого обращения. Рассмотрим этот ал-

горитм подробнее.

Умножив выражение

(14.10)

слева на F, и справа на F

получаем

(14.12)

Умножим выражение

(14.12)

справа на х, и соберем

члены с FjX, вместе. Затем после умножения справа на

(1+x

(

)~'x

(

и подстановки F^XfF,.., = F

- F,

из

уравнения (14.12), приходим к равенству, часто называе-

мому

леммой

об

обращении

матрицы

(14.13)

Поскольку 1 + x',F

х, - скаляр, операция обращения не

представляет никаких сложностей, и рекуррентная процеду-

ра с вычислительной точки зрения

будет

иметь преимуще-

ство по сравнению с решением по формуле, где требуется

матричное обращение на каждом шаге продвижения во

времени.

Запишем

алгоритм в собранном виде. Введем вектор

(14.14)

Тогда формула

(14.13)

переписывается как

(14.15)

313

Сравнивая

равенство

(14.12)

с выражением (14.15), по-

лучаем

(14.16)

а из равенства

(14.7)

(14.11)

(14.17)

Используя выражения (14.7),

(14.15)

и-

подставляя фор-

мулу

(14.16)

в (14.17), приходим к выводу, что оценка равна:

(14.18)

Эта формула рекуррентного оценивания имеет ясную

интерпретацию. Она означает, что оценка вектора парамет-

ров в момент / равна предыдущей оценке $,_, плюс коррек-

тирующий член, являющийся произведением множителя к,

на

ошибку уравнения. Рекуррентная оценка фактически

выражает существо байесовского подхода в том смысле, что

при

известной априорной оценке

р\_,

дает

возможность по-

лучить апостериорную оценку $,.

Выражения (14.13),

(14.16)

(14.18)

образуют рекуррен-

тный

алгоритм МНК для оценивания коэффициентов ли-

нейной

множественной регрессии общего вида.

Нетрудно вычислить и дисперсии ошибок рекуррентных

оценок.

При прямом решении по формуле при принятых

допущениях оценке МНК соответствует ковариационная

матрица (14.4), которая в векторном виде может быть запи-

сана как

Таким

образом, при выборке объема t

(14.19)

В качестве оценки s) можно использовать величину

(14.20)

314

При

условии гауссовского распределения остатков по-

лученные оценки

могут

быть интерпретированы как оценки

максимального правдоподобия или как оценки байесовско-

го типа.

Легко также построить рекуррентный алгоритм для по-

лучения оценок обобщенным методом наименьших квадра-

тов

(ОМНК).

Как известно, этот метод применяется в

случае

гетероскедастичности остатков, т. е,

тогда,

когда дисперсия

остатков не постоянна. Тогда оценка

ОМНК

может быть по-

лучена с помощью обычного

МНК,

примененного к преобра-

зованным

данным. Следовательно, и для рекуррентного оце-

нивания

требуются лишь переход к новым переменным и

использование только что изложенной процедуры.

§ 2. СКОЛЬЗЯЩАЯ

РЕГРЕССИЯ

Одним из способов проверки постоянства пара-

метров регрессии состоит в оценке регрессии на последова-

тельно сдвигаемом во времени интервале постоянной дли-

ны

и построении траекторий оценок коэффициентов вместе

с их доверительными интервалами. Такую процедуру мож-

но

назвать

скользящей

регрессией

по аналогии со скользя-

щей

средней (в англоязычной литературе ее называют

Rolling

regression).

Пусть, например, у нас имеется выборка достаточно

большого объема Т и определена спецификация уравнения

регрессии у на х

, х

..„ х

. Тогда процедура оценивания сколь-

зящей

регрессии предполагает сначала оценку регрессии

на

выборке от наблюдения 1 до т, где

тп«Т.

Величину т

можно назвать

окном

или

скользящим

интервалом

оцени-

вания. Далее сдвигаем

«окно»

на одну единицу времени

вперед и вновь оцениваем регрессию на выборочном интер-

вале от наблюдения 2 до т+1 и т.д. Полученные оценки

вместе с их доверительными границами можно отложить на

графике и изучать особенности движения параметров рег-

рессии и ширину доверительных интервалов.

Такой

подход

позволяет вскрыть характер движения

параметров, принять реалистичные гипотезы относительно

моментов сдвига и типа эволюции регрессионных

коэффи-

циентов,

произвести периодизацию изучаемого явления, а в

315

случае

необходимости перейти к кусочно-линейным регрес-

сиям

или сплайнам. В этой процедуре на каждой итерации

параметры регрессии

могут

оцениваться как константы

обычным МНК- Однако такой прием не очень эффективен с

вычислительной точки зрения, поскольку на каждой итера-

ции

требуется обращение матрицы. Гораздо более эффек-

тивен рекуррентный

подход

[117, 124, 161]. Поскольку сколь-

зящую регрессию можно рассматривать как частный случай

взвешенной регрессии, то сейчас мы перейдем к взвешен-

ной

регрессии, а затем в § 4

будет

изложен рекуррентный

метод оценивания параметров взвешенной регрессии.

§ 3. ВЗВЕШЕННАЯ

РЕГРЕССИЯ

В быстро изменяющейся экономике уравнения и

параметры взаимосвязи различных

факторов,

характерные для

прошлого периода, перестают быть адекватными в новых ус-

ловиях. На смену старым технологиям приходят новые, изме-

няются как материальные, так и финансовые потоки ресурсов

результатов производства, происходит структурная пере-

стройка экономики и финансовых рынков, меняются законы,

уровень

инфляции,

степень риска, налогообложение и т.п. Та-

кие

изменения, конечно же, желательно

учесть

в модели в яв-

ном

виде, особенно, когда речь идет о прогнозировании. Одна-

ко

это не

всегда

или не сразу возможно, поскольку новое

постепенно вырастает из старого.

Перед эконометриком встает сложная и противоречи-

вая задача отразить в регрессионной модели новейшие тен-

денции

изучаемого явления, но при этом опираться на доста-

точный объем статистических данных, с тем чтобы получить

статистически значимые, оценки регрессионных коэффици-

ентов.

Выходом

из положения является компромисс, в соот-

ветствии с которым сохраняется старая форма регрессион-

ного уравнения с постоянными коэффициентами, но ее

несовершенство отчасти компенсируется неравноценным от-

ношением

к ошибкам уравнения в начале и в конце выбо-

рочного периода: старые ошибки имеют меньший вес, а

ошибки

последних моментов - больший. В этом

случае

оцен-

ки

регрессионных коэффициентов в модели

(14.21)

316

получают минимизацией взвешенной суммы квадратов ос-

татков

(14.22)

гдем>, = веса;

Такой

метод оценивания называется

взвешенным,

или

дисконтированным

МНК. Введение критерия Q означает,

что статистическим данным, относящимся к разным момен-

там времени, приписывается различная информационная

ценность.

Веса являются функцией времени. Эта функция

характеризует «память» модели. Если предполагается, что

изучаемый процесс претерпевает быстрые изменения, то и

весовая функция должна быстро убывать

(затухать)

при

движении от текущего момента t в прошлое.

Для того чтобы получить оценки $,, минимизирующие

взвешенную сумму квадратов остатков, нужно последова-

тельно продифференцировать

(14.22)

по параметрам и час-

тные производные приравнять нулю. Сделаем это, исполь-

зуя для наглядности сначала скалярные обозначения:

Отсюда получим систему линейных уравнений относи-

тельно коэффициентов ß,:

(14.23)

317

В матричных обозначениях получаем

где

Отсюда находим оценку вектора коэффициентов

(14.24)

Легко заметить, что, если положить В = W"

, то эту оценку

можно рассматривать как оценку обобщенным МНК

(ОМНК)

регрессии

где

(14.25)

(14.26)

Таким

образом, оценивание линейной регрессии

(14.21)

по

критерию

(14.22)

эквивалентно оцениванию регрессии с

преобразованными переменными

(14.27)

обычным МНК.

Проанализируем характер остатков и, взвешенной рег-

рессии (14.25). Если веса в матрице W уменьшаются от мо-

мента t = Т к t « 1, то дисперсия а

В ошибки и

(

в уравнении

(14.25)

будет

возрастать в этом направлении таким образом,

что в начальные моменты допускаются большие ошибки.

318

Вообще говоря, весовая функция может быть любой

функцией

времени. Но в целях упрощения работы в каче-

стве весовой функции выбирают какую-либо известную ана-

литическую функцию .с одним параметром, удовлетворяю-

щую качественным представлениям исследователя о темпах

характере перемен.

Двумя такими функциями

могут

быть арифметическая

прогрессия, генерирующая веса, лежащие на графике на

прямой

линии, и убывающая в прошлое геометрическая

прогрессия, обеспечивающая экспоненциальное падение

величины весовог.о коэффициента. Могут быть, конечно, и

другие

функции, например ступенчатая или логистическая.

Отметим, что особой популярностью пользуются веса,

геометрически убывающие в прошлое [161]. В этом

случае

весовой коэффициент имеет вид

(14.28)

гдеО

< q < 1,

а минимизируется взвешенная сумма квадратов остатков:

(14.29)

Суммы смешанных произведений переменных р системе

линейных уравнений

(14.23)

тоже оказываются взвешенны-

ми

экспоненциально:

(14.30)

этому интересному свойству мы еще вернемся в § 5.

Что касается выбора величины q

и вообще w

, то они

считаются здесь заданными или известными. Вопрос о вы-

боре оптимальных весов

будет

рассмотрен в § 4.

319

§ 4.

РЕКУРРЕНТНОЕ

ОЦЕНИВАНИЕ

ПАРАМЕТРОВ

ВЗВЕШЕННОЙ

РЕГРЕССИИ

Альтернативой оценивания коэффициентов взве-

шенной

регрессии

по

формуле

(14.24)

является рекуррент-

ное

оценивание.

Рекуррентное оценивание параметров взве-

шенной

регрессии при известных весовых функциях сводится

задаче рекуррентного оценивания обобщенным МНК или

применению рекуррентного алгоритма обычного

МНК

к пре-

образованным данным. Более подробно

мы

остановимся на

рекуррентном оценивании взвешенной регрессии лишь

для

двух

часто используемых весовых функций.

В общем виде взвешенная регрессия имеет

тот же вид,

что

обычная линейная регрессия

(14.31)

но

предполагается, что коэффициенты ß

(

/ = 1,

2,...,

р,

могут

иметь некоторое движение, например,

целью компенсации

определенного упрощения взаимосвязей, приближенно

вы-

ражаемых уравнением (14.31). Ожидается, что это движение

параметров можно

достаточной точностью уловить путем

минимизации

взвешенной суммы квадратов регрессионных

остатков

(14.32)

Рекуррентное оценивание скользящей рег-

рессии.

На

практике часто используется регрессия,

ко-

торой

для

обновления оценок параметров

расчет всегда

принимаются только

тп

последних точек:

(14.33)

Этот

вид

регрессии, которую можно назвать скользящей

регрессией,

был

рассмотрен

в § 2. Ее

можно представить

320