Дашко Н.А. Курс лекций по синоптической метеорологии

Подождите немного. Документ загружается.

17. Математическая статистика в синоптической метеорологии

•

– несмещённая оценка дисперсии

ошибок (остаточный средний квадрат ошибки уравнения регрессии), р –число пере-

менных,

– число степеней свободы,

bbXbX

sr i p p r

=−−−−

∑

(...

011

κ)/

)

•

– полная сумма квадратов отклонений случайной величины

Y от ее среднего значения,

y y

=−

∑

(

•

– остаточная сумма квадратов (или оши-

бок),

y b b X b X

ri p

=−−−−

∑

(...

011

•

SS SS SS

−

– регрессионная (предсказанная) сумма квадратов,

• SS – сумма квадратов отклонений регрессии, S np

1=−/( )−

• RS – квадрат коэффициента множественной корреляции – есть доля

дисперсии Y, объясненная регрессией (коэффициент детерминации),

SSS

= /

, рассматри-

ваемый, как квадрат множественного коэффициента корреляции, является мерой каче-

ства подгонки: чем больше

(0<R<1), тем лучше модель аппроксимирует Y,

•

SS n p

SS p

−

⋅

()1

– критерий улучшения модели при включении независимых

переменных,

• SM

= – средняя квадратическая ошибка регрессии.

Вычисление коэффициентов регрессии, соответствующих данной зависимой пе-

ременной Y, производится по заранее отобранному множеству объясняющих перемен-

ных. Чтобы выявить наиболее оптимальные регрессионные связи для р-переменных,

необходимо построить множество регрессионных уравнений, что не всегда приемлемо

с точки зрения расхода машинного времени и громоздкости последующего анализа си-

ноптических

критериев.

17.7.2. Применение пошаговой процедуры расчета

При большом числе объясняющих переменных более полезным с точки зрения

поиска и построения оптимальных регрессионных схем является вычисление последо-

вательных регрессий (пошаговая регрессия).

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

С помощью пошаговой процедуры получается упорядоченный список предик-

торов. Набор составляется из еременных, которые имеют наиболее высокую предска-

зывающую способность. Таким образом, получаем последовательность регрессионных

функций:

Yb=

;

Yb bX=

011

;

Yb bX bX=

01122

; ...;

Yb bX bX bX

+++

01122

...

причём, на каждом последующем шаге предиктор добавляется не по порядку, указан-

ному, например, при описании вектора предикторов, а статистически управляемо – на

основе некоторых статистических критериев значимости. Например, на последующем

шаге добавляется предиктор,

• корреляция которого с Y при заданных условиях максимальна;

• который приводит к наибольшему возрастанию множественной корреляции ме-

жду Y и отобранными предикторами (R-метод),

• который вызывает наибольшее уменьшение оптимальной суммы квадратов;

• статистика включения которого имеет наибольшее значение (F-метод) и т.д.

Определение оптимальных уравнений регрессии производится с помощью неко-

торых стандартных правил, которые предусматривают допустимый минимум F-

статистики (F-статистики включения и толерантности (для включаемых предикторов) и

статистики F-исключения для уже включенных предикторов). Величина минимума F-

включения соответствует величине максимума уровня значимости

α для некоторого

числа степеней свободы k, например, min F(включения) равен F(1, k) при (1-α).

Задается порог толерантности для включаемых предикторов. Например, порог

толерантности не выше 0.3; F-статистика включения равна 2 %, F-исключения – 1 %.

Таким образом, если предиктор будет давать улучшение схемы хотя бы на 2 %, он мо-

жет быть включен в схему прогноза, и если отбрасывание предиктора ухудшит оценки

не более чем на 1 % – он не включается в схему прогноза.

При решении вопроса о числе предикторов, включаемых одновременно в схему

прогноза, следует учесть, что согласно теоретическим и эмпирическим исследованиям,

использование большого числа членов в конечном итоге не улучшает схему прогноза

из-за взаимного влияния предикторов друг на друга.

Кроме того, при большом числе членов в уравнении расчеты становятся более

громоздкими и

неудобными при оперативном использовании, хотя эта причина при со-

временной вычислительной технике, становится второстепенной.

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

17.7.3. Процедура отбора оптимальных уравнений

Выбираются уравнения, оценки которых дают следующие результаты: шаг, на

котором увеличивается коэффициент множественной корреляции (R), оставаясь затем

на последующих шагах практически постоянным.

Шаг, на котором показатель остаточной суммы квадратов отклонений от регрес-

сии (

) испытывает наибольшие изменения по сравнению с предшествующим и

последующим шагами.

Шаг, на котором доля изменчивости, предсказанная регрессией, или предска-

занная сумма квадратов отклонений (

), увеличивается с наибольшим вкладом.

Шаг, на котором остаточный средний квадрат ошибки уравнения регрессии

(

) стабилизируется – т.е. уменьшение остаточной суммы квадратов отклонений

компенсируется уменьшением числа степеней свободы

или увеличением числа

объясняющих переменных р.

Средняя квадратическая ошибка (

) резко меняется от данного шага к следую-

щему, а на остальных шагах при включении дополнительных членов уравнения остает-

ся практически неизменной.

F-критерий, в целом отражающий суммарный эффект ухудшения схемы при

невключении данного предиктора или улучшения ее при его включении, начинает убы-

вать.

Наиболее информативным для статистического анализа качества уравнений рег

рессии являются показатели

, F, R, , на них следует обращать особое внимание

при выборе оптимальных уравнений связи.

Атмосферные процессы нестационарны, поэтому диагностические статистиче-

ские зависимости теряют с течением времени свою значимость. Для преодоления по-

добных трудностей необходимо обновление исходной выборки по мере пополнения

архива, непосредственно примыкающих к срокам прогноза.

17.8. Пример построения линейных уравнений

в случае двух и трёх переменных

Рассмотрим линейную связь между двумя переменными Y и X. Общий вид

уравнения регрессии (связи) в этом случае –

yaxb

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

где – коэффициент линейной регрессии,

– свободный член

Из аналитической геометрии известно, что если прямые проходят через некото-

рую точку с координатами (

), то уравнения этих прямых имеют вид: xy

−−

yy axx−= −

−−

()

Коэффициент корреляции рассчитывается по формуле:

xy x y

xx yy

−⋅

−⋅−[()][()]

2222

тогда

σσ

xx yy=− =−[()], [()

22 22

Следовательно,

xy x y

−⋅

σσ

тогда

xy x y

−⋅

−

−⋅

()

, byax=− .

Средняя квадратическая ошибка уравнения регрессии:

=± −σ 1

Коэффициент

a показывает уровень корреляционной связи данного уравнения.

Средняя ошибка коэффициента корреляции

=±

−1

Вероятная ошибка коэффициента корреляции

067..

Тогда вероятное значение коэффициента корреляции заключено в пределах

± .

Связь между двумя переменными может быть представлена графически (

рис.

17.11):

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

y = 11.18x - 0.18

0123456

Рис. 17.11. График связи между двумя переменными X и Y

Уравнение линейной корреляционной связи между тремя переменными имеет

вид

Zaxbyc

Уравнения таких прямых имеют вид:

zzaxx byy−= − + −

−−

()(

−

)

Коэффициент корреляции рассчитывается по формуле:

r r rrr

zx zY zx zy xy

+−

−

Средняя квадратическая ошибка уравнения регрессии:

rrr rrr

zx zy xy zx zy xy

=±

−−−+

−

222

Средняя квадратическая ошибка общего коэффициента корреляции:

=±

−1

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

Вероятная ошибка коэффициента корреляции:

067..

Коэффициенты

a, b и c рассчитывается по формулам:

rrr

ZX ZY XY

−

rrr

ZY ZX XY

−

, .

czaxby=− −

−−−

Y Z

Для более быстрого решения уравнений регрессии целесообразно сначала опре-

делить (

xy ) или (xyz ) по имеющимся выборкам перемен-

ных и подставить известные величины в уравнения для связи между двумя переменны-

ми:

,,, ,

−−

σσ r

,,,, , ,

−− −

σσσ

yyr xx

=+ −

−−

()

или для связи между тремя переменными:

rrr

ZX ZY XY

ZY ZX XY

=+ ⋅

−

⋅−+ ⋅

−

⋅−

−−

−

() ().

17.9. Построение схемы прогноза на основе

дискриминантного анализа

Для прогноза метеорологических величин и явлений погоды широко применя-

ются методы параметрического и непараметрического дискриминантного анализа.

Дискриминантные схемы прогноза не указывают непосредственно на количест-

венные оценки метеорологической величины, а дают возможность оценить наличие яв-

ления или его отсутствие, например, будет или нет резкое похолодание, произойдет

или нет усиление ветра до той

или иной градации и др. Такие прогнозы называются

альтернативными. Удобно использовать данный подход при прогнозировании явлений

погоды, которые трудно выразить количественно – грозы, туманы, гололед и др.

На первом этапе важно выявить синоптические ситуации, метеорологические

условия, благоприятствующие наличию или отсутствию данного явления. По сочета-

нию объясняющих переменных требуется решить, к какому

классу можно отнести дан-

ное событие.

В зависимости от способа классификации, различают параметрические (локаль-

ные) и непараметрические (интегральные) методы дискриминантного анализа.

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

В параметрическом дискриминантном анализе принимается, что рассматривае-

мые объекты извлекаются из нормальных генеральных совокупностей. При значитель-

ных отклонениях закона распределения случайной величины от нормального предпоч-

тительнее использование непараметрического дискриминантного анализа.

При применении как параметрического, так и непараметрического дискрими-

нантного анализа положительные результаты следует ожидать, когда выбранные пред-

сказатели хорошо отражают физическую

сущность развития явлений погоды.

В качестве предикторов выбираются объясняющие переменные, которые наибо-

лее ярко проявляют себя в случае наличия и отсутствия явления. Таким образом необ-

ходимо оценить расстояния между классами.

Для оценки репрезентативности предсказателей, позволяющих отнести исход-

ную совокупность признаков к определённому классу, используется расстояние Маха-

лонобиса в случае одной

объясняющей переменной (

∆

) и двух объясняющих пере-

менных (

∆

−

⎡

⎣

⎢

⎤

⎦

⎥

Mx Mx

() ()

∆

12 1 1 2 2

−

⎡

⎣

⎢

⎤

⎦

⎥

−

⎡

⎣

⎢

⎤

⎦

⎥

−

⎧

⎨

⎪

⎩

⎪

−

−−−

⎫

⎬

⎭

Mx Mx Mx Mx

rMx Mx Mx Mx

ij ij

ij i j

() () () ()

[() ()][() ()]

σσ

где

()

– математическое ожидание при наличии явления,

()

– математическое ожидание при отсутствии явления,

σ – среднее квадратическое отклонение.

В прогностические схемы включаются переменные, дающие наибольший вклад

в расстояние Махалонобиса.

Затем строится уравнение дискриминантной функции (решающее правило):

Ua aX aX aX

01122

... ,

где

– коэффициенты уравнения регрессии, – объяс-

няющие переменные.

aaa a

n012

,,,..., XX X

n12

, ,...,

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

Вектор Х считается отнесённым к реализации (например, наличие явления)

при

U≥0, и к реализации (например, отсутствие явления) при U<0. Задача, таким

образом, сводится к определению коэффициентов

, минимизирующих

вероятность ошибочной классификации с использованием метода наименьших квадра-

тов.

aaa a

n012

, , ,...,

В случае двух объясняющих переменных разделение на классы может быть

представлено графически (

рис. 17.12, 17.13), что очень наглядно демонстрирует про-

гностические возможности выбранных предикторов.

Нередко оценка полученных уравнений показывает, что одни уравнения более

целесообразно использовать для прогноза класса наличия явления, другие – для класса

его отсутствия.

Повышение качества прогнозов на основе линейного дискриминантного анализа

может быть достигнуто, если для разделения синоптических ситуаций использовать

одновременно две дискриминантные

функции и альтернативные прогнозы давать с

учетом сочетания знаков этих функций.

Тогда если две схемы (или более) указывают на наличие или отсутствие явле-

ния, прогнозировать тот или иной класс можно с большей уверенностью.

0 30 60 90 120

Величина A

Величина B

17.12. Связь метеорологических параметров А и B при наличии (точки)

и отсутствии (звездочки) явления (разделение хорошее)

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

0 30 60 90 120

Величина C

Величина Д

Рис. 17.13. Связь метеорологических параметров С и Д при наличии (точки)

и отсутствии (треугольники) явления (разделение неудовлетворительное)

Для уточнения величины прогнозируемого явления применяется приём сочета-

ния дискриминантного и регрессионного анализов. После использования решающего

правила, позволяющего отнести синоптическую ситуацию к тому или иному классу,

рассчитывается ожидаемая величина явления (например, сильного ветра) с

помощью

уравнений множественной линейной регрессии, которые строятся отдельно для выбо-

рок наличия или отсутствия явления. В случае сложных синоптических ситуаций, когда

вероятность осуществления классов близка, ожидаемая величина явления рассчитыва-

ется по общей выборке без разделения ситуаций.

17.10. Концепции применения статистических

методов для построения способов прогноза погоды

Современные методы статистического анализа и прогноза погоды и опасных ее

явлений допускают применение двух концепций - использования статистик "идеально-

го" прогноза (

Perfect Prognos Methods – PP) и прогнозов конкретных гидродинамиче-

ских моделей (

Model Output Statistics Methods – MOS).

Данные концепции идентичны по используемому статистическому аппарату и

различаются способами формирования обучающих выборок.

iКонцепция РР предполагает получение устойчивых оценок диагностиче-

ских (синхронных и асинхронных) связей между рассматриваемыми эле-

Н.А. Дашко Курс лекций по синоптической метеорологии

17. Математическая статистика в синоптической метеорологии

ментами или явлениями погоды и значениями ряда характеристик атмо-

сферы, определяемым по фактическим данным на архивном материале.

Выявленные диагностические соотношения, например, в виде уравнений регрес-

сии, переносятся на связи между элементами погоды и прогностическими переменны-

ми, которые снимаются с прогностических карт, построенных с помощью той или иной

гидродинамической модели.

Неоспоримы достоинства РР-концепции:

•

Уравнения регрессии строятся на основе архивных данных за большой период

метеорологических наблюдений;

• Качество прогнозов элементов и явлений погоды автоматически повышается

при улучшении качества используемых гидродинамических моделей;

• Не требуется пересчета уравнений регрессии при внедрении в практику новой

гидродинамической модели.

При применении концепции РР для отбора предикторов используется сравни-

тельно большая географическая область вокруг пункта, для которого составляются про-

гностические уравнения регрессии.

Недостатки PP-концепции:

•

Основным методическим недостатком РР-концепции является то, что в ней не

учитываются ошибки конкретной гидродинамической модели, из которой при опера-

тивном использовании берутся значения предикторов. Уравнения регрессии построены

на фактическом материале (идеальный прогноз), а при оперативном использовании по-

лученные связи в «чистом» виде переносятся на прогностические поля, из которых вы-

бираются

необходимые предикторы для прогноза метеорологических величин и явле-

ний погоды. При этом мы допускаем, что прогностические поля отражают те же осо-

бенности пространственно-временного распределения метеорологических величин и

условий циркуляции, что и фактические. На самом деле прогностические модели, ле-

жащие в основе прогноза полей метеорологических величин, не могут учесть всего

разнообразия процессов, их формирующих.

Этот процесс можно сравнить с процессом разработки дизайнером модели на-

рядного платья из тонкого шелка, а на практике модель сошьют по той же выкройке, но

из грубой льняной ткани – модель одна и та же, но конечный результат будет отличным

от модельного, разработанного автором.

Н.А. Дашко Курс лекций по синоптической метеорологии