Сорокин О.Д. Прикладная статистика на компьютере. 2-е издание

Подождите немного. Документ загружается.

131

примера формирования массива для программ регрессионного анализа можно по-

смотреть файлы PRAN.dat (2 переменных, 15 вариантов), ABC8x50.dat.

Программа NLREG предлагает набор из 33 модельных функций, из кото-

рого пользователь должен выбрать наиболее отвечающую экспериментальным

данным. Используется метод линеаризации – преобразования нелинейной зави-

симости к линейным уравнениям типа

F(z) = A + B*z или F(t,z) = A + B*t + C*z;

где z и t – новые переменные (различные элементарные функции от ис-

ходной переменной X). Методом наименьших квадратов вычисляются коэффи-

циенты линеаризованного уравнения регрессии, достоверность котоpых опреде-

ляется по стандартной ошибке и T-критерию Стьюдента, затем они в соответст-

вии с типом модельной функции пpеобpазуются в коэффициенты нелинейного

уpавнения.

Перед анализом программа проверяет все значения переменных X и Y на

равенство нулю и 1.0, отрицательность; для некоторых типов нелинейной рег-

рессии эти значения могут быть недопустимыми (деление на ноль, корень из

отрицательного числа и т.п.). В этом случае программа блокирует вычисления по

соответствующим типам нелинейной регрессии, в списке модельных уравнений

их можно распознать по знаку '-' в левом столбце таблицы функций:

Качество подгонки регрессионного уравнения к экспериментальным дан-

ным можно оценить визуально, активизируя график регресии. Доверительный

132

"коридор" в интервале изменения независимой переменной формируется в зави-

симости от выбранного уровня значимости – 5% (по умолчанию) или 1%.

Для проверки достоверности полученного уравнения регрессии вычисляет-

ся F-критерий Фишера-Снедекора. В некоторых случаях F-критерий для нелиней-

ной регрессии не может быть вычислен из-за превышения дисперсии от регрес-

сии над общей дисперсией зависимой переменной, в этом случае следует исполь-

зовать другое модельное уравнение.

В результате работы программы также вычисляются:

1. Коэффициенты нелинейной регрессии: характеристика связи между дан-

ной функцией входной переменной и Y; если значения коэффициентов нелиней-

ной регрессии и линеаризованного уравнения совпадают, все оценки досто-

веpности справедливы и для коэффициентов нелинейной регрессии, в противном

случае Т-критерий может быть только аргументом в пользу той или иной модели.

2. Коэффициенты линеаризованного уравнения регрессии; их достоверность

определяется по стандартной ошибке (должна быть значительно меньше коэф-

фициента), а также по Т-критерию Стьюдента.

3. Коэффициент множественной детерминации: доля дисперсии зависимой

переменной, объясняемая уравнением нелинейной регрессии (массив

DRAPER2x25.dat):

—————————————————————————————————————————————————————————————————————

A | 1,7827765 | 1,7827765 | 0,9594 | 1,8582 | 0,0760 |

B | 53,004917 | 53,004917 | 6,5501 | 8,0922 | 0,0000* |

Степеней свободы для критерия Стьюдента = 23

2. Общие критерии достоверности регрессии.

Исходная функция: Линеаризованная функция:

Y = A + B / Sqrt(X) F(z) = Y = A + B * Z

Критерий Фишера-Снедекоpа:

Для нелинейной pегpессии: F= 65,48, ст.св.=1, 23 P=0,0000

Относительная ошибка аппроксимации Er= 7,6035%

Коэффициент детерминации: BY= 0,74007

Критерием Фишера-Снедекора подтверждена достоверность выбранного

уравнения регрессии на высоком уровне значимости (P<0.0001), достоверность

коэффициента B подтверждена критерием Стьюдента.

133

4. Стандартная таблица дисперсионного анализа; оценка остаточной дис-

персии. Минимальное значение дисперсии из набора регрессионных зависимо-

стей также может служить основанием для выбора наилучшего типа регрессии.

5. Пять доверительных интервалов для значений зависимой переменной,

соответствующих 5 значениям независимой переменной: минимуму, максимуму,

среднему, (среднее – Delta), (сpеднее + Delta), на заданном уровне значимости

(по умолчанию используется уровень 5%). Так как доверительные интервалы для

нелинейной регрессии вычисляются на базе интервалов линеаризованной рег-

рессии, в некоторых случаях возможны некорректные значения из-за точек раз-

рыва нелинейной функции (Y -> бесконечность).

8.3.1. Выбор стартовых параметров минимизации

Вследствие циклического характера методов шаговой минимизации необ-

ходимо указать программе предельное число итераций, после которого программа

прекращает вычисления и выводит результаты.

На простых тестовых задачах минимум суммы квадратов отклонений дос-

тигается за 5-6 шагов. В сложных случаях – медленной сходимости процесса –

минимум может быть достигнут после нескольких сотен или тысяч итераций. В

этом случае не следует помечать параметр “Минимизация шаг-за-шагом” из-за

возможного исчерпания емкости буфера текста.

Дополнительно можно уточнить значение минимума суммы квадратов от-

клонений, при достижении которого также прекращаются итерации. Это значение

сугубо специфично для конкретных данных, и может быть выбрано путем после-

довательного перебора значений какого-либо ряда. При явном зацикливании ра-

боты алгоритма следует прекращать его работу комбинацией клавиш

“Ctrl/Alt/Del” (однократно!) с последующим удалением программы NLREG из

памяти компьютера.

Весьма важно указать разумные стартовые значения коэффициентов функ-

ции A, B и, возможно, C. Эти значения можно ввести по результатам стандартно-

го регрессионного анализа (методом линеаризации), если он может быть выпол-

нен.

Для метода Нелдера-Мида дополнительно предлагается уточнить значения

параметров “Отражения/Сжатия/Растяжения” симплекса. Обычно они не требуют

корректировки – значения установлены на основе рекомендаций программистов

134

МехМата МГУ, но в некоторых случаях возможно ускорение сходимости алго-

ритма

8.4. SPLINE: Аппроксимация парных зависимостей сплайном

Программа SPLINE предназначена для аппроксимации значений различных

функций типа Y=F(X), заданных таблично, последующего вычисления функции

для произвольных значений аргументов в интервале изменения X. Исходные дан-

ные могут быть результатами эксперимента в виде парных значений типа X

– Y

Такая аппроксимация может быть применена в тех случаях, когда стандартная

регрессия методом наименьших квадратов (полиномиальная, гармоническая и

т.п.) неприменима или неэффективна.

Парная зависимость приближается совокупностью полиномов 3-й степени,

гладко проходящих через выбранные специальным образом точки – узлы

сплайна.

Для вычисления коэффициентов сплайн-функции в интервале изменения

независимой переменной могут быть выбраны несколько методов:

сплайн-интерполяция без сглаживания значений Y;

сплайн-интерполяция со сглаживанием Y 5-ю способами;

сплайн-регрессия с минимизацией суммы квадратов отклонений [56];

сплайн-регрессия с минимизацией суммы квадратов отклонений и инте-

грала квадратов вторых производных в узлах сплайна [57].

135

Помимо объективного критерия качества аппроксимации тем или иным ме-

тодом (минимум остаточной дисперсии), возможен визуальный анализ качества

сплайна на графике.

В каждом методе имеется возможность ручной подгонки сплайна для экс-

периментальной зависимости, исходя из различных экспертных или интуитивных

соображений.

Следует отметить, что программа

не предназначена для экстраполяции

значений зависимой переменной за пределы диапазона изменений независимой

переменной (для цели прогноза, например), так как на поведение концевого куби-

ческого полинома практически никак не влияют точки (и, соответственно, поли-

номы) предшествующих интервалов (кроме предпоследнего). Для этой задачи

следует использовать программу PROGNOZ или специализированные пакеты

программ.

Последние два метода (сплайн-регрессия) весьма эффективны для любых

типов данных, позволяют построить сплайн, оптимальным образом отражающий

специфику экспериментальной зависимости с элиминацией возможных погреш-

ностей измерения. Для определения наилучшего сплайна нужно менять разбие-

ние независимой переменной на интервалы с помощью пунктов Меню [ + ] и [ – ].

Первый увеличивает число узлов сплайна, второй уменьшает вплоть до полного

использования всех точек. Оптимум определяется по графику – визуальным ана-

лизом качества сплайна, а также значением средней ошибки аппроксимации,

среднего абсолютного отклонения, остаточной дисперсии. На графике: положение

исходных экспериментальных точек отражается синими окружностями, узлов

сплайна – желтыми (файл данных Vietnam.dat):

136

После определения коэффициентов сплайн-функции можно вычислить зна-

чение Y для произвольного аргумента X, выбрав соответствующий пункт в Меню

“Операции”.

Программа может использовать массив типа "признаки-объекты", из кото-

рого любую пару признаков можно использовать как X и Y. Перед обработкой

пары значений сортируются по возрастанию значений X.

Ограничения на размер массива данных: число точек временной зависимо-

сти не должно превышать 10000. Общее число элементов массива – не более

100000. В массиве "X" не должно быть одинаковых значений, в противном слу-

чае вычисления могут блокироваться.

Данные в виде двумерного массива "признаки-объекты" могут быть введе-

ны с клавиатуры, переданы через буфер Windows из программы MS Excel, загру-

жены из файла в стандарте пакета SNEDECOR. Пример формирования массива из

2-х переменных, 15 пар значений в текстовом файле (первым признаком здесь

введен вектор отсчетов времени):

137

2 15

1961 22,5

1962 23,7

1963 24,6

1964 20,9

1965 19,4

1966 18,5

1967 17,2

1968 17,1

1969 17,9

1970 18,3

1971 18,5

1972 18,7

1973 18,6

1974 18,8

1975 20,2

Урожай зерновых

<- начало файла

массив данных:

строки = последов. отсчеты времени,

столбцы = временные ряды, признаки

<- необязательный комментарий

В качестве примера формирования массива можно посмотреть файлы

VIETNAM.dat, SPLIN2x20.dat, SPLIN2x27.dat. Эти массивы следует использовать

для изучения специфики работы со сплайн-функциями.

8.4.1. Методы сплайн-функций

Парная зависимость аппроксимируется последовательностью полиномов 3-

й степени, гладко проходящих через выбранные специальным образом точки.

Перед построением сплайна данные сортируются по возрастанию переменной X.

1. Сплайн-интерполяция без сглаживания значений Y.

Узлы сплайна выбираются непосредственно по значениям Y – через одну,

две, три и т.д. точки экспериментальной зависимости. Выбор числа узлов для вы-

числения коэффициентов сплайна является ответственной операцией. В [2, стр.

331] рекомендуется минимизировать число узлов, но в интервалах между узлами

иметь не менее 4..5 значений. Следует заметить, что первая и последняя точки

всегда используются программой в качестве узлов, поэтому коррекцией значе-

ний Y, соответствующим крайним значениям независимой переменной, можно

в определенной степени управлять наклоном концов сплайна. Этот метод может

быть рекомендован для сравнительно “гладких” зависимостей, не засоренных вы-

бросами и ошибками измерения (массив PRAN.dat, сплайн по 5 точкам):

Отклонение от исходных данных.

————————————————————————————————————————————————————————————

————————————————————————————————————————————————————————————

1 | 1,0000 | 10,000 | 10,039 | -0,0394 | -0,394% |

2 | 2,0000 | 16,000 | 15,862 | 0,1381 | 0,863% |

138

3 | 3,0000 | 20,000 | 20,137 | -0,1367 | -0,684% |

4 | 4,0000 | 23,000 | 23,040 | -0,0400 | -0,174% |

5 | 5,0000 | 25,000 | 24,782 | 0,2178 | 0,871% |

6 | 6,0000 | 26,000 | 26,367 | -0,3670 | -1,412% |

7 | 7,0000 | 30,000 | 29,592 | 0,4084 | 1,361% |

8 | 8,0000 | 36,000 | 36,287 | -0,2873 | -0,798% |

9 | 9,0000 | 48,000 | 47,647 | 0,3534 | 0,736% |

10 | 10,000 | 62,000 | 62,306 | -0,3056 | -0,493% |

11 | 11,000 | 78,000 | 78,261 | -0,2612 | -0,335% |

12 | 12,000 | 94,000 | 93,545 | 0,4547 | 0,484% |

13 | 13,000 | 107,00 | 106,99 | 0,0105 | 0,010% |

14 | 14,000 | 118,00 | 118,23 | -0,2256 | -0,191% |

15 | 15,000 | 127,00 | 126,92 | 0,0801 | 0,063% |

————————————————————————————————————————————————————————————

Среднее абсолютное отклонение = 0,2217

Средняя ошибка аппроксимации = 0,591%

График сплайна по 5 точкам (массив PRAN.dat):

Сплайн-интерполяция со сглаживанием Y.

Для лучшей аппроксимации зашумленной экспериментальной зависимости

следует использовать предварительное сглаживание значений зависимой пере-

менной Y одним из 5-и способов. Предлагается сглаживание методами простой,

двойной и взвешенной скользящей средней (для увеличения влияния центральных

членов), в последнем случае коэффициенты вычисляются по формуле Миллера

[45; стр. 39]. Узлы сплайна выбираются таким же способом, как в методе без

сглаживания.

Весьма эффективным является метод сглаживания с помощью быстрого

преобразования Фурье. В этом методе узлы сплайна проходят по всем экспери-

139

ментальным точкам X, но степенью сглаживания можно манипулировать в широ-

ком диапазоне дискретных уровней.

Сплайн-регрессия с минимизацией суммы квадратов отклонений ме-

тодом НК. Узлы сплайна располагаются на равных расстояниях друг от друга по

оси X и, соответственно, не совпадают с точками X исходных данных. Подгонка

сплайн-функции заключается в выборе оптимального числа узлов; эффективность

этого метода определяется сглаживанием переменной Y минимизацией суммы

квадратов отклонений (МНК по Гауссу).

Сплайн-регрессия с минимизацией суммы квадратов отклонений и

интеграла квадратов вторых производных

в узлах сплайна. Узлы проходят по

всем экспериментальным точкам X, но степенью сглаживания можно манипули-

ровать в широком диапазоне плавного изменения коэффициента сглаживания пе-

ременной Y – от 0,0000 (максимальное сглаживание в прямую линию) до 0,9999

(сплайн проходит практически по исходным экспериментальным точкам). Шаг

изменения коэффициента задается перед вычислением сплайн-функции (0,1, 0,01

или 0,001) и далее автоматически уменьшается при приближении к границам 0,0

.. 1,0 (массив M2x32.dat, коэффициент=0,7):

Программа тестировалась по данным из [46], [57]. Техника сплайнов также

описана Поллардом [45].

140

8.5. MLREG: Множественная линейная регрессия

Программа MLREG предназначена для обработки экспериментальных дан-

ных методом множественного линейного регрессионного анализа. Данные мо-

гут быть получены как в ходе активного эксперимента, проведенного, например,

методом центрального композиционного планирования, так и из различных пас-

сивных экспериментов.

В программе используются следующие методы вычисления коэффициентов

регрессии:

1. Стандартный

Метод Наименьших Квадратов (МНК), связанный с фор-

мированием матрицы ковариаций (матрицы Грамма) и последующим вычислени-

ем обратной матрицы.

2. Итерационный метод – минимизация суммы абсолютных отклонений

(

Минимизация Суммы Модулей, МСМ). Оценки коэффициентов регрессии,

полученные этим методом, обычно близки к оценкам МНК. Преимущества мето-

да МСМ:

– аномально большие значения отклика (выбросы, артефакты) значительно

меньше влияют на решение, чем в методе НК (линейное влияние отклонений на

алгоритм минимизации, а не квадратичное);

– достоверность уравнения регресии, определяемая критерием Фишера-

Снедекора, обычно выше, чем в методе НК

– для данных со значительной корреляцией независимых переменных ре-

шение МНК вообще может быть не получено из-за вырожденности матрицы

Грамма, тогда как метод МСМ позволяет получить решение, в большинстве слу-

чаев с оценками достоверности коэффициентов регрессии с помощью Т-критерия

Стьюдента.

Метод “Минимакс”. Итерационный поиск решения, основе которого

лежит известный алгоритм “линейного программирования”. Также, как и при ме-

тоде МСМ, малочувствителен к выбросам; в некоторых случаях позволяет полу-

чить уравнение регрессии с максимальным значением F-критерия общей досто-

верности регрессии.

4. Множественная

регрессия на главных компонентах (см. соответст-

вующий раздел). Используется в тех случаях, когда матрица Грамма близка к со-

стоянию вырожденности, но выбрать какие-либо переменные для исключения

сложно вследствие сильной связи с переменной отклика.