14
2. Уравнение регрессии. Метод наименьших квадратов
Термин «регрессия» может кого-то смутить, так как часто с этим
понятием связывается движение назад. Однако в статистических
исследованиях регрессия в основном используется для
предсказания будущего. Для более простого понимания этого
понятия можно воспользоваться следующим определением:
Регрессия – это статистический метод, позволяющий найти
уравнение, которое наилучшим образом описывает множество
данных.
Задача аппроксимации методом наименьших квадратов возникает
в самых различных областях науки и техники. К этой задаче
приходят при статистической обработке экспериментальных
данных с помощью регрессионного анализа.
В простейшей формулировке задача аппроксимации формулируется
следующим образом. Пусть в результате проведения эксперимента в точках
X
1
, X
2
, .... X
n
найдены значения y
1
, y
2
, ....y
n
некоторой неизвестной функции
y = f(x), а также задан определенный класс функций L ={ ϕ(x;θ)}, где θ =
(θ
1
,....θ
к
) - вектор произвольных параметров.
Для функции y = f(x) необходимо выбрать функцию ϕ(x;θ) из класса L , в
некотором смысле близкую к f(x). В зависимости от выбора класса функции
L , а также критерия близости функций, можно построить различные
алгоритмы аппроксимации, позволяющие решать самые разнообразные
практические задачи.
Одной из простейших задач аппроксимации является задача интерполяции,
для которой функции f(x) и ϕ(x;θ) считаются «близкими», если:
f (x
j
) = ϕ (x
j
;θ), j = 1, 2 , ... N, (2.1)
т.е. f (x
j
) и ϕ (x
j
;θ) совпадают в точках x
j
, j =1, 2, ...N.
Точки x
j
обычно называются узлами интерполяции. Эта задача возникает в
тех случаях, когда известно, что ошибки эксперимента являются настолько
малыми, что их можно не учитывать.
Если ошибки в экспериментальных данных являются существенными, в
качестве критерия близости функций можно взять сумму квадратов