ЛАБОРАТОРНАЯ РАБОТА 2. МЕТОДЫ БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ
Краткие теоретические сведения
Моделирование процессов и объектов в металлургии. Лаб. практикум
-32-
Теоретически данный метод эффективен в случае единственного ми-
нимума функции. Его достоинством является простота алгоритма. Но на
практике он оказывается слишком медленным. Поэтому были разработаны
более сложные методы, использующие информацию не только о значениях
функции, но и ее производных. Это так называемые градиентные методы
спуска.
Далее везде будем считать, что f(x) и ∇ f(x) существуют и непрерыв-
ны, а компоненты градиента могут быть записаны в ан
алитическом виде или
с достаточно высокой точностью найдены с помощью численных методов.
Все градиентные методы основаны на итерационной процедуре, реа-
лизуемой в соответствии с формулой (2.6)
, где вектор h
(k)
строится с помо-
щью антиградиента функции f в точке x
(k)
, т.е. вектора −∇f(x
(k)
), задающего
направление наискорейшего убывания целевой функции f. Способ определе-
ния h
(k)
и α
k
на каждой итерации характеризует особенности применяемого
метода. Например, поиск методом наискорейшего спуска (методом Коши)
сводится к построению
последовательности приближений {x
k
} по формуле
(2.6)
, где
()
()
()
()
,
()
k
k
k
fx
h
fx
∇
=−
∇
||∇f(x
(k)
)|| – длина вектора градиента ∇f(х
(k)
). Длина шага α
k
вычисляется путем
решения задачи одномерной минимизации
() ()
() ( ) min, ,
kk n
tfx th tϕ= + → ∈R
с помощью какого-нибудь из методов одномерной минимизации. Условием
окончания вычислительной процедуры является выполнение неравенства (2.7)
.
Метод наискорейшего спуска сходится быстрее, чем методы прямого
поиска. Однако скорость его сходимости при решении ряда практических за-
дач остается недопустимо низкой. Это вполне объяснимо, поскольку
cкорость изменения переменных непосредственно зависит от длины вектора
градиента ||∇f(x
(k)
)||, которая стремится к нулю, и отсутствует механизм уско-
рения движения к точке минимума на последних итерациях. Одно из главных
преимуществ этого метода связано с его устойчивостью. Метод обладает
важным свойством, которое заключается в том, что при достаточно малой
длине шага α
k
на всех итерациях выполняется неравенство f (x
(k
+
1)
) ≤ f(x
(k)
).
Благодаря этому свойству метод наискорейшего спуска, как правило, позво-
ляет существенно уменьшить значение целевой функции при движении из