
228
τ; F – некоторое распределение вероятностей в пространстве
{}
xX = – векторных величин х, роль которых играют наблюде-
ния состояния системы.
Требуется найти вектор τ, обеспечивающий экстремум J.
Если функция Q(x,τ) достаточно «гладкая» по τ и отсутствуют ог-
раничения на τ, то оптимизирующий вектор можно вычислить
как решение уравнения:
== 0)(),(grad)(grad dxFxQJ
ττ
ττ
, (5.40)
которое является уравнением «регрессии». Если распределение
F(dx) и функция Q(x,τ) известны, то из уравнения (5.40) можно
найти τ. Если же распределение F неизвестно, но имеется опреде-
ляемая этим распределением последовательность х
0
, x
1
, ..., на ко-
торой значения grad
τ
Q известны как функции τ, то grad
τ
Q играет
роль оценки градиента (5.56) и может использоваться при по-
строении стохастически градиентной процедуры
]),(grad[
1 tttt
wxQ
=
+
τ
(5.41)
для приближенного решения уравнения (5.40).
Определение 5.4.1. Выражение
tt
wxQ +
),(grad
τ
назы-
вается стохастическим градиентом, причем
),(grad],[
τ
xQxM
ttt
= . Величины γ
t
в (5.41) определяют шаг
алгоритма МСА. Если γ
t
выбираются как функции предыстории,
то (5.58) называется процедурой Роббинса–Монро. Если же
grad
τ
Q неизвестен, но имеется возможность в точках x
t
наблюдать
саму функцию Q(x,τ), то вместо (5.41) применяется процедура
Кифера–Вольфовица, в которой вместо градиента используется
его разностная аппроксимация.
5.4.2. Применение МСА для синтеза адаптивных САУ.