Растригин Л.А. Адаптация сложных систем

Подождите немного. Документ загружается.

тате его усложнения (увеличения числа входов) не является

неизбежным. Более того, при случайных входах надежность растет с

увеличением числа входов! Это объясняется малым числом «рабочих»

сверток (как и в случае слабоопределенных функций), что фактически

эквивалентно снижению размерности элемента — эффект

множественного объединения нескольких соседних индексных зон в

одну.

В реальных условиях может допускаться функционирование

порогового элемента с некоторой ошибкой σ, т. е. на σ произвольных

входных наборах выходная функция может отличаться от заданной.

Так возникает задача разбиения всех допустимых логических функций

на непересекающиеся классы эквивалентности и определения их

мощности [15]. В общем случае на каждом S-м входном наборе X

может иметь независимую (индивидуальную!) значность

. Тогда количество указанных классов равно

Q+1, а их мощность

(4.3.72)

где S

— подмножество индексов S длины

σ, т. е. количество классов зависит только от числа входных наборов, а

мощность каждого класса определяется еще и количеством

допустимых значений выходной функции [15]. Частными случаями

приведенной оценки мощности классов являются следующие:

а) если , т. е. выходная функция равно

значна на любом наборе, то

(4.3.73)

б) если q

=q, т. е. выходная функция

равнозначна по

входам и выходу, то

(4.3.74)

в) если q

=q=2, т. е. выходная функция

является бу

левой, то

(4.3.75)

Последняя формула показывает специфичность булева

базиса (его вырожденность в классе многозначных логических функ-

ций). На основе приведенных оценок можно построить алгоритм

аппроксимации многозначных выходных функций в базисе случайных

логических функций.

В заключение отметим, что аппарат индексных зон можно

применить к решению актуальной проблемы классификации

многозначных логических функций, сложность которой общеизвестна.

Так, в работе [254, с. 36] класс троичных функций двух переменных

= q

= 3) до сих пор считается необозримым. Ранее было

известно [258], что в этом классе имеется 1593 функции (из общего их

числа 19683) с пороговым порядком k≤2, т. е. любая из них может

быть реализована многопороговой моделью с числом порогов, не

большим двух. В работе [23] полным перебором индексных зон

показано, что весь этот класс функций имеет сложность k≤7, т. е.

разбивается на семь подклассов.

§ 4.4. Адаптивный синтез

оптимальных планов эксперимента для

регрессионной модели

4.4.1. Постановка задачи

Одна из задач планирования эксперимента [137, 223] связана с

нахождением параметров c

, ..., c

модели, структура которой

определена:

(4.4.1)

где φ

(X) (i = l, ..., q) — заданная система линейно-

независимых скалярных функций векторного аргумента:

Х = (x

, ..., x

). (4.4.2)

Например, для структуры (4.4.1), определяемой полной квадратичной

формой, имеем систему функций φ

(X) вида

(X) = 1; φ

(X) = x

; φ

(X) = x

; (4.4.3)

(X) = x

; φ

(X) = x

; φ

(X) = x

где q = 6.

Задача определения параметров С = (c

, ..., c

) по наблюдениям

состояния объекта y

в точках X

(j = 1, ..., N≥n), т. е. на основе

информации

I = ‹ Х

, y

(j = 1, ..., N) ›, (4.4.4)

сводится, как известно, к решению стандартной задачи минимизации

функции суммарной невязки поведения модели (4.4.1) и объекта

(4.4.4):

(4.4.5)

где µ(٠) — функция,

обладающая естественными свойствами:

µ(٠) ≥ 0; µ(z) = µ( -z ); µ( 0 ) = 0, (4.4.6)

например,

µ(٠) = (٠)

; µ(٠) = | ٠ | (4.4.7)

и т. д. В задачах планирования эксперимента принята квадратичная

невязка, для которой, вычисляя частные производные и приравнивая

их к нулю:

(4.4.8)

получаем систему линейных

алгебраических уравнений вида

(4.4.9)

Матрицу этой системы

(4.4.10)

обычно называют матрицей Фишера

или информационной матрицей [137].

Задача планирования эксперимента заключается в определении

таких точек N экспериментов

(4.4.11)

называемых планом эксперимента, чтобы их

реализация (4.4.4) в объекте дала возможность наилучшим образом

определить параметры модели (4.4.1).

Легко видеть, что выбор точек плана далеко не произволен.

Действительно, они могут быть расположены так, что ранг матрицы Φ

станет меньше q и параметры из такого эксперимента невозможно

будет определить.

Для формирования критерия оптимальности плана будем

рассматривать объекты, выход которых определяется следующим

образом:

= f (X

) + ε

, (4.4.12)

т. е. является суммой регулярной и случайной составляющих.

Регулярная часть f(X) зависит только от входа X объекта, а случайная ε

не зависит от входа X и является независимой реализацией

нормального закона распределения с нулевым математическим

ожиданием и дисперсией σ

, т. е.

Mε = 0; Mε

= σ

, (4.4.13)

где М — знак математического ожидания. Значение дисперсии σ

может быть априори неизвестным.

Тогда результат каждого эксперимента является случайной

величиной, что делает случайными и параметры С модели (4.4.1).

Свойства случайного вектора С определяются его математическим

ожиданием

МС = С* = (с*

, ..., c*

) (4.4.14)

с дисперсионной матрицей:

DС = || σ

q×q

, (4.4.15)

где

= М (c

- с*

) (с

- с*

) (i, j = 1,..., q). (4.4.16)

Эта дисперсионная матрица и определяет все точностные свойства

параметров. Действительно, их дисперсии расположены по диагонали

матрицы и равны

= σ

(i = 1, ..., q), (4.4.17)

а коэффициент корреляции i-го и j-го параметров модели равен σ

Очевидно, что все экстремальные требования к эксперименту,

связанные с точностью определения искомых параметров, можно

определить на дисперсионной матрице (4.4.15) в виде скалярной

функции

K = K (DC), (4.4.18)

минимум которой соответствует выполнению требований экс-

перимента.

Например, функцией К может быть обобщенная дисперсия, т. е.

определитель дисперсионной матрицы

(1)

= | DC |, (4.4.19)

минимум которого часто интересует экспериментатора. Другой

пример критерия — след дисперсионной матрицы:

(4.4.201

Наконец, максимальная дисперсия

(4.4.21)

тоже может быть примером такой функции,

минимума которой добивается экспериментатор.

В общем случае вид функции (4.4.18) задается исходя из

потребностей экспериментатора и может быть любым.

Связь этой функции с планом . осуществляется через матрицу

Фишера в виде [223]

DС = σ

-1

, (4.4.22>

т. е. дисперсионная матрица (4.4.15) с точностью до постоянной равна

обратной матрице Фишера (4.4.10), что позволяет легко вычислять

любой элемент дисперсионной матрицы по заданному плану . Это

означает, что план и система функций φ

(X) (i = 1, ..., q) модели

(4.4.1) однозначно определяют дисперсионную матрицу, а вслед за ней

и значение критерия

(4.4.23)

где ψ — алгоритм определения критерия по формулам

(4.4.18), (4.4.22), (4.4.10) и (4.4.11). Это и позволяет назвать критерии

К критерием эффективности плана .

Теперь задача синтеза оптимального плана формулируется как

задача минимизации:

(4.4.24)

где S — область планирования эксперимента,

определяющая пределы изменения элементов плана в пространстве

входов объекта {X}.

В зависимости от выбора критерия K полученный оптимальный

план называют по-разному. При минимизации критерия

(4.4.19) получают D-оптимальный план , для критерия (4.4.20) —

A-оптимальный и для критерия (4.4.21) —

E-оптимальный . Заметим, что, согласно выражению

(4.4.22), минимизация |DC| эквивалентна максимизации определителя

матрицы Фишера Φ. Это значительно упрощает задачу, так как

отпадает необходимость в обращении матрицы. Указанным

обстоятельством пользуются при синтезе D-oп-тимального плана:

(4.4.25)

Задача (4.4.24) имеет в общем случае nN

искомых переменных и является многоэкстремальной задачей

нелинейного программирования. Воспользуемся для ее решения

методами параметрической адаптации и, в частности, случайным

поиском.

4.4.2. Последовательный синтез плана

Задача (4.4.24) обычно имеет очень большую размерность.

Естественно упростить ее путем декомпозиции на более простые

задачи, для чего используется прием сведения задачи (4.4.24) к

последовательности задач:

(4.4.26)

Эти задачи имеют лишь п

переменных, и результатом их решения является точка (q+z+1)-го

эксперимента. Добавляя ее к предыдущему плану эксперимента

(назовем его опорным)

, получаем план и т. д. Однако

исходный план должен быть задан или получен путем решения

задачи (4.4.24) при N = q. Такое последовательное наращивание плана

позволяет задачу оптимизации с nN переменными свести к

последовательности задач с п переменными (при заданном исходном

плане ).

Проанализируем задачи (4.4.26), получаемые таким после-

довательным синтезом [32]. Для этого построим рельеф мини-

мизируемой функции (4.4.26) в пространстве варьируемой точки X

плана

4.4.27) т. е. исследуем поведение

функции

(4.4.28)

Именно в этой ситуации решается задача

минимизации

(4.4.26). .

Рассмотрим в качестве критерия

оптимизации плана D-критерии

(4.4.19), т. е. будем решать задачу

максимизации определителя инфор-

мационной матрицы (4.4.25):

(4.4.29)

. Для решения задачи (4.4.29) естественно использовать локальный

случайный поиск с оператором проецирования точек на область

поиска при . В этом случае применялась процедура

ортогонального проецирования на границу области S:

(4.4.31)

работа которой проиллюстрирована на рис. 4.4.1.

Алгоритм поиска имел следующий вид (напомним, что рас-

сматривалась задача максимизации):

(4.4.32)

(4.4.33)

— N-я реализация

нормального случайного вектора с нулевым математическим

ожиданием и единичной дисперсией по всем направлениям {X}.

Параметр величины случайного шага a

адаптировался

стандартным образом (см. § 3.5):

(4.4.34).

ис. 4.4.1. Работа процедуры

ортогонального проецирования

для прямоугольной области

планирования.

где ψ в данном случае есть алгоритм

вычисления определителя матрицы

Фишера на плане (4.4.27).

Область планирования S выберем

простейшую — квадрат (n = 2):

(4.4.30)

где

где ∆Q вычислялась по одной из формул (4.4.33) в зависимости от

сложившейся ситуации, параметр γ

=1,2, a γ

был выбран в

соответствии с указанными в § 3.5 рекомендациями. Рассмотрим

сначала линии равного уровня максимизируемого критерия (4.4.29)

для квадратичной формы (q = 5) вида

y = c

+ c

(4.4.35)

лри различном числе точек опорного плана .

На рис. 4.4.2 изображены линии равного уровня значения

определителя матрицы Фишера при z=3. Здесь точки опорного плана

обозначены крестиками. Хорошо видно, что задача имеет

многоэкстремальный характер. Локальные экстремумы расположены в

точках i = 2, 4, 5, 6, 7, 8, а глобальный экстремум — в точке X

(2)

. Здесь

же показаны четыре траектории случайного поиска (4.4.32) со

случайными начальными точками. Две из этих траекторий сошлись к

глобальному экстремуму X

(2)

Рельеф для той же модели (4.4.35), но при другом опорном плане (i

= 2, 3, 4, 5, 6, 7, 8, 9) показан на рис. 4.4.3 (кружочки

Рис. 4.4.2. Линии равного уровня определителя ин-

формационной матрицы для полинома (4.4.35), со-

ответствующие следующим значениям: 1 — 3450, 2 —

3750, 3 — 4050, 4 — 4400, 5 — 4700. Максимум (5000) в

точке X

(2)