Растригин Л.А. Адаптация сложных систем

Подождите немного. Документ загружается.

Здесь p(Y) — некоторая заданная плотность распределения, не равная

нулю в области интегрирования; Φ — вектор с компонентами (4.1.18):

Φ(•,•) = (φ

(•,•), ..., φ

(•,•)). (4.1.20)

Монте-карловская оценка градиента (4.1.16) имеет вид

(4.1.21)

где Y

— случайные

реализации вектора, имеющего плотность распределения р(Y).

Располагая оценкой (4.1.21), легко построить градиентную процедуру

адаптации

(4.1.22)

Здесь оценка градиента (4.1.21) имеет

стохастический характер, что и относит процедуру (4.1.22) к

алгоритмам случайного поиска с параметром N. Величина этого

параметра позволяет управлять уровнем помех, накладывающихся на

градиент минимизируемой функции.

Однако оценку градиента можно получить и иным образом.

4.1.3. Стохастическое накопление

Воспользуемся для вычисления градиента его стохастической

оценкой (3.3.28), рассмотренной в §3.3. Эту оценку можно определить

как оценку с центральной пробой:

(4.1.23)

Естественно

рассмотреть и стохастическую оценку градиента с парными пробами:

(4.1.24)

Здесь ξ

— i-я

реализация единичного случайного вектора, равномерно

распределенного по всем направлениям пространства адаптируемых

параметров {U}.

Рассмотрим оценку (4.1.24). Пусть параметр пробного шага g мал,

а функция качества достаточно гладка, чтобы линейное

представление (4.1.11) было адекватным. Тогда, подставляя (4.1.11) в

(4.1.24), получаем с учетом (4.1.1):

(4.1.25)

Используем

стохастические свойства этой оценки. Начнем со свойств суммы

(4.1.26)

которая образует оценку (4.1.25):

(4.1.27)

Рассмотрим проекцию L

на градиентное

направление:

(4.1.28)

где — направление

градиента:

(4.1.29)

a k — его модуль:

(4.1.30)

т. е.

(4.1.31)

Введем φ

— угол между векторами и ξ

. Тогда

(4.1.28) записывается в виде

(4.1.32)

Известно [161], что

распределение случайного угла φ имеет вид

(4.1.33)

где Г — гамма-функция.

(4.1.34)

(4.1.35)

(4.1.36)

(4.1.37)

В процессах адаптации реальных объектов важно, чтобы веро-

ятность неудачного шага была меньше заданной, т. е.

p = Вер (∆Q > 0) ≤ p*, (4.1.38)

где р* — заданная вероятность неудачного шага. Легко заметить, что

вероятность (4.1.38)

(4.1.39)

При достаточно большом m (как. обычно и

Определим основные статистические характеристики проекции

Математическое ожидание:

где

откуда окончательно получаем

Дисперсия

бывает при адаптации) сумма распределена нормально, что

позволяет легко определить вероятность р:

(4.1.40)

где Φ — интеграл Лапласа [42].

Как видно, располагая информацией о значениях k и σ, легко с

помощью накопления объемом т реализовать выполнение условия

(4.1.38).

Дискретный вариант адаптации, когда каждый адаптируемый

параметр варьируется на двух уровнях, рассмотрен в работе [182], а

релаксация — в [267].

§ 4.2. Адаптация в процессах обучения

Задача обучения может быть естественным образом сформу-

лирована как задача управления. В этом случае ученик выступает в

качестве объекта управления, а учитель или обучающее устройство —

в качестве источника управления. Очевидно, что такого рода объект

управления является сложным объектом и к его управлению

применимы все известные принципы управления сложным объектом

[172] (см. § 2.1). Поэтому рассмотрим снова блок-схему управления

сложным объектом и интерпретируем ее с позиций проблемы

обучения.

4.2.1. Обучение как управление сложным объектом

Блок-схема взаимодействия объекта, среды и управляющего

устройства (УУ) в процессе управления показана на рис. 4.2.1. Здесь X

— состояние среды, влияющей на состояние Y объекта. Информация

об этих состояниях измеряется датчиками D

и D

, которые

информируют УУ. Очевидно, что Х'≠Х и Y'≠Y в силу того, что датчики

измеряют только то, что используется в процессе управления. Однако

и , т. е. получаемая информация в какой-то мере (но

далеко не полностью) отражает действительное состояние объекта и

среды. Заметим, что ресурсы, выделяемые на создание системы

управления, в значительной степени

определяют и объем получаемой

информации X' и Y'.

УУ, получая на входе информацию

о среде X, объекте Y, цели Z* и

ресурсах R, должно выдать на выходе

информацию об управлении U, с

помощью которого возможно достичь

цели Z*, т. е. перевести объект в

искомое состояние Y*,

соответствующее выполнению

заданной цели Z* в рамках ресурсов R,

т. е.

‹ X', Y', Z*, R › → U* → Y*. (4.2.1)

ис. 4.2,1. Блок-схема взаимодей-

ствия ученика и учителя в процессе

обучения как управления сложным

объектом.

Алгоритм управления А призван решить эту задачу:

U* = A (X', Y', Z*, R)

(4.2.2)

и является оператором, перерабатывающим исходную информацию в

управление.

Задачу синтеза оператора А управления обычно декомпозируют

на две.

1. Синтез модели F объекта, связывающей его наблюдаемые

входы:

Y' = F (X', U). (4.2.3)

2. Синтез управления с помощью этой модели. В простейшем

случае этого можно достичь, решая задачу минимизации, на

пример:

(4.2.4)

где множество допустимых управлений

определяется выделенными для этого ресурсами R, а искомое

состояние Y* — заданной целью Z*.

Следовательно, процесс синтеза модели F объекта управления

является необходимым элементом управления сложным объектом.

Такого рода управление обычно называют управлением с моделью.

Рассмотрим с этих позиций процесс обучения. Изображенная на

рис. 4.2.1 система управления может рассматриваться и как система

обучения. Здесь объект управления является объектом обучения

(назовем его условно «ученик»), а УУ — обучающим устройством

(назовем его условно «учитель»). X — состояние среды, влияющей на

процесс обучения ученика (учитель информируется о состоянии среды

X с помощью датчика D

); X' — информация о среде X, получаемая

учителем. Y — состояние ученика, измеряемое датчиком D

, на выходе

которого имеется Y' — информация об этом состоянии, получаемая

учителем в виде ответов на вопросы U, задаваемые ученику.

Учителю сообщаются цели обучения Z* и ресурсы R, которыми он

располагает для обучения. Задача состоит в том, чтобы организовать

обучение U, изменяющее состояние У ученика таким образом, чтобы

выполнялись поставленные цели обучения Z*.

Как видно, в процессе обучения управление U имеет двоякую

форму — обучающей информации и вопросов, ответы Y' на которые

дают возможность оценить степень обученности ученика.

Используем опыт, накопленный при управлении сложными

объектами для организации эффективного обучения. Для этого

рассмотрим этапы такого управления и интерпретируем их с позиций

обучения [171].

4.2.2. Этапы обучения

В процессе управления сложным объектом таких этапов восемь

(см. § 2.1). Рассмотрим каждый из них отдельно, но применительно к

процессу обучения.

4.2.2.1. Формулировка целей обучения

Формулировка целей управления заключается в определении

критериев и тех требований к ним, выполнение которых решает

задачу управления (см. подраздел 1.1.2). Цели Z* всякого управления

представимы в виде

(4.2.5)

Здесь φ

, ψ

и η

— критерии-

функционалы, определяемые на состояниях объекта управления.

Как видно, цели, т. е. требования, предъявляемые к этим

функционалам, имеют тройственный характер: цели-неравенства,

цели-равенства и экстремальные цели. Они выражают потребности

субъекта, взаимодействующего с объектом управления. Выполнение

этих целей Z* удовлетворяет потребности субъекта, ради которых он и

создает систему управления.

Теперь интерпретируем сказанное для случая обучения. Здесь

субъектом выступает заказчик системы обучения, которому предстоит

использовать кадры, подготовленные системой обучения. Цели (4.2.5)

обучения в данном случае представляют собой требования к

обученному ученику.

Цели-неравенства определяют тот минимум знаний и навыков

ученика, нарушение которого недопустимо. Например, функционал φ

может выражать в виде балльной оценки уровень знаний по i-му

предмету. Тогда а

= 3.

Цели-равенства связаны с теми знаниями и навыками ученика,

отсутствие которых недопустимо. Например, в школьной системе

обучения ψ

может выражать знание j-го закона природы. Тогда ψ

= 1

определяет знание этого закона, a ψ

= 0 — незнание, что недопустимо,

так как b

= 1.

Экстремальные цели связаны с теми качествами ученика, которые

целесообразно экстремизировать при обязательном выполнении

неэкстремальных целей (равенств и неравенств). Они фактически

определяют качество процесса обучения. Например: если η

—

средний балл по l-му предмету, то естественно требовать,

чтобы η

→max. Если η

— время обучения l-му предмету, то η

→max.

Очевидно, что формулировка экстремальных целей Z* обучения

является сугубо индивидуальным процессом и не может быть

унифицирована. Все зависит от потребностей субъекта и свойств

ученика. Действительно, специфика ученика и его склонностей

заставляет по-разному формулировать экстремальные цели

управления — например, ускорять или углублять процесс обучения.

Индивидуализация процесса обучения ориентирована именно на

достижение экстремальных целей.

4.2.2.2. Выделение объекта обучения из среды

Выделение объекта обучения из среды сводится к определению

«границы», отделяющей объект от среды, его окружающей. Эта

граница целиком и полностью зависит от целей управления Z* и

ресурсов R, выделенных на управление. Ресурсы могут быть

временными, стоимостными, энергетическими и т. п.; их вид и объем

определяют «размеры» объекта, причем необязательно «большие»

ресурсы нужны «большему» объекту — все зависит от целей

управления Z*.

При решении задач обучения процесс выделения объекта из среды

вовсе не тривиален, как может показаться с первого взгляда. Только в

очень простых системах обучения объектом является сам ученик.

Действительно, социальные связи ученика естественным образом

включаются в процесс обучения, что расширяет объект обучения на

микро-, а иногда и макроокружение обучаемого. Это дает

возможность в процессе обучения воздействовать на обучаемого не

только непосредственно, но и через его среду, которая становится в

данном случае объектом управления. С другой стороны, целевые

функционалы, входящие в цели Z* (4.2.5), могут быть определены на

поведении ученика, т. е. проявляться в процессе его общения со

средой. Это заставляет вводить «среду общения» ученика в объект

управления.

Таким образом, цели Z* обучения и ресурсы R, выделенные для

достижения этих целей, определяют объект обучения, включающий

вместе с учеником его среду. «Размеры» этой среды зависят от целей

и ресурсов обучения.

4.2.2.3. Структурный синтез модели объекта обучения

Данный этап связан с определением структуры модели (4.2.3)

объекта. Эта модель необходима для синтеза эффективного

управления объектом. При управлении сложным объектом

эффективность управления прямо зависит от адекватности син-

тезируемой модели. Именно поэтому такое большое внимание

уделяется процессу синтеза модели сложного объекта. Под структурой

модели F будем подразумевать:

1) структуру входа модели X, т. е. содержательное описание

его компонент, доступных наблюдению (измерению с помощью

датчика D

Х' = (х

, ..., х

); (4.2.6)

2) структуру управления U, т. е. содержательное описание

его составляющих:

U = (u

, ..., u

); (4.2.7)

3) структуру выхода модели, т. е. содержательное описание

наблюдаемых выходов объекта:

Y' = (y

, ..., y

); (4.2.8)

4) структуру оператора F, т. е. его функциональное описа

ние с точностью до параметров:

С = (с

, ..., с

). (4.2.9)

Это означает, что оператор модели F представляется в виде пары

F = ‹ S, С ›, (4.2.10)

где S — структура модели F, а С — ее параметры [4.2.9].

Таким образом, на стадии структурного синтеза модели строится

ее описание в виде

Y' = f (X', U, C), (4.2.11)

где f — выбранный оператор, параметры которого С предстоит

определить на следующих этапах. При этом, естественно, должна быть

определена структура входов X' (4.2.6), U (4.2.7) и выхода Y' (4.2.8).

В задачах обучения модель ученика F представляет собой

оператор, определяющий его реакцию Y' в контролируемой об-

становке X', в которой происходит обучение, на обучение U. Это

обучение обычно имеет две составляющие

U = ‹ U

, U

›, (4.2.12)

где U

— порция обучающей информации, которую следует усвоить

ученику, а U

— контрольные вопросы, на которые ученик отвечает в

форме Y'. Заметим, что датчик информации D

состоянии Y ученика в данном случае кодирует его ответы, а D

кодирует обстановку и специфику процесса обучения.

Простейшая модель ученика, например, определяется вероят-

ностью незнания этим учеником соответствующих элементов обу-

чающей информации:

= (p

, ..., p

), (4.2.13)

где p

— вероятность незнания i-гo элемента информации (всего их l)

в N-й момент времени. В этом случае Y' — его ответы по поводу

знания того или иного элемента информации, которые представляют

собой l-мерный вектор, состоящий из нулей («не знает»), единиц

(«знает») и прочерков («вопрос не задавался»). Сама модель

представляет собой правило изменения вектора вероятностей (4.2.13)

при определенном наборе порций обучающей информации. Состояние

среды X' эта модель не учитывает.

4.2.2.4. Идентификация

параметров С модели

объекта обучения

На данном этапе определяются параметры (4.2.9) по наблюдениям

поведения объекта в режиме нормальной эксплуатации, т. е. при

отсутствии управления. Наблюдения

‹ Х', Y' › (i = 1, ..., L) (4.2.14)

являются источником необходимой информации для идентификации

параметров С. Очевидно, что при этом поведение среды X должно

быть достаточно разнообразным, чтобы проявились свойства объекта,

необходимые для идентификации С.

В задаче обучения этапу идентификации соответствует оценка

свойств ученика во внеучебной обстановке, т. е. во время его общения

со средой. Наблюдения такого рода дают очень ценную информацию о

специфике ученика. Однако здесь большие трудности возникают при

фиксации наблюдений, т. е. в организации системы сбора информации

с помощью датчиков D

и D

(см. рис. 4.2.1), поставляющих

необходимую информацию (4.2.14). Именно поэтому идентификация

как этап формального процесса обучения обычно не используется,

хотя в неформализованных системах обучения ей уделяется большая

роль, так как здесь поведение Y ученика не «зашумлено» системой

обучения, часто заставляющей его вольно или невольно искажать

информацию о себе, сообщаемую учителю: Опытные педагоги знают

этот эффект и предпочитают при выяснении сложных обстоятельств

«пассивное» наблюдение активному «допросу».