Витяев Е.Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов (2006)

Подождите немного. Документ загружается.

261

При описании теории движений Н. А. Бернштейна мы объясним как

автоматически строится иерархия действий в процессе обучения

и какими

закономерностями и возбуждениями эти действия выполняются. Но на са-

мом верхнем уровне организация действий уже не может быть объяснена

только закономерностями, так как зависит от целей достигаемых организ-

мом. Так как цель ставится мотивационным возбуждением, то она является

сугубо внутренней постановкой для организма цели. Однако после поста-

новки цели

, оценка вероятности ее достижения может быть осуществлена

по обнаруженным закономерностям, что и осуществляется переключаю-

щей функцией эмоций на стадии принятия решений. На стадии принятия

решений действия представляют собой, как правило, линейную последова-

тельность отдельных «блоков» действий. Поскольку в этой последова-

тельности действий оценка вероятности предсказания конечного результа-

та всегда строго

возрастает, то принятие решений представляет собой

своеобразный семантический “блочный” вероятностный вывод наилучше-

го плана действия. В результате получается та последовательность и ие-

рархия результатов, которая описана в теории функциональных систем.

Заметим, что эту последовательность и иерархию результатов мы вывели

из анализа структуры предсказаний событий во внешней среде, которые

улавливаются закономерностями из

{PR(М, Р, Э)}. Схемы приведенных

ресунков дают нам, таким образом, структуру и процесс функционирова-

ния формальной модели работы мозга, основанной на принципе предска-

зания.

§ 89. Объяснение теории функциональных систем.

Объяснение целенаправленной деятельности в теории функцио-

нальных систем [65]

. Рассмотрим и объясним на основе приведенных

схем последовательно все стадии организации целенаправленного поведе-

ния

в соответствии с теорией функциональных систем и информационной

теорией эмоций, а также некоторые из процитированных выше свойств

акцептора результатов действия.

М&Обс(da) ⇒ da b&M&Обс(dc) ⇒ dc

a&M&Обс(db) ⇒ db c&M&Обс(dd) ⇒ dd

Обс(da)&da ⇒ a Обс(db)&db ⇒ b Обс(da)&dc ⇒ c Обс(da)&dd ⇒d

Обс(da

)&da

& Обс(db

)&db

& Обс(dc

)&dc

Обс(dd

)&dd

Res(da

) ⇒ da

ti+1

Res(db

)⇒ db

ti+1

Res(dc

) ⇒ dc

ti+1

Res(dd

) ⇒ dd

ti+1

da&Res(da) ⇒ a db&Res(db) ⇒ b dc&Res(dc) ⇒ c dd&Res(dd) ⇒ d

Рис. 37

262

Афферентный синтез осуществляется активацией ↓ мотивацией М

различных последовательностей действий

da, db, dc, dd, извлекаемых мо-

тивацией из памяти. Как видно из схем на рис. 35 и рис. 37, при этом авто-

матически учитывается вся обстановочная афферентация и сама мотива-

ция как стимул. «Извлечение из памяти» это не возбуждение действий, а

такая их активация, которая производится только мотивационным возбуж-

дением ввиду его химической специфичности и своеобразной «

пачкооб-

разной» активности: «...Доминирующая мотивация отражается в характер-

ном распределении межимпульсных интервалов в нейронах различных от-

делов мозга. Распределение межимпульсных интервалов носит характер,

специфический для различного биологического качества мотиваций»

[78; с. 170]. «Таким образом, пачкообразная ритмика центральных нейро-

нов в условиях доминирующего пищевого мотивационного возбуждения

отражает процессы ожидания

пищевого подкрепления» [Там же; с. 182].

Такая активность есть как бы «воображение», позволяющее мотивации по

имеющимся закономерностям формировать конкретную цель, акцептор

результатов действий и план действий. Получение реальных, а не в «вооб-

ражении» результатов сразу же снимает специфическую активацию ↓

мо-

тивацией этих результатов: «удалось объективно зафиксировать процесс

ожидания параметров пищевого подкрепления и, следовательно, прямо

отнести их к аппарату акцептора результатов действия. Такими оказались

нейроны, которые у голодных животных проявляют выраженную пачко-

образную активность. Было установлено, что практически все нейроны с

такой формой активности немедленно переходят на регулярную разряд-

ную деятельность

, как только животные удовлетворяют свою домини-

рующую пищевую потребность...Причем было отмечено, что когда голод-

ное животное видит пищу, пачкообразная активность заменяется на регу-

лярную преимущественно у нейронов зрительной области коры мозга, при

введении пищи в ротовую полость, – у нейронов таламической области,

при поступлении пищи в желудок – у нейронов гипоталамической

облас-

ти, при введении глюкозы в кровь – у нейронов ствола мозга». [Там же;

с. 180]. Из приведенных схем видно, что все этапы афферентного синтеза –

мотивация, память, обстановочная и пусковая афферентации естественным

образом сливаются.

План действий

. Мотивация «извлекает из памяти» не просто последо-

вательности действий

da, db, dc, dd, а планы действий, выполнение кото-

рых приводило раньше к достижению цели. Далее на стадии принятия ре-

шений из всех «извлеченных из памяти» планов действий будет выбран

один план. Поскольку план действий «извлекается из памяти» до всяких

действий, то активация закономерностей плана может осуществляться

только в «воображении». Более точно план действий

представляет собой

263

последовательность закономерностей на рис. 37, которые активируются в

«воображении» по внутреннему контуру работы мозга, обозначенному на

рисунке стрелкой →. На рис. 35 эта последовательность представлена

средней цепочкой

da ⇒ a ⇒ db ⇒ b ⇒ dc ⇒ c ⇒ dd ⇒ d. По этой цепочке

происходит «

опережение хода событий в отношениях между организмом

и внешним миром

». Эта цепочка представляет собой последовательно

«срабатывающие» в «воображении» закономерности (см. рис. 37)

Obc(da)&da&Res(da) ⇒ a,

Obc(db)&db& Res(db) ⇒ b,

(36)

Obc(dc)&dc&Res(dc) ⇒ c,

Obc(dd)&dd&Res(dd)⇒ d.

«Срабатывание» в «воображении» означает передачу этими закономер-

ностями пачкообразной активности, но не регулярное возбуждение, пере-

ход на которое осуществляется только после получения реальных резуль-

татов и

безусловного их срабатывания. Что значит «срабатывание» в «во-

ображении», например, закономерности

Obc(da)&da& Res(da) ⇒ a при от-

сутствии результата

Res(da)? Такое «срабатывание» осуществляется по

более слабым закономерностям (см. рис. 37)

Obc(da)&da ⇒ a, Obc(db)&db ⇒ b, Obc(dc)&dc ⇒ c, Obc(dd)&dd ⇒ d, (37)

которые в соответствии с формальной моделью нейрона и семантическим

вероятностным выводом, также обнаруживаются нейронами

a, b, c, d. Но

«срабатывание» нейронов

a, b, c, d по закономерностям (37) не означает,

что не будут ожидаться обратные афферентации

Res(da), Res(db), Res(dc),

Res(dd)

от результатов действий, включенные в более «точные» законо-

мерности

(36) тех же самых нейронов a, b, c, d. Более «точная» закономер-

ность включает в себя менее «точную», как, например, закономерность

Obc(da)&da& Res(da) ⇒ a включает в себя закономерность Obc(da)&da ⇒

a. Более «точная» закономерность расположена на той же ветке семанти-

ческого графа, что и менее точная и, значит, если нейроном обнаружена

более «точная» закономерность, то всегда обнаружена и менее «точная».

Более «точная» закономерность всегда имеет строго большую оценку

предсказания и в этом смысле уточняет более слабую закономерность.

«Срабатывание» менее «точной» закономерности

при наличии более «точ-

ной» всегда означает, что в большинстве случаев в прошлом через какой-

то момент времени приходила на «вход» нейрона и «уточняющая» инфор-

мация, позволяющая «сработать» и более точной закономерности и тем

самым сделать более точное предсказание как этапного, так и конечного

результата, в противном случае более «точная»

закономерность не смогла

бы быть обнаружена на основании прошлого опыта. Поэтому, несмотря на

264

«срабатывание» менее точной закономерности, нейрон ожидает поступле-

ние уточняющей информации. Его ожидание состоит в том, что он готов

немедленно (с меньшим латентным периодом срабатывания нейрона, вви-

ду более высокой вероятности этой закономерности) «сработать» (увели-

чить частоту импульсаций в соответствии с увеличением вероятности

предсказания) по более «сильной» закономерности. Но, как было

объясне-

но ранее, закономерности

(36) не просто являются более «точными», а сиг-

нализируют безусловно

(с вероятностью, близкой к 1, или по безусловно-

му стимулу) о фактическом достижении результата, что снимает «пачко-

образную» активность и переводит нейрон на регулярную активность, тем

самым различая «воображение» и факт. Пока же обратные афферентации

от результатов не получены, «пачкообразная» активность мотивации пере-

водит нейроны

a, b, c, d в состояние ожидания этих результатов, так как

регулярной активностью (безусловной) эти нейроны «сработать» не могут

по той причине, что условия этих закономерностей не выполнены в силу

того, что одно из условий

Res(da), Res(db), Res(dc), Res(dd) не выполнено.

Поэтому нейроны

a, b, c, d, с одной стороны, передают пачкообразную ак-

тивность в «воображении» по закономерностям (37) а, с другой стороны,

ожидают обратную афферентацию

Res(da), Res(db), Res(dc), Res(dd), тре-

буемую более сильными закономерностями

(36), срабатывающими безус-

ловно, после чего они переходят в регулярную активность. Активация в

«воображении» результатов

a, b, c, d, активирует следующие действия по

цепочке закономерностей на рис. 37.

Тем самым в «воображении» активи-

зируется весь план действий, эффективность которого, в целом, оценива-

ется на следующем этапе – этапе принятия решений.

Принятие решений осуществляется при рассмотрении плана действий с

учетом переключающей функции эмоций, т. е. на основании качества воз-

никшей эмоции и вероятности прогноза достижения цели по данному пла-

ну. Вероятность прогноза оценивается не по плану (3). Как было сказано,

принципиально не существует хороших методов пересчета вероятностей

предсказания «вдогонку» логическому выводу, который представлен здесь

планом (3). Мозг «обходит» любой логический вывод, находя всего одну

вероятностную закономерность, предсказывающую конечный результат.

Такой закономерностью в данном случае является закономерность

M&da&Обс(da)&db&Обс(db)&dc&Обс(dc)&dd&Обс(dd) ⇒ d, (38)

выработанная нейроном

d. Поэтому вероятность достижимости конечного

результата по плану действий

da,db,dc,dd оценивается закономерностью

(38), учитываемой эмоциями. Это не означает, что план не «проигрывает-

ся» в «воображении». Для «проигрывания» планов действий достаточно в

«воображении», моделируя, например, метод «проб и ошибок», выбрать

некоторую последовательность действий

da, db, dc, dd, по которой, если

265

«проиграть» закономерностями рис. 37 последовательность получаемых

этапных результатов, то эти действия, во-первых, приведут к достижению

конечного результата, а во-вторых, по закономерностям (38) дадут доста-

точно хорошую оценку предсказания достижимости этого результата.

План должен проигрываться с целью обеспечения согласованности всех

действий (и обеспечения его непротиворечивости, так как есть еще тор-

мозные

закономерности). Таким образом, план может быть оценен эмо-

циями по качеству мотивации и закономерности (38), дающей вероятност-

ную оценку плана. Но для полной реализации переключающей функции

эмоций в процессе принятия решений, необходимо допустить возмож-

ность произвольной вариации плана в «воображении». Это осуществляется

мозгом как своеобразный «блочный» семантический вероятностный вы-

вод, представленный

рисунками рис. 35, рис. 36.

Рассмотрим более подробно как мозг осуществляет «блочный» семан-

тический вероятностный вывод. Это одновременно объяснит, как совер-

шенствуется план действий в целом путем его локальных и / или глобаль-

ных изменений. Это происходят за счет изменений «блочного» вывода пу-

тем вариации плана действий в соответствии с переключающей функцией

эмоций. Принятие

решения состоит в том, что при данной мотивации М и

сопровождающей ее отрицательной эмоции, мозг стремится найти такой

план действий, который давал бы максимальную положительную эмоцию

– предвосхищение достижения результата определенного качества с мак-

симальной оценкой вероятности достижимости этого результата. За счет

активирующего действия мотивации М, мозг в «воображении» может

проигрывать» различные варианты достижения цели. При этом все необ-

ходимые

для достижения конечной цели этапные результаты (строго уве-

личивающие вероятность достижения конечного результата) включаются в

результирующий план действий. Поэтому принятие решений и есть про-

цесс организации семантического “блочного” вероятностного вывода,

осуществляемого мозгом. «Проигрывая» различные планы действий, мозг

проигрывает тем самым различные семантические вероятностные выводы,

пытаясь найти такой, который обеспечил бы как

требуемое качество цели,

так и максимальную оценку вероятности предсказания. Таким образом,

эмоции

как интегральные оценки решений являются в то же время теми

оценками, которые организуют семантический вероятностный вывод как

отдельных нейронов,

так и мозга в целом (находя наилучший «блочный»

семантический вероятностный вывод)

. Нейрон организует семантический

вероятностный вывод, а мозг – “блочный” вероятностный вывод. Цепочка

предсказаний рис. 35, рис. 36 отличается от «уточняющего» графа, во-

первых, тем, что она линейна в силу линейности последовательности дей-

ствий, а во-вторых, тем, что она связана с деятельностью во внешней сре-

266

де, действия в которой надо одновременно предвосхищать и контролиро-

вать.

Но цель работы отдельного нейрона и мозга в целом одна и та же –

организация семантического вероятностного вывода в целях достижения

максимальной точности предсказания

Конкретная цель

ставится активацией ↓ мотивацией М последователь-

ности действий

da, db, dc, dd, выбранной в процессе принятия решения.

Как уже говорилось, эта активация в «воображении» передается всем ней-

ронам результатов

a, b, c, d по закономерностям (37). Так как результаты

Res(da), Res(db), Res(dc), Res(dd) действий еще не получены, то нейроны

результатов

a, b, c, d перейдут в состояние ожидания этих результатов в

соответствии с закономерностями

(36). Это и есть постановка конкретной

цели – ожидание всеми нейронами результатов a, b, c, d – всей совокупно-

стью обратных афферентаций о результатах совершенных действий

Res(da), Res(db), Res(dc), Res(dd).

Акцептор результатов действия и есть вся ожидаемая обратная аффе-

рентация

результатов Res(da), Res(db), Res(dc), Res(dd). Если конкретная

цель ставится всей совокупностью результатов

a, b, c, d, как ожидание

достижения этих результатов, то обратная афферентация от всей совокуп-

ности действий и есть акцептор результатов действия.

После совершения

какого-либо действия мозг ожидает получение реального результата от

действий по внешнему контуру. После получения реального результата

осуществляется «сличение предсказания с параметрами реального резуль-

тата». Это сличение осуществляется закономерностями

(36). «Сличение»

состоит в том, что все эти закономерности

не смогут «сработать», если не

будет получена именно та обратная афферентация, которая записана в за-

кономерности. Если при каком-то действии будет получена другая аффе-

рентация, то немедленно возникнет ориентировочно-исследовательская

реакция. Более точно, ориентировочно-исследовательская реакция возни-

кает тогда и только тогда, когда теряется или резко падает оценка предска-

зания

конечного результата, полученная на основании плана действий (см.

рис. 37).

Формула эмоций. Замещающая функция эмоций. В формуле эмоций

Э = f[П, (И

- И

), ...] основной является разность (И

- И

) – «оценка веро-

ятности (возможности) удовлетворения потребности на основе врожденно-

го и онтогенетического опыта». Такой оценкой следует считать оценку ус-

ловной вероятности

b ⇒ d достижимости конечного результата d после

достижения некоторого этапного результата

b. Как мы видели, после дос-

тижения каждого промежуточного результата, ведущего к достижению

конечной цели, условная вероятность таких вероятностных закономерно-

267

стей строго возрастает и, значит, разность (И

- И

) (даже если она отрица-

тельна) всегда увеличивается, что приводит к положительным эмоциям.

Как было сказано, «нарастание эмоционального напряжения, с одной

стороны, расширяет

диапазон извлекаемых из памяти энграмм, а с другой

стороны,

снижает критерии «принятия решения» при сопоставлении этих

энграмм с наличными стимулами». Происходит это автоматически

, путем

повышения уровня возбудимости нейронов при усилении мотивации

(сильный голод) и соответствующем усилении отрицательных эмоций. В

этом случае в соответствии с формальной моделью нейрона и «уточняю-

щим» графом, происходит активация тех вероятностных закономерностей,

которые были обнаружены на ранних этапах формирования функциональ-

ных систем и которые имеют не очень высокую оценку

условной вероят-

ности. Эти вероятностные закономерности имеют меньшее число предика-

тов в условиях закономерностей и, значит, являются более генерализован-

ными и применимыми в более широком числе случаев. Это в точности

реализует обратный, по сравнению с развитием функциональных систем,

механизм редукции функциональных систем. Если ориентировочно-

исследовательская реакция развивает функциональные системы и

удлиня-

ет ветви «уточняющего» графа в вероятностных закономерностях, то под-

нятие уровня возбудимости нейронов, позволяет «срабатывать» старым,

«слабым» закономерностям (при неприменимости более сильных в данной

новой или неожиданной обстановке) и возбуждать нейрон, приводя, таким

образом, к более генерализованным способам действий.

Взаимосвязь принципов целеполагания и предсказания. Формальная

модель работы мозга, синтезирующая оба принципа. Математическая

модель работы мозга, вытекающая из принципа целеполагания, представ-

ляет собой иерархию слабых формальных систем. Математической моде-

лью работы мозга, вытекающей из принципа предсказания, является мно-

жество функциональных систем {

PR(М, Р, Э)}. Принцип работы и содер-

жание каждой функциональной системы описан в предыдущих разделах.

Как связаны между собой эти две модели работы мозга?

Множество {

PR(М, Р, Э)} вероятностных закономерностей обнаружи-

вается на множестве всех потребностей {<М, Р, Э>}, являющемся множе-

ством всех исходных целей организма. Как мы видели, эти исходные цели

на начальном этапе формирования функциональных систем достигаются

«реагированием по принципу доминанты» или методом «проб и ошибок»,

т. е. наименее дифференцированными деятельностями. Дальнейшее со

вершенствование функциональных систем организма происходит уже пу-

тем увеличения этапных результатов и обогащением акцептора результа-

тов действия при участии ориентировочно-исследовательской реакции.

268

Обученный организм имеет уже довольно сложную последовательность и

иерархию целей и подцелей для каждой функциональной системы. Эти по-

следовательности и иерархии целей и подцелей формируются из структу-

ры предсказаний во внешнем мире, которую улавливает мозг в виде мно-

жества вероятностных закономерностей {

PR(М, Р, Э)}.

Формальная модель работы мозга, основанная на принципе целепола-

гания, и представляющая собой иерархию слабых формальных систем

предполагает, что все множество целей каким-то образом задано. Принцип

же предсказания только начинает с задания множества исходных целей

{<М, Р, Э>}, остальные цели получаются в результате длительного про-

цесса обучения. Кроме того, полученная по принципу предсказания иерар-

хия результатов, включающая интуицию, уже не может быть полностью

осознана и, как

показано далее, даже не может быть «извлечена» из экс-

перта как знание. Поэтому полученная в результате обучения по принципу

предсказания иерархия целей принципиально не может быть как-то изна-

чально дана, как это требуется принципом целеполагания и, следователь-

но, применение формальной модели, основанной на иерархии слабых

формальных систем, уже принципиально невозможно

Предположим, что мы вывели чисто формально иерархию и последова-

тельность целей из анализа множества {

PR(М, Р, Э)}. Какую лучше в этом

случае использовать формализацию работы мозга – основанную на слабых

формальных системах или на множестве {

PR(М, Р, Э)}? Как было сказано,

множество

PR «сильнее» любого логического вывода с точки зрения полу-

чения предсказаний.

Несмотря на все эти рассуждения, принцип целеполагания продолжает

играть важную роль в модели {

PR(М, Р, Э)}. Само обнаружение вероятно-

стных закономерностей невозможно без целей (М, Р, Э). Фактически в мо-

дели {

PR(М, Р, Э)} принцип целеполагания и принцип предсказания син-

тезированы в одну модель, которую мы и будем в дальнейшем считать

формальной моделью работы мозга, синтезирующей оба принципа.

В других работах, которые не вошли в книгу, мы приводим объяснение

теории движений Н. А. Бернштейна [26]; процесса принятия решений и

функции эмоций [37]; рефлексии и мышления [25]; логики работы мозга

[27] как предсказывающего устройства, главной функцией которого явля-

ется организация предсказаний на всех уровнях его работы.

§ 90. Модель теории функциональных систем П. К. Анохина

В предыдущих параграфах была описана модель работы мозга, объяс-

няющая теорию функциональных систем П. К. Анохина. Настало время

экспериментальной проверки работоспособности теории.

269

Цель данного параграфа в том, чтобы, основываясь на полученной мо-

дели, построить некоторый простейший анимат и показать, что он обуча-

ется достаточно эффективно и, по крайней мере, не хуже, чем на основа-

нии существующих подходов, основанных на нейронных сетях и потакто-

вом обучении (Reinforcement Learning) [28].

Такой анимат создан, запрограммирован и проведены машинные

экс-

перименты по его обучению. Результаты сравнения его поведения, осно-

ванные на предложенной модели и моделях, основанных на Reinforcement

Learning, показали, что предложенная модель обучается и действует эф-

фективней.

Система управления аниматом. В соответствии с теорией функцио-

нальных систем будем считать, что моделируемая система управления

аниматом имеет иерархическую архитектуру, в которой базовым элемен-

том системы управления является отдельная функциональная система

(ФС). При такой архитектуре функциональные системы верхнего уровня

ставят цели системам нижнего уровня. При этом можно считать, что каж-

дая ФС решает

задачу достижения цели, используя те же методы, что и ос-

тальные ФС. На рис. 38 приведена архитектура системы управления ани-

матом.

Задачи отдельной функциональной системы:

– При заданной цели (подцели) и известной информации об окру-

жающей среде и состоянии ФС, найти оптимальный способ достижения

цели.

– Если на основе прогноза найдено действие, обеспечивающие дос-

тижение цели, то дать команду на выполнение этого действия.

– Осуществить контроль правильности выполнения действия, т. е.

проверить соответствие параметров достигнутого и желаемого результа-

тов.

ФС

Рис. 38

270

Модель работы функциональной системы. На рис. 39 приведена мо-

дель работы функциональной системы. Будем считать, что в некоторый

момент времени ФС ставиться цель

P . Цель ставится в виде запроса к ФС

– достичь цель

P . На вход ФС также подается информация об окружаю-

щей среде в виде описания ситуации

imi

PP ,...,

. В процессе афферентного

синтеза из памяти извлекается вся информация, связанная с достижением

цели

P . Эта информация храниться в памяти виде множества закономер-

ностей вида

,,..., PAPP

iiki

→ . Поскольку информация об окружающей

среде уже задана в виде описания ситуации

imi

PP ,...,

еще до постановки

цели, то из памяти автоматически извлекается только та информация, свя-

занная с достижением цели, которая может быть применена в данной си-

туации. Это достигается использованием (извлечением из памяти) только

тех закономерностей, в которых свойства ситуации выполнены, то есть,

свойства ситуации

P , которые есть в условии

iki

PP ,...,

закономерности

должны содержаться в описании ситуации

imi

PP ,...,

Среди условий

iki

PP ,...,

закономерности содержатся не только свой-

ства ситуации, но и подрезультаты

ini

PP ,...,

, достижение которых необ-

ходимо для достижения цели. Достижение подцелей осуществляется от-

правкой запроса на их достижение вниз по иерархии, что обозначено на

АФФЕРЕНТНЫЙ

СИНТЕЗ

Множество PR

закономерностей

〈P

,…,P

〉 → P

для прогноза

достижения цели P

ситуации P

,…,P

ПРИНЯТИЕ

РЕШЕНИЯ:

Выбор

действия A

обеспечи-

вающего

максимальную

вероятность

достижения

цели P

АКЦЕПТОР

РЕЗУЛЬТАТОВ

ДЕЙСТВИЯ:

Ожидание результата P

ОЦЕНКА РЕЗУЛЬТАТА

ДЕЙСТВИЯ R

≈

Подкрепление/наказание

и уточнение

закономерностей.

Probability(P

)

,…,P

СитуацияПодцели

,…,A

,…,P

АФФЕРЕНТНЫЙ

СИНТЕЗ

Множество PR

закономерностей

〈P

,…,P

〉 → P

для прогноза

достижения цели P

ситуации P

,…,P

ПРИНЯТИЕ

РЕШЕНИЯ:

Выбор

действия A

обеспечи-

вающего

максимальную

вероятность

достижения

цели P

АКЦЕПТОР

РЕЗУЛЬТАТОВ

ДЕЙСТВИЯ:

Ожидание результата P

ОЦЕНКА РЕЗУЛЬТАТА

ДЕЙСТВИЯ R

≈

Подкрепление/наказание

и уточнение

закономерностей.

Probability(P

)

,…,P

СитуацияПодцели

,…,A

,…,P

Рис. 39