Трахтенгерц Э.А. Компьютерные методы реализации экономических и информационных управленческих решений

Подождите немного. Документ загружается.

Глава 5. Некоторые математические методы, используемые …

141

Теоретической основой современных комплексов распознавания

речи можно считать следующие методы:

 сравнение речевых сигналов с использованием аппарата ди-

намического программирования [5.5];

 моделирование речевого сигнала скрытой марковской моде-

лью [5.6, 5.7];

 обработка сигнала искусственными нейронными сетями

[5.8].

Все три метода получили достаточно широкое распространение,

базируются на хорошо разработанном математическом аппарате и

дают удовлетворительные результаты. Для повышения надежности

функционирования в некоторых комплексах используются два и да-

же все три метода.

Создание комплексов распознавания речи чрезвычайно сложная

задача, в процессе выполнения которой возникает масса проблем.

Ниже приводятся три достаточно типичные проблемы, показываю-

щие необходимость глубоких теоретических исследований для их

решения.

1. Обеспечение сохранности смысловой информации. Эта про-

блема специфична для комплексов распознавания речи. В первом

приближении его можно назвать помехозащищенностью, то есть

обеспечением точности смысловой информации при различных аку-

стических помехах и искажениях [5.9].

Для комплексов распознавания речи могут быть отмечены, по

крайней мере, два механизма решения этой проблемы:

 Использование нескольких параллельно работающих спосо-

бов выделения одних и тех же элементов речевого сигнала. Приме-

ром может служить параллельное использование акустических при-

знаков для идентификации фонетических элементов речевой струк-

туры.

 Параллельное независимое использование сегментного (фо-

немного) и целостного восприятия слов в потоке речи.

Параллельное вычисление одних и тех же функций по разным

алгоритмам широко применяется в различных управляющих вычис-

лительных системах, требующих высокой надежности функциониро-

вания, так на некоторых атомных электростанциях в параллель рабо-

тает до пяти процессоров. Результаты их вычислений автоматически

Компьютерные методы реализации экономических … решений

142

сравниваются, и управляющее воздействие производится по величи-

не, выданной всеми или большинством процессоров. Этот подход

вполне оправдан, но он дорог в разработке и требует достаточно

сложных механизмов синхронизации.

2. Адекватность первичного описания речевого сигнала. От это-

го зависит эффективность анализа, сохранение смысловой информа-

ции, дикторонезависимость распознавания речи и т.п. Можно указать

три варианта подходов к этой проблеме:

 на основе традиционных статистических характеристик ре-

чевого сигнала [5.9];

 с использованием как акустических, так и артикулярных па-

раметров, которые порождают данный акустический сигнал [5.10];

 на основе методов квантовой теории [5.11], в ней акустиче-

ские признаки делятся на две категории. Первая категория акустиче-

ских признаков соответствует резкому изменению акустического

сигнала при небольшом изменении артикуляции, второй тип соот-

ветствует синхронному плавному изменению сигнала с изменением

артикуляции.

Возможно, лучший результат дает параллельное применение

двух или всех трех подходов.

3. Дикторонезависимость распознавания речи.

Нет необходимости доказывать важность и необходимость дик-

торонезависимости. Трудность этой задачи заключается в том, что

речевой сигнал отличается от искусственных сигналов своей слож-

ностью, неустойчивостью параметров и избыточностью. Речевые

сигналы, которые человек уверенно относит к одному и тому же об-

разу, никогда не имеют полностью идентичных параметрических

описаний.

Поэтому при распознавании слуховых образов речи различных

дикторов помимо методов акустического анализа включают ассоциа-

тивную идентификацию, восстановление слова с помощью заклю-

ченной в нем семантики и т.п.

Конечно, перечисленные проблемы не исчерпывают всех труд-

ностей, возникающих при разработке комплексов распознавания ре-

чи. Но даже они показывают, насколько эта разработка наукоемка, и

какие усилия необходимо приложить для обеспечения надежности

функционирования комплекса.

Глава 5. Некоторые математические методы, используемые …

143

5.4. Автоматический анализ текста

Анализ текстовой информации получает все большее распро-

странение в компьютерных системах управления, связанных с обра-

боткой неструктурированной информации, содержащейся в отчетах,

предложениях, различного рода обзорах и материалах, полученных в

результате преобразования речи в текст. В процессе анализа тексто-

вой информации чрезвычайно важным является семантическая обра-

ботка анализируемых текстов. Ее можно подразделить на два этапа:

1) синтаксический анализ, основанный на использовании правил

грамматики языка; 2) собственно семантическая обработка (анализ),

основанная на формальных представлениях смысла [5.12].

Анализу формальных грамматик посвящена огромная литерату-

ра. Сильный импульс развитию этого направления дали формальные

языки программирования, в особенности появление нотации Бэкуса

для описания АЛГОЛа-60 и связанные с этим подходом методы по-

строения трансляторов. Если проблему синтаксического анализа

языков программирования в процессе трансляции можно считать

решенной, то компьютерный анализ естественных языков пока пред-

ставляет значительные трудности, часть которых преодолена в суще-

ствующих системах машинного перевода. Семантический анализ

текста представляет еще большие трудности. Они связаны в первую

очередь с синонимами и омонимами естественных языков, а также с

ассоциативными связями, пронизывающими семантику языков. Тем

ни менее эти трудности также преодолеваются. Семантический ана-

лиз текста в информационно-поисковых системах строится на основе

анализа семантической сети – множества понятий (слов и словосоче-

таний), связанных между собой.

Очевидно, что нет необходимости доказывать насколько семан-

тический анализ повышает возможности компьютерных систем

управления особенно в процессе анализа информации и согласования

решений.

В автоматический анализ текста входят:

 Перевод с одного языка на другой. Этот процесс получил

достаточную известность и, несмотря на невысокий уровень перево-

да, широко применяется.

Компьютерные методы реализации экономических … решений

144

Одной из ведущих отечественных компаний в области машин-

ного перевода является компания ПРОМТ. Алгоритмы перевода

ПРОМТ основаны на описании грамматики в виде расширенных се-

тей переходов (Augmented Transition Network Crammer), с использо-

ванием словарей, хранящихся в лингвистической базе данных. Ос-

новными компонентами программной системы перевода являются:

 языково-независимый препроцессор;

 языково-независимый блок нормализации текста;

 языково-зависимый (от входного языка) блок лексиче-

ского анализа;

 языково-зависимый (от входного языка) блок семанти-

ко-лексического разбора;

 блок transfer, зависящий как от входного, так и выход-

ного языков;

 блок синтеза, зависящий от выходного языка.

Лингвистическая база данных имеет трехуровневую структуру:

генеральный словарь; специализированные словари; словари, разра-

ботанные пользователем самостоятельно. Такая структура позволяет

легко настраивать систему на работу в различных предметных облас-

тях [5.13]

 Классификация текста – процесс, в котором используются

статистические корреляции для определения принадлежности доку-

ментов к заранее созданным классам. Для этого разрабатывается

формальная модель представления текстовых документов и собст-

венно алгоритм многотемной классификации, т.е. классификации в

условиях перекрывающихся классов документов, когда любой доку-

мент может принадлежать одновременно нескольким классам доку-

ментов. Часто используется векторная модель представления доку-

мента с фиксированной длиной вектора n, где n – число признаков, а

i-ая компонента вектора определяется вес i-го признака. В [5.14]

предложено выделять часто встречающиеся комбинации символов,

определяются минимальная частота учитываемых комбинаций и

максимальное число символов в них. Таким образом, создается мно-

гомерное пространство комбинаций. Вес каждой комбинации опре-

деляется как нормированная частота встраиваемости признака в до-

кументе:

Глава 5. Некоторые математические методы, используемые …

145





где f

– частота встречаемости i-го признака в документе, n – количе-

ство непустых признаков в документе.

В задаче многотемной классификации задается обучающая со-

вокупность

 

yxZ



, в которой для каждого примера документа

задано множество релевантных классов y

. Для любого заданного x,

описанного вектором α, обучаемая система в простейшем случае вы-

числяет апостериорные вероятности принадлежности классам:

xPxP

)}({)(



)()( xjyPxP







1)(

где q – число релевантных классов.

В зависимости от значения вероятности обученная система бу-

дет относить анализируемый документ x к тому или иному классу.

Естественно в реальных системах условия принадлежности докумен-

та классу могут быть усложнены, например, за счет учета гиперссы-

лок, а правила вычисления вероятности и их учет при классификации

документов могут определяться значительно более сложными алго-

ритмами.

 Кластеризация – программные методы группировки доку-

ментов, основанные на применении лингвистических и математиче-

ских методов на определенные предварительно фиксированные кате-

гории. Термин «кластерный анализ» впервые был введен в 1939г.

Его целью является организация получаемых данных (фактов, доку-

ментов, процессов и т.п.) в наглядные структуры. Процесс кластер-

ного анализа включает следующие этапы.

1. Определение набора документов, подлежащих анализу.

2. Определение границ или других характеристик определяю-

щих кластер. Для определения близости документов они часто опи-

сываются векторами, характеризующими документ. В качестве меры

близости векторов могут быть выбраны:

Компьютерные методы реализации экономических … решений

146

 обычное Евклидово расстояние





yxyx

)(),(

;

 расстояние Чебышева

yxyx  max),(

, которое мо-

жет быть использовано, когда хотят различить объекты по какой-

либо одной координате, максимально отличающих их друг от друга;

 расстояние по уровню «несогласия»





yxyx ),(),(

где











Этот метод может быть использован, когда хотят различать чис-

ло несовпадающих (или совпадающих) элементов векторов.

3. Разбиение документов на кластеры. В качестве примера

приведем один из наиболее простых методов – метод K ближайших

соседей. Определяется расстояние между новым документом, пред-

ставленным вектором характеристик, и K ближайшими соседями.

Расстояние может быть определено с помощью одной из рассмот-

ренных выше мер. Затем определяется, к какому кластеру принадле-

жит большинство из K ближайших документов. К этому кластеру

относят и вновь введенный документ.

4. Построение иерархии кластеров. Большинство методов кла-

стеризации (иерархической группировки) являются агломеративны-

ми (объединительными). Они начинают с создания элементарных

кластеров, каждый из которых состоит ровно из одного исходного

наблюдения (одной точки), а на каждом последующем шаге проис-

ходит объединение двух наиболее близких кластеров в один. Момент

остановки этого процесса может задаваться экспертом (например,

указанием требуемого числа кластеров или максимального расстоя-

ния, при котором допустимо объединение). Графическое изображе-

ние процесса объединения кластеров может быть получено с помо-

щью дендрограммы – дерева объединения кластеров. Существуют и

другие методы кластерного анализа – дивизивные (разделительные),

с их помощью пытаются разбивать имеющееся множество объектов

на кластеры непосредственно.

Первый этап осуществляется автоматически, если определен по-

ток анализируемых документов.

Глава 5. Некоторые математические методы, используемые …

147

Второй этап требует вмешательства эксперта, третий и четвер-

тый этапы осуществляются автоматически. Кластеризация широко

применяется при реферировании больших документальных масси-

вов, для упрощения визуализации информации, выявления дублика-

тов или близких по содержанию документов.

 Аннотирование текста, в котором используется два ос-

новных подхода: извлечение наиболее важных фрагментов (обычно

предложений) из исходного текста на основе формальных методов

оценок и переформирование исходного текста на основе предвари-

тельно разработанных тезаурусов.

5.5. Определение эффективности реализации процесса

распознавания образов

Определение эффективности управляемого процесса (правиль-

ности сформулированной цели, реализующей его стратегии, дейст-

венности оперативных воздействий) – одна из важнейших задач ди-

намики управления. Для ее оценки применяются различные методы.

Ниже показана идея метода, которая будет использоваться в после-

дующих главах, в которых будут приведены многочисленные приме-

ры.

Суть метода заключается в том, что распознающая система со-

поставляет поступающую на ее вход информацию, представленную

признаками (параметрами) о реализации управляемого процесса или

объекта с априорными характеристиками классов эффективности

этой деятельности, хранящимися в базе данных системы. В результа-

те сопоставления каждый анализируемый вид деятельности относит-

ся компьютерной системой к одному из классов, эффективности. В

нашем случае процесс распознавания заключается в определении

класса адекватности реализуемой цели, стратегии или управляющего

воздействия сложившейся обстановке. Предполагается, что множе-

ство классов и их характеристики заданы.

Достоверность результатов распознавания определяется не толь-

ко точностью входных данных, но и обоснованностью выбора крите-

риев, шкал их значений и «весов», алгоритмов распознавания и т.п.

Эта обоснованность достигается экспертами и руководителями со-

Компьютерные методы реализации экономических … решений

148

гласованием с помощью компьютерных технологий всех параметров

используемых подсистемой распознавания.

Процедура распознавания рассматривается в следующей после-

довательности: разбиение пространства значения критериев на об-

ласти, соответствующие состояниям управляемого процесса или

объекта, определение принадлежности управляемого процесса или

объекта тому или другому классу, разбиение критериального про-

странства на возможные классы.

Разбиение пространства значения критериев на области, соот-

ветствующие состояниям управляемого процесса или объекта.

Пусть в априорном словаре признаков (характеристик) содержится

упорядоченный набор параметров, характеризующий процесс. При-

знаки x

, …, x

, характеризующие процесс, можно рассматривать как

составляющие вектора

)x,...,x(x



, описывающего априорное

пространство признаков размерности n системы распознавания. Ка-

ждая точка этого пространства представляет собой возможные зна-

чения характеристик распознаваемой цели, стратегии или оператив-

ного воздействия.

Производится их разбиение на классы W

, …, W

. . Строятся раз-

деляющие функции F

,…,x

), обладающие следующими свойством:

если процесс, характеризуемый значениями критериев x

,…,x

, от-

носится к классу W

, то величина F

,…,x

) должна быть макси-

мальной. Тогда в пространстве значений критериев решающая гра-

ница разбиений, соответствующих рангам сообщений W

, выражает-

ся уравнением [5.15]:

.0)()(  xFxF

Определение принадлежности управляемого процесса или объ-

екта данному классу. Если выбранная мера близости L данного про-

цесса w с каким-либо эталонным вектором W

m,q 1

превышает

меру его близости с другими классами, то компьютерная система

принимает решение о принадлежности этого процесса классу W

, т.е.

Ww 

, если

)W,w(extrL)W,w(L



m,i 1

qi 

Для определения меры близости между процессами в N-мерном

векторном пространстве значений критериев вводится метрика, удов-

летворяющая обычным аксиомам расстояний: среднеквадратичное

Глава 5. Некоторые математические методы, используемые …

149

расстояние между распознаваемым процессом и эталонными векто-

рами характеристик классов процессов.







xxkWWL

)(),(

где K

– «вес» j-го критерия.

Разбиение критериального пространства на возможные клас-

сы. Опыт решения задач распознавания показывает, что основная

информация заключена не в отдельных признаках (значениях крите-

риев), а в их различных сочетаниях. Так, как не всегда известно, ка-

кие именно сочетания информативны, то степень похожести страте-

гий вычисляется не последовательным сопоставлением отдельных

значений критериев, а сопоставлением их сочетаний, входящих в

описание, в нашем случае, управляемого процесса или объекта.

Предлагается следующая эвристика, использующая специфику

задачи. Поскольку в большинстве случаев, особенно при информа-

ционном управлении, проведение практических экспериментов, так-

же как и получение статистических данных, невозможно (условия

реализации процесса постоянно меняются), используются субъек-

тивные экспертные критериальные оценки реализуемого процесса и

на основе этих оценок определить к какому классу относится анали-

зируемый процесс.

Каждый класс процесса w

опишем вектором оценок критериев

)x(w

. Эту задачу решает эксперт на этапе инициализации системы

поддержки принятия решений. Для этого система генерирует упоря-

доченную таблицу W

, содержащую векторы

Nixw

,1),( 

, заданные

экспертами. Первым в этой таблице стоит вектор «идеального» про-

цесса, вектор значений критериев которого содержит самые высокие

оценки, а последний вектор значений состоит только из самых низ-

ких оценок – «самый плохой» вариант процесса. Эта таблица разби-

вает критериальное пространство на возможные классы процессов.

При генерации этой таблицы очередной записываемый в табли-

цу вектор

),(xw

характеризующий процесс w

, сравнивается пооче-

редно со всеми уже записанными в таблицу векторами

)x(w

и на-

ходится такой, для которого:

Компьютерные методы реализации экономических … решений

150

))(),((min))()((

)(

xwxwxwxw

Wxw







, (5.6)







jik

xxkxwxw

)())()((

где k

– «вес» j-го критерия,

– значения элементов i-го и k-го

векторов j-го критерия, W

– множество векторов эталонных значе-

ний в каждом классе. Пример множества W

показан в табл. 5.2.

Вектор

)(xw

заносится в упорядоченное множество W

векто-

ров таблицы на место, следующее за вектором

)(xw

, удовлетво-

ряющим условию (5.6).

В литературе описано большое число эффективных методов по-

строения гиперплоскостей, использующих сложный математический

аппарат. Они требуют информации, в нашем случае, как правило,

неизвестной. Поэтому предлагаются два подхода, основанные на

сравнительно простых способах измерения меры сходства, заданной

расстоянием между парами векторов

)(

)(xw

 подход, базирующийся на гипотезе о равномерном распре-

делении множества векторов таблицы

)(xW

и равномерном числе

векторов в каждом классе процессов. Недостаток этого подхода –

оторванность от оценки руководителем полученного разбиения мно-

жества векторов таблицы

)x(W

на классы, основанные на его се-

мантических оценках их границ.

 подход, основанный на семантических, содержательных

оценках руководителей и экспертов граничных векторов классов.

Эти оценки должны определять диапазоны вариации критериальных

оценок каждого класса.

После создания таблицы W

становится возможным распознава-

ние системой класса реализуемого процесса.

Эксперты разделяют все критериальное пространство на классы

успешности реализации управляемого процесса. Для нашего примера

в табл. 5.2 оно разбито на три класса. Значение критериев в эталон-

ных векторах определяется экспертами и согласовывается с помо-

щью компьютерной системы.