Голицына О.Л., Максимов Н.В. Информационные системы

Подождите немного. Документ загружается.

171

5.4.2. Семантическая сила дескрипторных ИПЯ

Приведенные примеры показывают, что для существенного повы-

шения качества информационного поиска, основанного на применении

координатного индексирования, необходимо:

1) устранение синонимии, полисемии и омонимии ключевых слов,

используемых в качестве лексических единиц ИПЯ;

2) построение специальных словарей, таблиц или схем, в которых

бы эксплицитно были выражены наиболее существенные парадигмати-

ческие связи между ключевыми словами;

3) разработка для дескрипторного ИПЯ такого синтаксиса, кото-

рый бы позволял использовать при построении поисковых образов до-

кументов и поисковых предписаний не только простую координацию

дескрипторов, но и более сильные синтагматические связи.

Первая задача относится к области семантики, т. е. к аспекту отно-

шений слов к предметам и явлениям, которые они обозначают, а вторая

задача — к области отношений между предметами и явлениями, обозна-

чаемыми словами. Совокупность методов и средств, применяемых для

решения этих двух задач, называется контролем за словарным составом

ИПЯ. Благодаря введению такого контроля обеспечивается использова-

ние одинаковых ключевых слов для координатного индексирования

одинаковых по смысловому содержанию документов и информацион-

ных запросов.

Контроль за ключевыми словами, которые используются для ко-

ординатного индексирования документов и информационных запросов,

может иметь разные степени. При нулевом или минимальном контроле

для координатного индексирования документа или информационного

запроса ключевые слова выбираются непосредственно из текста доку-

мента без учета того, какие ключевые слова уже использовались ранее

для индексирования таких же или близких по смыслу документов и ин-

формационных запросов. В этом случае не устраняется синонимия, по-

лисемия и омонимия ключевых слов, а их грамматические формы даже

не приводятся к нормальному виду. Такой подход применяется в реаль-

ных ИПС при координатном индексировании документов. Индексиро-

вание информационных запросов в этом случае должно проводиться

весьма тщательно и с избыточностью, необходимой для нейтрализации

отрицательных явлений, которые порождаются отсутствием словарного

контроля при индексировании документов.

При полном контроле за словарным составом ИПЯ разрешено ис-

пользовать для координатного индексирования документов и информа-

ционных запросов лишь дескрипторы, т. е. такие ключевые слова, кото-

рые содержатся в некотором нормативном списке (например, в тезауру-

се). В таком списке или словаре полностью устранены синонимия, поли-

172

семия и омонимия ключевых слов, а также обозначены определенные

парадигматические связи между ними.

На самом деле, на разных этапах работы ИПС - при вводе доку-

ментов в систему (т. е. при индексировании документов) или при фор-

мулировании поисковых предписаний – требуется свой словарный кон-

троль. Еще Г. П. Лун высказывался за минимальный словарный кон-

троль при вводе документов в ИПС. Он писал: «Чрезмерное редактиро-

вание явно увеличивает вероятность влияния сегодняшних интересов,

опыта и точек зрения. Вследствие этого полезность системы уменьшит-

ся, если изменятся задачи и интересы. Поэтому кажется очевидным, что

чем меньше информация систематизируется и сокращается при вводе,

тем больше она будет поддаваться динамической интерпретации при ее

выводе» [Luhn1957].

В целях дальнейшего рассмотрения основных методов и средств,

применяемых для контроля за словарным составом дескрипторного язы-

ка, а также для выражения синтагматических отношений между деск-

рипторами в поисковых образах документов и в поисковых предписани-

ях, уточним термины «дескриптор» и «дескрипторный язык».

Дескрипторы — это предназначенные для координатного ин-

дексирования документов и информационных запросов нормативные

ключевые слова, которые по определенным правилам отобраны из ос-

новного словарного состава того или иного естественного языка и у ко-

торых искусственно (при помощи соответствующих отсылок и помет)

устранены синонимия, полисемия и омонимия.

Дескрипторным языком называется специальный ИПЯ, словарный

состав которого состоит из дескрипторов, а грамматика — по крайней

мере, из способа построения поисковых образов документов и поиско-

вых предписаний путем координации соответствующих дескрипторов.

В [Михайлов1968] приводится история возникновения идеи коор-

динатного индексирования. В сообщении, сделанном на конференции по

проблемам применения классификаций для информационного поиска

(Великобритания, 1957 г.), Б. Виккери отмечал, что координатное индек-

сирование (с инвертированной организацией картотеки), по-видимому,

применялось еще в Шумере около трех тыс. лет назад, о чем свидетель-

ствуют найденные глиняные таблички, каждая из которых отведена для

какого-либо симптома болезни. На табличке перечислялись названия

всех болезней, для которых характерен этот симптом. Очевидно, что ес-

ли по обнаруженным у больного симптомам подобрать соответствую-

щие таблички, а затем определить, название какой болезни содержится

на каждой из них, то это и будет вероятное заболевание, которым стра-

дает данный больной. Эти таблички можно считать прообразом совре-

менных диагностических машин.

Принцип координатного индексирования, по-видимому, был из-

вестен и американскому орнитологу Г. Тейлору, который в 1915 г. полу-

чил патент на суперпозиционные (просветные) перфокарты. В геологии

173

этот принцип (в сочетании с суперпозиционными перфокартами) приме-

няется с 1920 г. в системах для идентификации минералов. В 1923 г.

француз А. Либё предложил использовать координатное индексирова-

ние (также в сочетании с суперпозиционными перфокартами) для поиска

в картотеке персонала лиц, обладающих заданным сочетанием характе-

ристик.

Первым (или, по крайней мере, одним из первых), кто применил

метод координатного индексирования для информационного поиска,

был У. Баттен, когда в 1939 г. создавал для английского концерна «Им-

периал кемикл индастриз, лтд» поисковую систему для патентов. Эта

система была реализована на суперпозиционных перфокартах. У. Баттен

пишет, что идея координатного индексирования у него возникла тогда,

«когда он тщательно изучал два списка патентов, один из которых отно-

сился к предмету А, а другой — к предмету В, с целью выбрать из них

патенты, относящиеся к сочетанию предметов А и В».

В 1947 г. американский математик К. Муэрс разработал и запа-

тентовал систему механизированного поиска документов, основанную

на использовании идеи координатного индексирования. Созданную им

ИПС К. Муэрс назвал Системой зато-кодирования (по имени организо-

ванной и возглавляемой им консультативной фирмы «Затор ко.»). Для

реализации этой ИПС были созданы особые карты с вырезками вдоль

краев, названные «зато-картами», а также специальный селектор. Запись

характеристик на таких картах проводилась по суперпозиционному коду

(с использованием случайных чисел), который был разработан К. Муэр-

сом и назван «зато-кодированием».

Необходимо отметить, что именно К. Муэрс в 1950 г. ввел для

обозначения лексических единиц ИПЯ, применяемого в его поисковой

системе, термин «дескриптор». Им были введены также термины «ин-

формационный поиск» (information retrieval), «информационно-

поисковая система» (information retrieval system), «информационно-

поисковый язык» (retrieval language), «дескрипторный словарь» (descrip-

tor dictionary), «поисковый образ» (tally) и другие термины, которые в

настоящее время широко используются в области информационного по-

иска.

Исключительно большой вклад в теоретическое обоснование, раз-

витие и пропаганду идей координатного индексирования внес американ-

ский логик М. Таубе, который в 1951 г. разработал так называемую сис-

тему унитермов, получившую широкое практическое применение. Ос-

новное отличие системы унитермов М. Таубе от системы зато-

кодирования К. Мауэрса заключается в том, что в первой мы имеем дело

со словами, выражающими понятия, а во второй — с понятиями, выра-

женными словами. Обе эти системы послужили основой для разработки

современных дескрипторных языков.

Унитерм (uniterm) М. Таубе — это ключевое слово (как правило,

простое), которое может быть снабжено соответствующей отсылкой или

174

пояснительной пометой, устраняющей его синонимию, полисемию и

омонимию. Унитермы не имеют никаких помет, которые бы обозначали

парадигматические связи между ними. В качестве унитермов могут ис-

пользоваться имена собственные, географические и фирменные назва-

ния и т. д.

Для сравнительной оценки семантической силы разных ИПЯ рас-

смотрим особенности словарного состава (лексики) таких языков.

Существуют ИПЯ, в которых словосочетания и фразы, выражаю-

щие сложные понятия (т. е. состоящие из двух и более простых поня-

тий), заданы в словаре наряду со словами, выражающими простые поня-

тия. Это означает, что в таких словосочетаниях или фразах образующие

их слова связаны координатной (соподчинительной) или какой-либо

иной связью до процесса индексирования. ИПЯ такого типа называются

предкоординированными (pre-coordinate). Словарный состав предкоор-

динированных языков в какой-то мере напоминает двуязычные разго-

ворники, в которых заранее составлены наиболее употребительные, с

точки зрения составителей, фразы. К предкоординированным языкам

относятся, например, как перечислительные, так и аналитико-

синтетические классификации.

Когда применяется предкоординированный язык, то для обозначе-

ния основного смыслового содержания документов можно использовать

только отдельные, никак не связываемые между собой слова, словосоче-

тания и фразы, взятые из словарного состава данного языка. Таким обра-

зом, проводится классификация документов, т. е. их отнесение к клас-

сам, обозначенным лексическими единицами этого языка. Семантиче-

ская сила предкоординированного языка

определяется главным образом

тем, насколько тщательно и исчерпывающе разработана его лексика.

При составлении словаря для такого языка, которое проводится до его

использования, недостаточно учесть лишь специфику информационных

запросов прошлого и настоящего. Необходимо также предвидеть изме-

нения информационных потребностей в будущем. Это очень трудная за-

дача, удовлетворительное решение которой едва ли возможно. Таким

образом, предкоординированным языкам органически присуща недоста-

точность словарного состава, а, следовательно, и небольшая семантиче-

ская сила.

Другой тип ИПЯ — это такие, в которых лексические единицы

(термины, слова) объединяются в «предложения» (поисковые образы)

лишь во время индексирования документов или даже в процессе их по-

иска. Такие ИПЯ называются посткоординируемыми (post-coordinate).

До индексирования лексические единицы посткоординируемых языков

не связаны никакими синтагматическими отношениями. Можно провес-

ти определенную аналогию между посткоординируемыми языками и

алфавитом любого естественного языка. В естественном языке соедине-

ние букв в слова производится лишь в процессе письма, а до этого буквы

никак не связаны одна с другой. Точно так же из сравнительно неболь-

175

шого числа лексических единиц посткоординируемого языка можно по-

строить «предложение» (поисковый образ), выражающее практически

любой смысл. Очевидно, что такие языки будут семантически более

сильными, чем предкоординируемые. На рис. 5.6 приведена типология

ИПЯ с точки зрения их семантической силы.

ИПЯ

Предкоордини-

руемые

Посткоордини-

руемые

Перечислитель-

ные классифи-

кации

Аналитико-

синтетические

кл.

Языки

дескрипторного

типа

Рис. 5.6. типология ИПЯ с точки зрения семантической силы

Еще раз отметим, что главная особенность классификаций состоит

в том, что их словарный состав задается в виде фиксированного списка

слов, словосочетаний и фраз. При переводе текста, выражающего основ-

ное смысловое содержание документа или информационного запроса с

естественного языка на предкоординируемый язык

можно пользоваться

только словами, словосочетаниями и фразами, содержащимися в фикси-

рованном списке. Введение новых лексических единиц строго ограниче-

но; оно возможно лишь до индексирования документов, т. е. при созда-

нии языка. Поэтому классификации не обладают такой «семантической

силой», которая необходима для эффективного информационного поис-

ка по запросам любого типа.

Соответственно, основные трудности информационного поиска

возникают вследствие того, что процессы индексирования документов и

их поиска разделены во времени, причем иногда весьма значительно.

Если бы можно было заранее предвидеть все варианты информационных

запросов, которые могут возникнуть у потребителей информации, то

документы можно было бы адекватно заиндексировать, по-видимому,

средствами любого ИПЯ, хотя для этого, возможно, пришлось бы в

необходимой степени расширить основной словарный состав

классификации. Но такое условие не выполнимо в принципе, т.к.

специфика информационных запросов зависит от развития науки и

техники, от изменяющихся научных интересов потребителей

информации, их индивидуальных особенностей и т. д. и определяется

факторами, которые фактически не поддаются учету и предвидению.

176

5.5. Терминологические структуры

В большинстве информационных систем помимо ИПЯ на этапах

индексирования и поиска документов применяются различные средства,

имеющие лингвистическую природу, например, тематические рубрика-

торы, тезаурусы, словари как информативных, так и неинформативных

лексических единиц, словари синонимов, словари словосочетаний и т.п.

Организационная типология терминологических структур, приве-

денная на рис. 5.1, тесно связана с типологией по семантическому при-

знаку. С точки зрения семантики словоупотребления терминологические

структуры могут быть разделены на семантически упорядоченные и се-

мантически неупорядоченные. При этом семантически неупорядоченные

терминологические структуры всегда имеют линейную организацию, а

семантически упорядоченные – иерархическую или сетевую организа-

цию.

Терминологические структу-

ры

Семантически

упорядоченные

Семантически

неупорядоченные

С парадигматиче-

скими связями

С синтагматиче-

скими связями

Положительные

словари

Отрицательные

словари

Отно-

шения

иерар-

хии

Ассо-

циатив-

ные от-

ноше-

ния

Отно-

шения

эквива-

лентно-

сти

Классификацион-

ные таблицы

Морфо-

логиче-

ские

Слово-

сочета-

ний

Частот-

ные

Стоп-

словарь

Рубри-

катор

Тезау-

рус

Словарь синони-

мов

Рис. 5.7. Типология терминологических структур по семантическому

признаку

Семантически упорядоченные терминологические структуры от-

ражают оба типа связей, которые могут существовать между отдельны-

ми терминами – парадигматические и синтагматические. Парадигмати-

ческие связи характеризуют различные виды отношений – отношения

иерархии, ассоциативные отношения и отношения эквивалентности.

Синтагматические связи показывают логические отношения между по-

нятиями (рис. 5.7).

177

5.5.1. Линейные терминологические структуры

К линейным терминологическим структурам относятся линейные

словари различного назначения, обычно упорядоченные по лексикогра-

фическому принципу. С точки зрения своего участия в процессах индек-

сирования документов и запросов такие словари делятся на положи-

тельные и отрицательные.

Положительные словари объединяют лексику, которую можно ис-

пользовать в процессе индексирования. Отрицательные словари содер-

жат лексику, запрещенную для использования при индексировании.

Морфологические словари. Морфологические словари содержат

основы слов, аффиксы, суффиксы и окончания. Такие словари могут

быть использованы, с одной стороны, для нормализации поисковых об-

разов документов, а с другой - для нормализации лексики поисковых за-

просов.

Грамматический строй естественных языков нередко расходится

со структурой логической мышления, и поэтому при поиске информа-

ции необходимо полностью или частично исключить влияние аффиксов

и окончаний слов естественных языков.

Для этого можно предусмотреть наращивание документов всеми

потенциально возможными словоформами, которые можно составлять,

например, на базе основ слов, первоначально содержащихся в докумен-

тах. Наличие в паре «документ - запрос» словоформ, совпадающих с

точностью до общности их корней, в результате такого наращивания

может привести к появлению в документе словоформы, полностью сов-

падающей со словоформой, имеющейся в запросе. Такое наращивание

снимало бы различие употреблений словоформ в документах и запросах.

Другой технологический вариант, позволяющий снимать различие

употреблений словоформ, состоит в использовании кодирования слов.

Сущность метода автоматического кодирования слов с помощью

наперед заданных словарей аффиксов и окончаний заключается в авто-

матической проверке на наличие в словах естественных языков элемен-

тов, вошедших в наперед заданные (составленные экспертами-

лингвистами) словари аффиксов и окончаний, и отсечении их, если они

имеются.

От качества составления словарей аффиксов и окончаний в значи-

тельной мере зависит качество автоматического кодирования слов есте-

ственных языков, а, следовательно, и функциональная эффективность

ИПС в целом. Ошибки могут быть следствием такого алгоритма, когда

после включения очередной морфемы в словарь, она отсекается из всех

слов естественно-языкового употребления в базе данных, независимо от

того, является ли для конкретно рассматриваемого слова морфемой или

частью корня.

178

Словарь словосочетаний. Такой словарь используется для опреде-

ления наиболее часто встречающихся устойчивых комбинаций слов.

Словарь словосочетаний повышает эффективность анализа содержания,

выделяя для идентификации содержания однозначные словосочетания

вместо множества в общем случае неоднозначных слов (например, пара

отдельных терминов «программа» и «язык» является менее определен-

ной, чем словосочетание «язык программирования»).

Лингвистической особенностью словаря является то, что тер-

мины – одиночные слова зачастую не выражают никакого смысла,

являясь только составной частью словосочетания.

Основываясь на том, что наиболее информативными терминами

являются термины-словосочетания, наиболее правомерно использовать

именно их для составления поискового запроса.

Например, количественный анализ ключевых слов, которые были

использованы при индексировании документов БД ВИНИТИ РАН «Ин-

форматика» за период с 1986-2000 гг., по следующим рубрикам Рубри-

катора ВИНИТИ РАН: 201.23.15 «Информационно-поисковые языки»,

201.23.01 «Информационный поиск, общие вопросы», 201.01.04 «Ин-

форматизация общества, информационная политика», показал лиди-

рующую роль словосочетаний при индексировании (см. табл. 5.3).

Таблица 5.3.

Рубрика

Кол-во док-

тов

Общее ко-

личество

терминов

Слов Словосоче-

таний

% словосо-

четаний

201.23.15 868 1645 455 1190 72,34

201.23.01 1040 1867 445 1422 76,16

201.01.04 1475 2016 453 1563 77,52

Частотный словарь. Частотный словарь – перечень дескрипторов

и ключевых слов. Термины располагаются в алфавитном порядке, либо в

порядке убывания (возрастания) частоты использования их в информа-

ционном массиве.

Частотная характеристика термина показывает количество доку-

ментов информационного массива, в которых термин встретился хотя

бы один раз. Частота встречаемости ориентирует пользователя в лексике

информационного массива с точки зрения включения какого-либо тер-

мина в поисковый запрос.

Рассмотрим, например, фрагмент частотного словаря ретроспек-

тивной реферативной БД «Информатика» (1986-2002 гг):

51 ИНФОРМАЦИОННАЯ ГРАМОТНОСТЬ

1 ИНФОРМАЦИОННАЯ ГРАНИЦА ВСЕЛЕННОЙ

1 ИНФОРМАЦИОННАЯ ДЕМОКРАТИЯ

179

1563 ИНФОРМАЦИОННАЯ ДЕЯТЕЛЬНОСТЬ

2 ИНФОРМАЦИОННАЯ ДИАГНОСТИКА

2 ИНФОРМАЦИОННАЯ ДОКТРИНА

1 ИНФОРМАЦИОННАЯ ДОКУМЕНТАЦИЯ

Из приведенного примера следует нецелесообразность использо-

вания в поисковых запросах ключевого слова

информационная деятель-

ность

без соответствующих уточнений о видах такой деятельности (на-

пример,

информационная деятельность и лингвистика).

Словарь отрицаний. Словарь отрицаний («стоп-слов») содержит

термины, которые признаны не информативными для данной предмет-

ной области. Использование их запрещается для индексирования содер-

жания документов. Например, термины «исследование», «вопросы»,

«требования», «проблемы» и др. являются политематическими и удаля-

ются из поисковых образов документов и запросов.

Словарь стоп-слов может использоваться как при построении час-

тотных словарей, так и при разборе выражения информационной по-

требности на ИПЯ. Запрещенные термины не заносятся в словарь. Таким

образом, неинформативные термины автоматически исключаются из

поискового процесса.

5.5.2. Иерархические терминологические структуры

Иерархическая организация терминов или понятий, подобная схе-

ме библиотечной классификации, позволяет для данного входа словаря

найти более широкое понятие, перемещаясь вверх по схеме, или более

узкое, перемещаясь вниз по схеме. Иерархические терминологические

структуры отражают отношения «род-вид» или «часть-целое».

Указатель иерархических отношений терминов может быть создан

только после решения проблемы классификации понятий. Он разраба-

тывается на основе классификационных схем понятий, поскольку фак-

тически в иерархическом указателе находят отражение иерархические

цепочки подчинения понятий, зафиксированные в классификационных

схемах. В качестве основных входов этого указателя выбираются те за-

главные термины, которые не имеют родовых дескрипторов (т. е. стоят

на верхней ступени иерархического дерева) [Белоозеров2001].

Иерархические классификационные структуры. К таким структу-

рам относятся различные рубрикаторы и классификаторы, фиксирую-

щие подчинение терминов в определенной предметной области (напри-

мер, рассмотренный ранее рубрикатор ГРНТИ, рубрикатор ВИНИТИ и

др.)

На рис. 5.8 приведен фрагмент Рубрикатора ВИНИТИ для заглав-

ной рубрики «201 Информатика». Рубрикатор ВИНИТИ является ло-

кальным (отраслевым) по отношению к Государственному рубрикатору

180

НТИ и отличается большей детализацией рубрик с развитием на глубину

до восьмого уровня.

201.01 Общие вопросы информатики

201.01.04 Информатизация общества. Информационная политика

201.01.07 Теория и методология информатики

201.01.07.03 Предмет и объекты исследования информатики

201.01.07.03.03 Информация как знание

201.01.07.03.07 Научная коммуникация

201.01.07.03.11 Информационная деятельность

201.01.07.06 Методы информатики

201.01.07.06.03 Наукометрический анализ

201.01.07.06.05 Семиотический подход

201.01.07.06.07 Кластерный анализ

201.01.07.06.09 Теория информации

201.01.07.06.11 Эвристические методы

201.01.07.06.13 Системный подход

201.01.07.06.15 Моделирование

201.01.07.06.99 Другие методы

201.01.07.08 Проблемы информатики

201.01.07.08.03 Взаимосвязи данных, информации и знания

201.01.07.08.05 Представление знаний

201.01.07.08.07 Разработка классификаций

Рис. 5.8. Фрагмент Рубрикатора ВИНИТИ

Словарь синонимов

. Словарь синонимов, который для каждого

входа словаря определяет одну или больше синонимичных категорий,

также с точки зрения своей структуры может быть отнесен к иерархиче-

ской организации терминов. Такие словари широко используются при

индексировании, а также позволяют искать не только по запрошенному

слову, но и по его синонимам.

Ниже приведен фрагмент словаря синонимов для области «Ин-

форматика».

…

ЭФФЕКТИВНОСТЬ ПОИСКА

информационная эффективность

техническая эффективность

эффективность информационного поиска

ЮНИСИСТ

Всемирная система научной и технической информации

ЮРИДИЧЕСКАЯ ДЕЯТЕЛЬНОСТЬ

юридическая практика

ЮРИСПРУДЕНЦИЯ

право

правоведение

юридические аспекты