Гайдамакин Н.А. Автоматизированные информационные системы, базы и банки данных. Вводный курс Учебное пособие

Подождите немного. Документ загружается.

6.2. Информационно-поисковые каталоги

тезаурус ы

Ас

Ве!

ЬЕ

Ь§АсВ§1

В§1;

Ь§Асит.

д.

Однако такой подход не

всегда

полностью решает пробле-

му, так как комбинаций по перестановкам может быть очень

много, что, в свою

очерецъ,

утяэ1селяет

иуслоэ/сияет

поиск.

Другим подходом является, напротив,

Э1сесткаярегламента-

ция порядка излоэюепия фасет, что в определенной степени ори-

ентирует первоначальное внимание пользователя на тех фасе-

тах, информация по которым интересует его в большей степе-

ни.

Сильной стороной фасетной классификации является бо-

лее глубокое, чем при иерархической классификации, исполь-

зование семантики. Фасеты, как уже отмечалось, отражают оп-

ределенные семантические основы предметной области ИПС,

содержащие помимо родо-видовых и некоторые прочие семан-

тические, в частности ролевые,

отношения".

Рядом исследова-

телей предлагались универсальные или специализированные

фасетные классификации («Индивидуальность», «Материя»,

«Энергия», «Пространство» и «Время» — Ранганатан; «Пред-

мет в целом», «Вид», «Часть», «Материал», «Свойство», «Про-

цессы», «Операции»,

«Факторы»

— Миллз). Поэтому, в отли-

чие от перечислительной и иерархической классификации, для

разработки фасетной классификации предметной области све-

дений конкретной ИПС используются те же методологические

подходы, что

при разработке информационно-логических схем

предметных областей фактографических систем (выделение

основных фрагментов-сущностей, анализ отношений между

ними

т. д.).

Специ;ц1ьные

указатели типа «Объект (субъект) действия», «Инструмент (сред-

ство) действия».

251

Документальные

информационные

системы

6.2.2. Координация понятий

в классификационных системах

Еще одним аспектом развития систем классификации и

поиска документов является координация понятий (классов,

рубрик), выражающаяся в использовании различных операций

над совокупностью понятий при индексировании документов

или при поиске документов (см. рис. 6.3). При этом выделяют

два направления — использование только логических операций^'*

(объединение, пересечение, дополнение, включение) и исполь-

зование определенной грамматики

понятий^^,

классов, рубрик

в рамках определенного семантического языка.

Рассмотрим содержание простейших логических операций

в отношении классификационных понятий. Подклассом (по-

нятием) будем понимать совокупность (множество) докумен-

тов, проиндексированных кодом соответствующего класса.

Объединением классов

Хи

называется множество докумен-

тов X И У, которые проиндексированы кодом класса

Хипи

ко-

дом класса У или одновременно кодами обоих классов. Пере-

сечением

классов

•и

Уназьшается

множество документов

А'п

У,

одновременно проиндексированных классом

А'и

классом У.

Дополнением класса X классом называется множество докумен-

тов

Х'=—1X,

не проиндексированных кодом класса

Х'^.

В фор-

мальной логике операция объединения может выражаться тер-

минами «логическая сумма»

.дизъюнкция

или «операция ИЛИ»,

операция пересечения терминами «логическое произведение»,

конъюнкция, или «операция И», операция дополнения терми-

нами «логическое отрицание» или операция «НЕ».

Еще одной важной операцией является операция включе-

ния. Класс

^'является

включением класса У

—>

X, когда любой

документ, проиндексированный классом X, является одновре-

менно документом, проиндексированным классом У.

'••Точнее операций из теории множеств.

Так

нмываемые

синтагматические

отношения,

"•

В свою очередь обратно X является дополнением X'.

252

(.2.

Ииформациошю-поисковыс

каталоги и

тезаурусы

Рассмотренные операции в терминах теории множеств ил-

люстрируются на рис. 6.7.

••"••'•••

К^""-"*'

Е^у

К"

-л

•№>

.^'

|я§^ >

в*"

*.•!!

•*

,«;

А'

^ *"

>'•

'г

*ч"^-

•

{

.-,

,.'

. .

Л"

г'-'Х^^

Рис.

6.7.

Иллюстрация операций над классами

Логические операции над понятиями предоставляют воз-

можности отображения при индексировании документов и фор-

мировании запросов более

слоэюпых

и многоаспектных поня-

тий. Так, к примеру, рубрика Ас В§1

Ь§

из примера на рис. 6.6

по фасетной классификации в терминах логических операций

представляет собой пересечение трех классов — Ас п

В§1

Ь§,

соответственно. При этом использование дополнительных опе-

раций объединения (ИЛИ) и отрицания (НЕ) обеспечивает по-

строение более сложных, чем при чисто фасетной классифика-

ции, комбинаций рубрик, классов и понятий. Кроме того, опе-

рация включения дает возможность так называемого цепного

представления и описания иерархических структур каталогов,

формализуя систематизированный аспект классификаторов.

Идеи координации понятий, т. е. использования операций

над классами, активно развивались в

40-е—50-е

гг. в первых

механизированных системах организации поиска документов

(уже упоминавшиеся карты У. Баттена на основе оптического

совпадения, система «Зато-кодирования>> К. Муэрса и система

унитермов М. Тауба). При этом определилось два направления

координации понятий

—

предкоординация и посткоординация

(см. рис.

6.3).

Предкоординация понятий предусматривает использова-

ние операций над классами при индексирова/ши документов.

Иначе говоря, индекс документа представляет собой конструк-

253

6. Документальные информационные системы

цию из исходных понятий (классов) классификатора, постро-

енную на основе логических операций. В системах на основе

посткоординации

понятий логические операции над класса-

ми осуществляются при поиске документов, т. е. в процессе фор-

мирования поискового образа запроса. Технология и механизм

поиска при этом включают предварительный отбор всех доку-

ментов с индексами классов (рубрик), входящих в логическую

конструкцию запроса, с последующим осуществлением соб-

ственно логических операций над отобранными совокупностя-

ми (множествами) документов.

6.2.3. Информационно-поисковые тезаурусы

Особую роль в развитии информационно-поисковых сис-

тем сыграли работы Мортимера Тауба, разработавшего в

1951

году систему

у иитермов.

В системе Тауба содержание до-

кумента индексируется совокупностью терминов в виде одно-

словных обозначений

—

унитермов.

Например, документ по

теории информационного поиска может быть проиндексиро-

ван двумя

унитермами

— «Информационный», «Поиск». В ка-

честве унитермов чаще всего выступают элементы словаря клю-

чевых терминов по определенной предметной области.

В системе Тауба первоначально не предполагалось какой-

либо связи или отношений между унитермами и, следователь-

но, ее можно отнести к чисто дескрипторным системам. Вмес-

те

тем сразу же проявились и такие специфические проблемы

дескрипторных систем, как ложная координация понятий. Яв-

ление. ложной координации заключается в такой координации

понятий (классов, терминов), которые хотя по отдельности и

присутствуют в содержании документа, но комбинируются по

смыслу с другими понятиями (терминами-, классами). Так, на-

пример, в содержании документа, в котором речь идет об ин-

формационном обеспечении поисковых бригад при ликвида-

ции чрезвычайных происшествий и последствий стихийных

бедствий, также присутствуют в числе прочих

унитермы—«Ин-

формационный» и «Поиск», и, следовательно, он совершенно

254

6.2. Информационно-поисковые каталоги и

тезаурусы

неправильно может быть выдан на запрос по теории информа-

ционного поиска.

Другой проблемой в системах на

основе

унитермов явля-

ются

сииоиимичиость

омоиимичпость^^

некоторых терми-

нов, что приводит к неоднозначности иьщексировани я докумен-

тов. Для преодоления ложной координации и других проблем

стали вводить

составные

терлпты, указатели связи

ролей

терминов («род —• вид», «средство действия» и т. п.), заново

открывая в некотором смысле предметную иерархическую руб-

рикацию со связями, и внося тем самым в чисто дескриптор-

ную систему элементы семантики. Так появилось отдельное на-

правление информационно-поисковых систем, получившее на-

звание

тезаурусов.

Тезаурус

(с греч. «хранилище», «запас», «сокровищница»)

в узком смысле представляет собой

спсциальиьп"!

словарь-спра-

вочник, в котором перечислены ключевые слова-дескрипторы

определенной предметной области, указаны

синонимичные

им

ключевые слова, установлены способы устранения

сигюиимии,

омонимии, полисемии,

определены

родо-видовые и ассоциа-

тивные связи дескрипторов"*.

В более общем плане в тезаурусе выделяют классифика-

ционную схему и

алфавитный

перечень

дескрипторов-клю-

чевых слов. Классификационная схема

определяет

системати-

зацию дескрипторов по уровням иерархии исходя из «родо-ви-

довых» или ролевых отношений. Алфавитный перечень

содержит словарный фонд дескрипторов для индексирования

документов.

Внешним отличием информационно-поисковых тезаурусов

от информационно-поисковых

катсшогов

на основе предметной

иерархической рубрикации со связями и ролевыми отношени-

" Синонимы —

одинаковые

или близкие но смыслу слова, омонимы — слова,

одинаковые в написании и звучании, но имеющие разный смысл — ключ (в замке),

ключ (источник воды).

"Строгое

определение

ииформацио1ню-иоискового

тезауруса (//«/).1«Н11»й/Н)/(7с.то-

варь

дсскрипторного

ИПЯ

зификсироттпыми

нем

пиридигматичсскими

оптошс-

"няин/лгеа('К'(та/л'('Л»нн() приведено

гост7.74-96 СИБИД. Информационно-поис-

ковые

языки.—

М.: Изд-во стандартов, 1997.

255

Документальные

информационные системы

ями является то, что в тезаурусах помимо классификационной

схемы присутствуют сами ключевые слова и дескрипторы, объе-

диняемые под названием классов, рубрик и т. д. В каталогах же

присутствуют только лишь обозначения (названия) классов,

понятий и т. д., но не определены и нет самих ключевых терми-

нов, им соответствующих.

Главная идея информационно-поисковых тезаурусов зак-

лючается в повышении эффективности и автоматизации ин-

дексирования документов в

рсимках

дескрипторного подхода.

Иначе говоря, в системах на основе информационно-поиско-

вых тезаурусов ПОД представлен набором дескрипторов (клю-

чевых терминов). Однако в процессе индексирования докумен-

тов учитываются семантические (родо-видовые, ролевые, си-

нонимичные, омонимичные, полисемичные и ассоциативные)

отношения между дескрипторами, что, в конечном счете, обес-

печивает более адекватный содержанию ПОД и повышает эф-

фективность поиска документов (по точности, полноте и шуму).

Разработка тезаурусов и их внедрение в информационно-

поисковые системы интенсивно осуществлялись в 60-е и 70-е

годы. При этом в соответствии с тематическим профилем вы-

делились многоотрс1слевые, отрс1слевые и узкотематические

тезаурусы. Первым многоотраслевым тезаурусом за рубежом

явился «Тезаурус технических и научных терминов», вышед-

ший в декабре 1967 г. в США. В1972 г. под

редакцией

Ю. И. Ше-

макина был разработан первый отечественный многоотрасле-

вой «Тезаурус научно-технических терминов». В семидесятые

годы тезаурусы были разработаны практически для всех отрас-

лей деятельности, а также создано большое количество узкоте-

матических специализированных тезаурусов.

На основе практики разработки и использования информа-

ционно-поисковых тезаурусов были также разработаны специ-

альные представления тезаурусов, закрепленные в нашей стра-

не в соответствующих

ГОСТах".

Согласно ГОСТ

18383-73

фор-

ма представления тезауруса включает алфавитное перечисление

'ТС)СТ18383-73.Тезаурусин(|юрмационно-поисковый.

Общие

положения.

Фор-

ма представления.

256

6.2. Информационно-поисковые каталоги и

тезаурус ы

статей по

каэ/сдому

дескриптору (термину) в следующем

виде^":

РЕФЕРАТ

с резюме

в СВЕРТЫВАНИЕ ИНФОРМАЦИИ

н РЕФЕРАТ АВТОРСКИЙ

РЕФЕРАТГРАФИЧЕСКИЙ

РЕФЕРАТИНФОРМАТИВНЫЙ

РЕФЕРАТ «ТЕЛЕГРАФНОГО СТИЛЯ»

РЕФЕРАТУКАЗАТЕЛЬНЫЙ

РЕФЕРР1ЮВАНИЕ

а АННОТАЦИЯ

где в качестве буквенных обозначений выступают

следующие:

— термины-синонимы;

— термины, подчиняющие заглавный термин, т. е. выше

по иерархии;

н—термины,

подчиненные заглавному, т. е.

ниже

по иерар-

хии;

а—термины,

ассоциированные с заглавным термином.

Еще одной особеипостью тезаурусов является применяе-

мая на практике возмоэ/спость расгииреиия словарной базы но-

выми ключевыми терминами, появляющимися при накоплении

документов в ходе эксплуатации системы. В этом плане раз-

личают базовые

рабочие тезаурусы. Базовые тезаурусы выс-

тупают в качестве нормативных пособий по лексике в той или

иной отрасли знаний или предметной области. Рабочие тезау-

русы в стартовом виде строятся на основе базовых тезаурусов

и дополняются в процессе индексирования и анализа появле-

ния в документах новых или специфичных терминов (так на-

зываемые профессионализмы, иногда жаргонные термины и

т. д.). В результате возникает еще один специфический компо-

Пример позаимствован из работы: Соколов

А.В.

Ииформациоиио-поисковые

системы: Учеб. пособие для вузов/Под ред. А. Б. Рябова. — М.: Радио и связь,

1981.

257

Документальные

информационные системы

нент эксплуатации соответствующих ИПС, называемый веде-

нием тезауруса.

6.2.4. Автоматизация индексирования

документов

Важным в практическом плане аспектом информационно-

поисковых систем являются технологии, принципы и механиз-

мы индексирования документов применительно

той или иной

классификационной схеме.

Развитие теории информационного поиска документов,

создание первых механизированных информационно-поиско-

вых систем поначалу не предполагали какой-либо автоматиза-

ции (механизации) индексирования документов. Индексирова-

ние осуществлялось специально подготовленными специалис-

тами-экспертсши в предметной области ИПС, которые могли

осуществлять многоаспектный и глубокий анализ смыслового

содержания документа и относить его (индексировать) к тем

или иным классам, рубрикам, ключевым терминам. Такой под-

ход обусловливал высокие накладные расходы на создание и

ведение документальных информационно-поисковых систем,

так как требовал наличия в организационном штате высоко-

квалифицированных специалистов-индексаторов. Кроме того,

в процесс индексирования при этом вносился человеческий фак-

тор (субъективность поисковых образов одного документа,

проиндексированного разными специалистами и т. п.).

Поэтому в теории информационного поиска в 50-х-60-х го-

дах

вьщелилось

отдельное направление исследований, связан-

ное с вопросами автоматизации индексирования документов.

Идеи и начало этих исследований были инициированы появле-

нием уже упоминавшейся системы унитермов Тауба. Индекси-

рование документов набором однословных дескрипторов-тер-

минов (унитермов), имеющихся в тексте документа, позволило

снизить профессиональные требования к индексаторам и,

фигурально выражаясь, механисппщировать^' процесс индек-

сирования.

^' Иначе в некотором смысле приблизить к чисто механической работе по выяв-

лению в тексте унитермов.

258

(^2.

Ииформацноипо-поисковыс

каталоги и

тезаурус ы

С применением и все более широким использованием вы-

числительной техники в информационно-поисковых докумен-

тальных системах эти подходы трансформировались в задачи

и технологии автоматического, т. е. без участия специалис-

тов, индексирования документов.

Огромную роль в исследовании и последующем развитии

теории информационного поиска документов сыгргши резуль-

таты Креифилдского (I и II) проекта, проводившегося в конце

50-х

— начале 60-х годов Английской ассоциацией специаль-

ных библиотек и информационных бюро. В ходе эксперимен-

тальных исследований эффективности нескольких различных

по

типу информационно-поисковых систем (система на основе

УДК, фасетная система, система унитермов и некоторые их раз-

новидности), проведенных в ходе реализации Креифилдского

проекта, выявились факторы противоречивого влияния неко-

торых семантических показателей классификационных ИПС

(глубина уровней классов при индексировании, объем словар-

ной базы и др.) на полноту и точность информационного поис-

ка. Выявилась общая принципиальная закономерность — при

повышении полноты поиска на основе использования тех или

иных семантических методов при индексировании происходит

снижение точности поиска и наоборот. Еще одним «неожидан-

ным» результатом явилось небольшое отличие в показателях

эффективности поиска документов в системах с развитой се-

мантикой индексирования и в системах на основе неконтролиру-

емой лексики.

Последний результат активизировал в дальнейшем внима-

ние к более простым и менее дорогим дескрипторным систе-

мам с неконтролируемой или слабоконтролируемой лексикой

(унитермы, полнотекстовые системы), в которых на основе по-

сткоординации при обработке запросов удается достичь впол-

не приемлемых показателей полноты и точности поиска. Эти-

ми же обстоятельствами был обусловлен импульс исследова-

ниям технологий автоматического индексирования и уже на

новом уровне возродилась идея полной механизации (точнее,

уже автоматизации) индексирования документов.

259

б.

Докумс11тальв1ые

информационные

систем ы

Сформировалось два, хотя и близких, но различных по со-

держанию подхода автоматическому индексированию. Первый

подход основан на использовании словаря ключевых слов

(тер-

минов) и применяется в системах на основе информационно-

поисковых тезаурусов. Индексирование в таких системах осу-

ществляется путем последовательного автоматического поис-

ка в тексте документа каждого ключевого термина. На этой

основе строится и поддерживается индекс системы, собственно

и реализующий поисковое пространство документов.

Применяется два типа образования индекса — прямой и

инвертированный (см. рис. 6.8).

. Термины

о.,

О-г

а,

а.

С]

С2

Сз

СА

С5

Прямой

ТИП

организации

инлекс а

Номера

(названия) документов

5*1311 !

в!

«.

С)

Сг

Сз

СА

С5

а,

О-г

аз

а,

Инвертированный тип

организации

инпекс а

Рис. 6.8. Прямой

инвертированный типы организации индекса

Прямой тип индекса строится по схеме «Документ-тер-

мины». Поисковое пространство в этом случае представлено в

виде матрицы размерностью

НхМ

(Н

— количество докумен-

тов, М—количество ключевых терминов). Строки этой матри-

цы представляют поисковые образы документов.

Инвертированный тип индекса строится по обратной схе-

ме — «Термин

—документы».

Поисковое пространство соот-

ветственно представлено аналогичной матрицей только в транс-

понированной форме. Поисковыми образами документов

этом

случае являются столбцы матрицы.

260