Гайдамакин Н.А. Автоматизированные информационные системы, базы и банки данных. Вводный курс Учебное пособие

Подождите немного. Документ загружается.

6.2.

Ипформациовпю-поисковыс

каталоги

тезаурусы

На основе автоматического индексирования документов по

ключевым терминам могут решаться также и задачи автомати-

ческой классификации документов, т. е. автоматического от-

несения

документов

к тем или иным классификационным

рубрикам. Такие задачи особенно актуализировались в связи с

интенсивным развитием в 90-х годах глобальных информаци-

онных сетей, появлением «электронной» периодики, книг и ог-

ромных массивов прочей неструктурированной текстовой ин-

формации в компьютерной форме. Автоматическое распозна-

вание в больших объемах текстовой информации документов

по определенной тематике позволяет существенно снизить зат-

раты на предварительный отбор информации из внешних ис-

точников для пополнения базы документов ИПС по соответ-

ствующей предметной области. Принцип

решения

таких задач

аналогичен решению задач информационного оповещения (см.

рис. 6.2). Для

конкретного

класса документов (рубрики) стро-

ится поисковый образ, который в системах на основе индекси-

рования по ключевым терминам может быть представлен на-

бором определенных терминов или их сочетаний. Поисковые

образы документов из внешних источников сравниваются по

определенному критерию с поисковым образом

рубрики,

нна

этой основе принимается решение о внесении

докумен

ов в

базу, т. е. об отнесении содержания документа к предметной

области ИПС.

Второй подход к автоматическому индексированию приме-

няется в

полпотекстовых

системах.

процессе

индексирова-

ния «на учет», т. е. в индекс заносится информация обо всех

словах текста документа (отсюда, как уже

отмечалось,

и назва-

ние «полнотекстовые»). Более подробно

особенности

полно-

текстового индексирования рассматриваются в следующем па-

раграфе.

261

6. Документальные информационные системы

6.3. Полнотекстовые информационно-

поисковые системы

Процессы массовой компьютеризации и информатизации

деятельности предприятий, организаций в конце 80-х и в 90-х

годах привели к накоплению огромных массивов неструктури-

рованной текстовой компьютерной информации, с одной сто-

роны, и доступности (всеобщей распространенности и персо-

нальности) вычислительной техники, с другой стороны. Воз-

никла потребность в программном инструментарии, который

бы обеспечивал эффективный поиск нужных текстовых дан-

ных.

Семантические подходы к автоматизации такого рода за-

дач (информационно-поисковые каталоги,

фасетные

тезаурус-

ные системы) не могли быть в полной мере использованы в

массовой персональной автоматизации, т. е. на рабочем месте

отдельного пользователя или для небольшой рабочей группы,

так

как

требовали серьезной предварительной проработки со-

ответствующей предметной

области^-.

Потребовались средства,

которые бы в максимальной степени освобождали пользовате-

ля от необходимости сложной предварительной структуриза-

ции предметной области и затратных процедур индексирова-

ния при накоплении, получении и агрегировании текстовых

данных, но в то же время создавали бы эффективный и интуи-

тивно понятный поисковый инструментарий необходимых до-

кументов.

В результате на рынке программных продуктов в конце

80-х годов появились полнотекстовые ИПС и программные

этом отношении примечательным является следующее замечание •— файло-

вые системы ОС ПК предусматривают создание произвольной схемы логических дис-

ков, каталогов,

подкат;цюгов

и т.п., которые по логике должны отображать структуру

предметной области сведений пользователя ПК и, тем самым, в упрощенном утриро-

ванном виде решать задачи

систематизации

рщмещения

документов-файлов для быс-

трого и эффективного их нахождения. Однако в большинстве случаев пользователями

такая адекватная их потребностям систе.ма каталогов

не

созд;1ется

из-за недостаточной

их

кв;ц1ификации

или

нетривиадьности

самой структуры предметной области и дан-

ныезачастую

размещаются довольно хаотично.

262

6.3.

Полнотскстовыс

информационно-поисковые

системы

средства их создания,

называемые

иногда полнотекстовыми

СУБД.

6.3.1. Информационно-технологическая

структура полнотекстовых ИПС

Полнотекстовые ИПС строятся на основе ипформациоппо-

поисковыхязыков дескрипторпого типа. Их информационно-

технологическая структура представлена на рис. 6.9 и включа-

ет следующие элементы:

• хранилище (базу) документов;

• глобальный словарь системы;

• индекс документов инвертированного типа;

• интерфейс ввода (постановки на учет) документов в сис-

тему;

• механизм (машину) индексирования;

• интерфейс запросов пользователя;

• механизм

поиска документов (поисковую машину);

• механизм извлечения (доставки) найденных документов.

Хранилище документов может быть организовано как

единая локально сосредоточенная информационная структу-

ра в виде специального файла (файлов) с текстами докумен-

тов. Организация такого файла предусматривает указательную

конструкцию на основе массива адресов размещения докумен-

тов. Для компактного хранения документов они могут быть

сжаты архиваторами.

Другой вариант не предусматривает создания локально со-

средоточенного хранилища документов, а ограничивается лишь

массивом адресов расположения документов в соответствую-

щей компьютерной информационной инфраструктуре (струк-

тура дисков и каталогов отдельного компьютера или локаль-

ной информационной сети, информационная инфраструктура

глобальной информационной сети). Файлы текстовых докумен-

тов/7асл;7е()елб'//ь/

и размещаются в тех узлах и элементах ин-

формационной инфраструктуры, которые соответствуют техно-

логии создания и обработки документов (документообороту).

Вместе

тем все они учтены в полнотекстовой ИПС (т. е. про-

263

6. Документальные

ипформационпые

системы

Мехатпм

раашиищ

11НДЕКС1П)

овашш

Проинд

екс>^

ованш.ш

документ

»^'

дшН-мёнтсш'

>лй

Документ 1

Документ 2

До1^ментЗ

Документ к

Дог^ументК

1^1

?-••.

под

Глобальный.,'.

словарь

гнетены

ЛИ6

Оюю

Ангар

Анчар

к+ 1

Веда

Время

1Г1

т+1

Скала

Система

'По

якотг

кетовый

^ХМерпфованный

индекс

^У^

-X

рп'

М«хаюпкло1«:ка

(кош

особая

лшшима)

и\

1 ^

мм

до/дтеитм

Окои^цы - поисксв ь»^

образы документов

г^.

(двотные

вектс{Я>$

:Я

^Х^хашпм

швлечения

(доставки)

Рис.

6.9.

Информационно-технологическая структура полнотек-

стовых

ПС

индексированы по содержанию и зафиксированы по месторас-

положению) для эффективного поиска и доступа к ним. Такой

подход более логичен с точки зрения технологий документо-

оборота или распределенного характера систем (например, си-

стема

\У\\^

сети Интернет), но недостатком имеет необходи-

264

6.3.

Полнотскстовыс

информацпоивю-понсковыс

системы

мость постоянного отслеживания и учета возможных переме-

щений документов.

Одним из наиболее характерных элементов полнотексто-

вых ИПС является глобальный словарь системы. Глобальные

словари могут быть статическими и динамическими.

Статические словари не зависят от содержания докумен-

тов, вошедших в хранилище, а определены изначально в систе-

ме. В качестве таких статических словарей в том или ином виде,

как правило, выступают словари основных словоформ соответ-

ствующего языка (русского, английского, немецкого и т. д.).

Дипсшические словари определяются набором словоформ,

имеющихся в накапливаемых в хранилище документах. Изна-

чально такой словарь пуст, но с каждым новым документом в

него помещаются новые словоформы, которых

еще

не было в

ранее накопленных документах. Такой подход более экономи-

чен и обеспечивает некоторую настройку словарной базы на

предметную область документов.

Элементы глобального словаря вьютупают в качестве дес-

крипторов ИПЯ системы. Поступающие через интерфейс вво-

да/вывода документы подвергаются операции индексирования

по глобальному словарю. Механизм индексирования в полно-

текстовых МПС полностью автоматизируется и заключается в

создании специального двоичного вектора, компоненты кото-

рого показывают наличие или отсутствие в данном документе

слова с соответствующим номером (позицией) из глобального

словаря. В результате на «учет» в системе ставятся все слова

текста документа, откуда, повторимся, происходит и

Нсование—

«полнотекстовые ИПС».

Важной особенностью, оказывающей существенное влия-

ние на эффективность полнотекстовых ИПС, является на-

личие либо отсутствие морфологического разбора при индек-

сировании документов и запросов. Морфологический разбор по-

зволяет распознавать как одну общую словоформу все

однокоренные слова (вода, водный, водяной), а также лексемы,

т. е.

одни

те

же слова, отличающиеся в тексте различными окон-

чаниями, приставками и суффиксами (водный, водного, водно-

265

Документальные

информационные системы

му, воду, воде и т. п.). Такой процесс основывается на нормали-

зации глобального словаря системы, объединяющей в одну сло-

воформу (в одну позицию) все однокоренные слова и лексемы.

Кроме того, при морфологическом разборе отбрасываются так

называемые неинформативные слова

{стоп-слова)

— предло-

ги, союзы, восклицания, междометия и некоторые другие грам-

матические категории. В большинстве случаев морфологичес-

кий разбор осуществляется в системах со статическим глобаль-

ным словарем. Для русского языка в качестве такого

нормализованного глобального словаря используется составлен-

ный в 1968 году академиком И. К. Зализняком морфологичес-

кий словарь русского языка. Он позволяет распознать и соот-

ветственно нормализовать более 3 млн. словоформ.

В результате индексирования ПОД каждого нового доку-

мента представляется набором словоформ из глобального сло-

варя, присутствующих в тексте документа, и поступает в виде

соответствующего двоичного вектора для дополнения индекса

системы. Индекс строится по инвертированной схеме и в дво-

ичном виде отражает весь (полный) текст учтенных или накоп-

ленных документов.

При удалении документа из системы соответственно уда-

ляется и поисковый образ документа, т. е. сортветствующий

столбец индекса.

Пользователь

языком запросов ИПЯ полнотекстовой ИПС

через соответствующий интерфейс запросов выражает свои

информационные потребности по поиску документов, которые

в общем плане, так же как и документы, индексируются и в

виде двоичных векторов поисковых образов запросов поступа-

ют на поисковую

машину.

Механизм поиска основывается на

тех или иных алгоритмах и критериях сравнения поискового

образа запроса с поисковыми образами документов, образую-

щими индекс системы. Результатом поиска является определе-

ние номеров документов, поисковые образы которых соответ-

ствуют или близки поисковому образу запроса. Далее специ-

альная подсистема на основе установленных в хранилище

266

6.3.

Полиотскстовыс

информационно-поисковые

системы

документов указательных конструкций извлекает и достав-

ляет соответствующие документы пользователю.

Таким образом, программное обеспечение полнотекстовых

ИПС обеспечивает полный технологический цикл ввода, обра-

ботки, поиска и получения документов. В практическом плане

ИПС могут поставляться как готовый информационный про-

дукт, т. е. с уже сформированной базой документов и интерфей-

сом поиска и доступа к

ним^^.

В других случаях поставляется

программная среда, позволяющая такую базу создать и сформи-

ровать тем самым документальную информационно-поисковую

систему. Такие программные средства иногда называют полно-

текстовыми СУБД.

6.3.2. Механизмы поиска документов

в полнотекстовых ИПС

В полнотекстовых ИПС поиск документов осуществляет-

ся по индексу системы через

дескрипторныи

язык запросов с

логическими операциями над словоформами, а также через дру-

гие механизмы использования поисковых образов документов

и запросов.

Принцип и механизм поиска документов по индексу сис-

темы очевидны. Пользователь должен указать путем перечис-

ления и ввода в систему тех словоформ, набор которых выра-

жает его информационные потребности. К примеру, если

пользователю необходимо найти документы, содержание кото-

рых касается экспорта редкоземельных элементов, то запрос к

системелюэ1сет

выглядеть следующим образом «экспортред-

коземельпые элементы». В ответ система по индексу опреде-

лит номера (группу) документов, где присутствует слово «экс-

порт», группу документов, где присутствует слово «редкоземель-

ные», и группу документов, где присутствует слово «элементы».

Ясно, что полнота и точность такого поиска будут оставлять

желать много лучшего, так как в первой группе документов

-'Такими информационными продуктами, основанными

том

числен

на полно-

текстовых технологиях, являются многочисленные

юридические

инс|юрмационноч:п

ра-

вочные

системы

—

«Кодекс», «Гарант», «Консультант плюс» и др.

267

Документальные

информационные системы

могут присутствовать в том числе и документы, в которых речь

идет об экспорте чего-то другого, например леса, или об экс-

порте вообще. Во второй группе документов могут присутство-

вать документы, в которых речь идет, в том числе, о добыче

или производстве редкоземельных элементов, но не об их экс-

порте. В третьей группе документов могут присутствовать и

документы, в которых речь идет, скажем, о преступных элемен-

тах, что, конечно же, совершенно может не соответствовать

благим информационным потребностям пользователя.

Слабая эффективность подобного способа выраэюения ин-

формационных потребностей преодолевается некоторыми ре-

ляционными дополнениями такого чисто дескрипторного языка

запросов на основе

посткоордшшции,

только не понятий, а

словоформ. В язык запросов вводятся логические операции от-

ношений дескрипторов запроса — операция логического «И»,

операция логического «ИЛИ», операция логического отрица-

ния «НЕ».

Если словоформы запроса из приведенного выше примера

объединить операцией логического «И», то система отберет

только те документы, в которых одновременно присутствуют

словоформы «Экспорт»,

«Редкоземельные»,

«Элементы». Не-

смотря на возможность ложной координации словоформ, та-

кое усовершенствование чисто дескрипторного характера язы-

ка запросов приводит к

существенному

повышению эффектив-

ности поиска и предоставляет пользователю более развитые

возможности по выражению своих информационных потреб-

ностей.

Следует также добавить, что подобные принципы постро-

ения языка запросов повышают требования к квалификации

пользователя, в частности по пониманию и оперированию ло-

гическими операциями. Вместе с тем, как показывает практи-

ка, большинство так Нсоывасмых «неподготовленных» пользова-

телей способно самостоятельно осваивать и применять подоб-

ные, в общем-то, интуитивно

понятные

языковые конструкции.

На практике язык запросов полнотекстовой ИПС дополня-

ется также операциями работы с датами и в ряде систем воз-

268

б.З.

Полпотскстовыс

информационно-поисковые

системы

можностями координатного анализа текста документов. Ра-

нее неявно предполагалось, что единичным объектом поиска

словоформ и соответственно областью действия логических

операторов является документ, а не более мелкие его составля-

ющие — абзацы, предложения. В системах с координатным ана-

лизом область действия логических операторов можно сужать

вплоть до предложения. Примером таких возможностей явля-

ется запрос на отыскание таких документов, где словоформы

«экспорт», «редкоземельные», «элементы» присутствуют одно-

временно (операция «И») внутри одного предложения. Коор-

динатный анализ

позволяет

еще более

повьгсить

эффективность

поиска релевантных документов, но требует более детального

индексирования. Для словоформ словаря системы в индексе

должны при осуществлении координатного анализа фиксиро-

ваться не только номера документов, но номера абзацев, номе-

ра предложений и номера соответствующих

слово(1)орм

в по-

рядке следования слов в соответствующих предложениях.

Отличительной особенностью поиска документов по ин-

дексу является практическая независимость времени (скорос-

ти) поиска от объема базы документов,

особенгю

если исполь-

зуется статический словарь. Для любого запроса, независимо

от текущего объема базы документов, выполняется приблизи-

тельно одинаковое количество операций, связанных с просмот-

ром строк индексного массива и определением совокупности

номеров релевантных документов. Следующей стадией выпол-

нения запроса является собственно извлечение из базы (файла

документов) самих документов. Для этого обычно в полнотек-

стовой ИПС создается специальный массив (см. рис. 6.9) адре-

сов начала расположения документов.

В системах с динамически поддерживаемыми словарями

время поиска при увеличении объема базы документов сначала

также увеличивается (т. к. пропорционально увеличивается

объем словаря и, соответственно, объем индекса), а затем так

же, как в системах со статическими словарями, перестает зави-

сеть от объема базы документов. Это объясняется тем, что с

некоторой границы объема базы документов словарь системы

269

Документальные

информационные системы

уже набирает практически полный набор словоформ, присущих

конкретной предметной области, и вероятность появления в

новом документе слова, которого еще не было в словаре систе-

мы, резко падает.

Как уже отмечалось, повышению эффективности поиска

способствует морфологический разбор документов и запросов.

Помимо существенного уменьшения объема словаря и, соот-

ветственно, индекса системы, морфологический разбор повы-

шает и эффективность поиска, так как не реагирует на несуще-

ственные с точки зрения смыслового содержания грамматичес-

кие различия искомого текста документов и запросов. Если

вернуться опять-таки к примеру с запросом «экспорт редкозе-

мельные элементы», то система с морфологическим разбором

отберет не только те документы, в которых встречается бук-

вальное сочетание словоформ «экспорт», «редкоземельные»,

«элементы», но и такие фразы, как «К вопросу об экспорте ред-

коземельными

элемент^шм»,

«Проблемы экспорта редкоземель-

ных элементов» и т. п.

Морфологический разбор в принципе дает возможность

пользователю формировать запросы на естественном языке.

Система при обработке запроса удаляет из него все «стоп-сло-

ва», остальные словоформы нормализует и, оставляя пользова-

теля в полной иллюзии о том, что она действительно его «по-

нимает», выполняет таким образом выхолощенный запрос.

Некоторое время тому назад наблюдалось сильное увлечение

таким подходом, от которого, к счастью, вскоре

разработ1Шки

полнотекстовых ИПС отошли. Использование якобы естествен-

ного языка запросов на самом деле не позволяет применять ло-

гические операторы и другие развитые возможности, связан-

ные с координатным анализом местонахождения и контекстно-

го окружения искомых слов, терминов, сочетаний и т. д.

Еще одной важной характеристикой поиска документов по

индексу, в том числе с учетом логических операций посткоор-

динации и морфологического разбора, является то, что такой

поиск основывается на упрощенном детерминированном под-

ходе. Иначе говоря, критерием поиска является вхождение или