Алешин Л.И., Максимов Н.В. Информационные технологии

Подождите немного. Документ загружается.

321

месте, хранить в другом, а вносить изменения с третьего места. Послед-

нее может быть связано, например, с работой Веб-мастера, в обязанно-

сти которого входит внесение новых материалов, удаление устаревших,

обновление ссылок и исправление ошибок в работе сайта.

Организация собственного сервера и размещение на нём веб-

страниц требует значительных финансовых затрат и постоянной под-

держки его в актуальном состоянии силами соответствующих специали-

стов. Это могут быть программисты, Веб-дизайнеры, администраторы и

др. Такие серверы работают круглосуточно, что также является пробле-

мой для некоторых организаций. Отметим, что Веб-дизайнер или Веб-

мастер занимается главным образом созданием веб-страниц, привлека-

тельных и информативных для пользователей. Подготовка обычных веб-

страниц – процедура, доступная многим благодаря широко распростра-

нённому ПО, а также таким текстовым редакторам, как Word, WordPad и

др.

Обычно минимальная стоимость создания сервера равна несколь-

ким тысячам долларов (компьютер, УБП, модем, выделенная линия,

специальное программное обеспечение и др.), а ежемесячная оплата ка-

нала и поддержки работы сервера – несколько сотен долларов.

Индексация, метаданные

Не малую роль в продолжительном существовании сайта играет

его посещаемость, определяемая, в первую очередь, грамотной регист-

рацией его в наиболее известных и посещаемых поисковых машинах,

например, «Рамблер» и «Яндекс». Такая регистрация называется индек-

сацией сайта. Индексация сайтов осуществляется поисковыми система-

ми в большей степени с учётом заголовков на главной странице сайта и

ключевых слов, размещённых в тексте файла этой страницы. Последние

прописываются на языке HTML в поле метаданных – мета тег <meta

name = «keywords» CONTENT=" ">. Ключевые слова отделяются друг

от друга запятой.

Терминологически метаданные определяются как «данные о дан-

ных», используемые для осуществления поиска ресурсов, вывода ре-

зультатов поиска, управления ресурсами, взаимодействия с ними и в

других процессах. Идея метаданных возникла в начале 1990-х годов и

была связана с необходимостью идентификации, поиска и нахождения

сетевых ресурсов.

Рейтинг зарегистрированного сайта можно определить, например,

с помощью Rambler’s Top100 (top100.rambler.ru), SpyLog

(www.spylog.ru) One.ru (www.one.ru) и др.

Яндекс осуществляет индексацию следующим образом. Когда по-

исковая машина обнаруживает новую или измененную страницу, она её

индексирует: страница разбивается на элементы (текст, заголовки, под-

писи к картинкам, ссылки и так далее), содержание которых заносится в

322

индекс. При этом учитываются позиции слов (их положение в документе

или его элементе). Сам документ в базе не хранится, так как Яндекс соз-

дает компактный индекс.

Рекомендуемое максимальное число символов для содержимого

тега <TITLE> – примерно 60.

О метаданных для ключевых слов было сказано выше. Описание

страницы также следует включать в метаданные:

<META NAME="description" CONTENT=" ">.

Автоматическое реферирование электронных данных в Интернете

Как отмечалось во второй теме, даже в узкоспециальной предмет-

ной области ныне настолько значительны массивы данных, что их не в

состоянии обработать ни один специалист. Ряд специалистов, исследо-

вателей процесса аналитической обработки информации, полагает, что

процедуры традиционного анализа информации будет постепенно заме-

няться специальными компьютерными программами, где аналитик в ин-

терактивном режиме имеет возможность использовать свой интуитив-

ный и формальный опыт работы.

Методы автоматизированного анализа текстов применяются не так

давно. К ним в основном относится тематическое рубрицирование пото-

ка документов со статистическим подсчётом встречаемых слов и слово-

сочетаний. Для автоматизации процедуры рубрицирования применяют

так называемые авторубрикаторы.

Сжатие (свёртывание) документов имеет большое практическое

значение для многих. Сочиненные людьми тексты обладают одинаковой

структурой. Эту закономерность обнаружил и сформулировал Джорж

Зипф (G. K. Zipf) в 1949 году. Благодаря ему, компьютеры научились

«понимать» смысл текста и самостоятельно выделять ключевые слова.

Сегодня все поисковые системы используют в своей работе присущие

текстам закономерности.

Последовательность действий такова:

1. Выбирают текст-источник – любой текст, посвящённый иссле-

дуемой теме.

2. Помещают его в левое окно приложения «Анализатор текстов»

и нажимают кнопку «ОК». Программа вычислит в этом тексте частоту

вхождения каждого слова и выведет результат в правом окне. Цифры

напротив слов – количество упоминаний этих слов в тексте. Из рассмот-

рения программа исключает стоп-слова – малозначащие слова: «на»,

«в», «и», «не» и т.д.

Формируют запрос. Для этого выбирают диапазон слов, ориенти-

руясь на их частоту вхождения в исследуемом тексте. Рекомендуется

брать слова из середины списка. Например, аналогично варианту, пред-

ставленному на рис. 17-1.

323

Теперь эти слова можно включить в запрос поисковой машины

(через логическое «ИЛИ» или пробел) для поиска документов, посвя-

щённых этой теме, подобных этому документу или использовать опции

«Анализатора» для создания из текста-источника его реферата.

0047 - ### stop-

words###

0006 - слова

0004 - текст

0003 - текстов

0002 - частоту

0002 - слов

0002 - ключевые

0002 - источник

0002 - законо-

мерности

0002 - если

0002 - выбираем

0002 - вхождения

0002 - весьма

0002 - анализатор

0001 - языке

0001 - эффекти-

вен

0001 - эти

0001 - хотите

0001 - формиру-

ем

0001 - формиро-

вания

0001 - флажок

0001 - устроены

0001 - уровнем

0001 - умолчанию

0001 - теме

0001 - тексты

0001 - текстам

0001 - текста

0001 - такое

0001 - такова

0001 - таким

0001 - такие

0001 - сформули-

ровал

0001 - стоп

0001 - список

0001 - сочиненные

0001 - снимите

0001 - смысл

0001 - следует

0001 - ситсеме

Рис. 17-1. Таблица частот вхождения слов в текст,

полученная в результате его автоматического анализа

В результате лучшие программы позволяют создавать смысловые

портреты (рефераты) обрабатываемых текстов на основе количества

упоминаний и близости встречаемости различных значащих, по мнению

программы, слов.

Оценку полученных результатов в любом случае осуществляет че-

ловек. При этом процесс преобразования информации из документной в

форму сжатых, систематизированных фактов остаётся уделом естест-

венного интеллекта далеко не всякого индивидуума. Методы сжатия

текстовой информации (выделение наиболее важных фрагментов с соот-

ветствующей систематизацией их) пока не имеют простой и понятной

технологии.

324

Вопросы для самопроверки:

1. HTML (свойство, назначение).

2. Создание и публикация (размещение) электронных документов

(особенности).

3. Создание веб-страниц и веб-сайтов (принципы).

4. Сопровождение сайтов (варианты).

5. Индексация, метаданные (характеристика и назначение).

6. Автоматическое реферирование электронных данных в Интер-

нете (характеристика и назначение).

Тема 18. Поиск информации в Интернете

Поиск информации: основные понятия, виды и формы организации

Поиск информации или информационный поиск представляет

один из основных информационных процессов. Человечество издревле

занималось им, чему свидетельством являются, например, наскальные

рисунки. Цели, возможности и характер поиска всегда зависели от нали-

чия, информации, её важности и доступности, а также средств его орга-

низации. Совокупность названных факторов обуславливает постановку

большинства задач общества, его отдельных групп и личностей в любой

период их существования, ибо в социуме передатчиками и приёмниками

любых сведений являются индивидуумы. В данном процессе они могут

представлять собственные интересы, а также потребности социальной

микро (отдельных групп людей) и макросреды (общества в целом).

Конец XX – начало XXI века, характеризуется огромными масси-

вами постоянно растущей разнообразной информации, доступной и

представляющей интерес для самых широких слоёв социума. Более того,

Интернет-технологии и программно-технические средства, также дос-

тупные большинству людей, позволяют осуществлять данный процесс в

любое время, практически в любом месте по любым запросам.

Цель любого поиска заключается в потребности, необходимости

или желании находить различные виды информации, способствующие

получению лицом, осуществляющим поиск, нужных ему сведений, зна-

ний и т.д. для: повышения собственного профессионального, культурно-

го и любого иного уровня; создания новой информации и формирования

новых знаний; принятия управленческих решений и т.п.

Всё возрастает важность этих процессов, особенно теперь , когда

информация влияет практически на все стороны жизни общества.

По оценке специалистов в Интернете работает 30 и более миллио-

нов пользователей. Из них десятки тысяч – в режиме онлайн (англ. «on-

line» – интерактивный доступ в любой момент времени) и количество

таких пользователей постоянно (ежедневно) растёт. Всё это затрудняет

организацию оперативного поиска и нахождения нужной такому коли-

325

честву пользователей информации. В этой связи возникает спектр про-

блем, обусловленных разнообразными возможностями (видами) поиска

информации, различными способами их реализации в информационно-

поисковых системах (ИПС), разным уровнем знаний пользователей о

возможностях таких систем, особенно в области формирования запросов

и обработки данных, полученных в результате выполнения этих запро-

сов и т.д. Игнорирование этих аспектов приводит разработчиков к соз-

данию малоэффективных поисковых систем (ПС), а пользователей – к

разочарованию в возможностях подобных систем по удовлетворению их

информационных потребностей, к неуверенности в собственных знаниях

и возможностях работы с ПС и др. Последнее обстоятельство способст-

вует появлению «психологического барьера» (Тема 1) и других негатив-

ных проявлений, порой вызывающих у пользователей неприятие НИТ

или неуверенность в собственных силах.

Некоторые специалисты предполагают, что в дальнейшем будут

созданы ИПС, способные автоматически адаптироваться с учётом уров-

ня знаний и запросов конкретных пользователей, воспринимать запросы

на естественном языке и, используя искусственный интеллект, выдавать

им не только релевантную, но и пертинентную информацию. В этом на-

правлении постоянно ведутся работы. Однако ещё видимо не одно деся-

тилетие потребуются интеллект и знания конкретных пользователей

ИПС или их посредников для эффективного достижения поставленных

целей – поиска необходимой информации.

Это вызывает потребность у широкого круга пользователей ПС

достаточно хорошо владеть данной предметной областью. Рассмотрим

терминологический аппарат, относящийся к проблемам поиска инфор-

мации.

Существуют различные толкования термина «поиск информации»

или «информационный поиск».

Термин «информационный поиск» (англ. «information retrieval»)

ввёл американский математик К. Муэрс. Он заметил, что побудительной

причиной такого поиска является информационная потребность, выра-

женная в форме информационного запроса. При этом к объектам ин-

формационного поиска К. Муэрс относит документы, сведения об их на-

личии и (или) местонахождении, фактографическую информацию.

Отметим, что решать проблемы фактографического поиска пер-

выми стали представители библиотек. Они разработали средства ин-

формационного поиска, получившие название «справочно-поисковый

аппарат» (каталоги, библиографические указатели и др.) [86]. В про-

фессиональной отечественной печати данный термин используется с

1970-х годов.

В «Библиотечной энциклопедии» «информационный поиск» оп-

ределяется как нахождение в информационном массиве документов, со-

ответствующих информационному запросу пользователей [86].

С точки зрения использования компьютерной техники под «ин-

326

формационным поиском» подразумевается совокупность логических и

технических операций, имеющих конечной целью нахождение докумен-

тов, сведений о них, фактов, данных, релевантных запросу потребите-

ля

Существуют и другие определения. В любом случае, информаци-

онный поиск вызван потребностью удовлетворения информационных

запросов пользователей, ожидающих с помощью ПС оперативно полу-

чить необходимые им данные или сведения. Он является методом наце-

ленного поиска и извлечения релевантных документов и (или) фактов из

различных источников информации, например, банков данных или за-

поминающих устройств. В качестве таковых выступают живые и нежи-

вые объекты, представляющие различные носители информации

Системы, обеспечивающие реализацию подобного поиска инфор-

мации, называются поисковыми системами (ПС). В традиционных

технологиях ПС представляют картотеки и каталоги, адресные и иные

справочники, указатели, энциклопедии, справочный аппарат к изданиям

и другие материалы.

В 1945 годы американский учёный и инженер В. Буш в статье

«Возможный механизм нашего мышления» впервые широко поставил

вопрос о необходимости механизации информационного поиска. Затем,

начиная с 1960 годов, появляются автоматизированные поисковые сис-

темы, работающие с информацией. С этого периода ведутся интенсив-

ные работы в области формирования и реализации принципов и методов

информационного поиска.

«Поисковые системы» осуществляют поиск среди документов

базы или иных массивов машиночитаемых данных, содержащих задан-

ные слова.

Электронные ПС с помощью обычных или интеллектуальных тер-

миналов (ПЭВМ) дают возможность пользователям производить поис-

ковые запросы при помощи формальных и описывающих содержание

элементов и с применением специальных логических операторов; осу-

ществляют поиск среди документов базы или иных массивов машиночи-

таемых данных, содержащих заданные слова. Существуют и другие де-

финиции. В любом случае поисковые системы позволяют осуществлять

только поисковые процедуры и связанные с ними процессы.

Информационно-поисковые системы

ПС с бóльшим набором функций и возможностей обычно входят в

состав СУБД и именуются информационно-поисковыми системами. Они

также создаются и используются для эффективного нахождения пользо-

вателями необходимых им данных, в том числе в Интернете.

Терминологически «информационно-поисковая система» (англ.

Информатика: Учебное пособие/Под ред. К.И. Тараканова.–М.: Книга, 1986.–304

с. [С. 62].

327

«information retrieval system», IRS) – представляет систему, предназна-

ченную для поиска и хранения информации; пакет программного обес-

печения, реализующий процессы создания, актуализации, хранения и

поиска в информационных базах и банках данных.

В толковом словаре по вычислительной технике информационно-

поисковая система трактуется как «система, обеспечивающая поиск и

отбор необходимых данных на основе информационно-поискового язы-

ка и соответствующих правил поиска», а база данных – как «совокуп-

ность средств и методов описания, хранения и манипулирования данны-

ми, облегчающих сбор, накопление и обработку больших информацион-

ных массивов. Организация различных БД отличается видом объектов

данных и отношений между ними». В этой связи нелишне рассмотреть

дефиниции, связанные с библиографическими базами и банками дан-

ных.

Библиографические базы и банки данных – библиографическая

информация на машиночитаемых носителях, которая обрабатывается,

хранится и выдается с помощью средств вычислительной техники. Биб-

лиографический банк данных (ББнД) – одна или несколько библио-

графических баз данных, имеющих общее лингвистическое и программ-

ное обеспечение. Библиографические данные представляются в форма-

те, образующем набор полей для записи отдельных элементов библио-

графического описания, сведений о содержании документа (аннотаций,

рефератов, классификационных индексов, предметных рубрик, ключе-

вых слов), адресно-справочных данных (сигл, шифров хранения и др.).

Библиографические БД по видам отражаемых документов под-

разделяются на: книги, сериальные издания, статьи, диссертации, патен-

ты и т.д., а по тематике на: универсальные, многоотраслевые, отрасле-

вые, тематические, персональные и др. Крупными являются ББнД на-

циональной библиографии, международных и национальных многоот-

раслевых и отраслевых информационных систем, а также электронные

каталоги (ЭК) национальной и крупной научной библиотек, националь-

ные каталоги.

К числу крупнейших универсальных библиографических БнД все-

мирного характера относятся электронные информационные ресурсы

(ЭИР) Библиотеки Конгресса США. В России ББнД создаются с 1980

года во Всесоюзной книжной палате (ВКП, ныне Российская книжная

палата, РКП), с середины 1980-х годов – в таких отраслевых библиоте-

ках, как ЦНСХБ, ГЦНМБ, ГПНТБ. Универсальные национальные и на-

учные библиотеки приступили к формированию ЭК в начале 1990-х го-

дов.

Более подробно вопросы, связанные с БД, рассматриваются в теме

13. Вернёмся к ИПС.

Функционирование современных ИПС основано на двух предпо-

ложениях:

1) документы, необходимые пользователю, объединены наличием

328

некоторого признака или комбинации признаков;

2) пользователь способен указать этот признак.

Оба эти предположения на практике не выполняются, и можно го-

ворить только о вероятности их выполнения. Поэтому, процесс поиска

информации обычно представляет собой последовательность шагов,

приводящих при посредстве системы к некоторому результату, и позво-

ляющих оценить его полноту. При этом поведение пользователя, как ор-

ганизующее начало управления процессом поиска, мотивируется не

только информационной потребностью, но и разнообразием стратегий,

технологий и средств, предоставляемых системой.

Так как пользователь обычно не имеет исчерпывающих знаний об

информационном содержании ресурса, в котором проводит поиск, то

оценить адекватность выражения запроса, равно как и полноту получае-

мого результата, он может, отыскав дополнительные сведения, либо ор-

ганизовав процесс таким образом, чтобы часть результатов поиска могла

использоваться для подтверждения или отрицания адекватности другой

части.

В то же время, для пользователей-профессионалов характерна ус-

тойчивость тематического профиля, а в случае, если они являются «ин-

формационно-ориентированными», то им свойственно желание и спо-

собность организовать информационное пространство проблемы. Это

означает, что пользователь создает по существу новый, «самостоятель-

ный» проблемно-ориентированный, индивидуально обновляемый и по-

полняемый ИР, включающий помимо подборок документов также и ме-

таинформацию, например, словари специальной терминологии, класси-

фикаторы предметных областей, описания ресурсов и т.д.

Особенность работы пользователя в режиме «самообслуживания»,

в контексте задачи автоматизации совокупной деятельности, означает,

что система должна представлять среду, обеспечивающую поддержку не

только функций потребителя по обработке найденной информации и тех

функций, которые традиционно относились к функциям информацион-

ного посредника (интерпретация запроса, его перевод на информацион-

но-поисковый язык, выбор ИР, автоматизированный поиск и ручной от-

бор материалов), но также и такие «обеспечивающие» функции, как:

структурирование информационной потребности, лексическая адапта-

ция запроса, оценка, систематизация и обработка результатов поиска,

причем на уровне как отдельного документа, так и информационных ре-

сурсов в целом. Отметим, что технические возможности, которыми ныне

располагает пользователь, позволяют ему создавать информационный

ресурс – формировать массивы, систематизировать и создавать внешние

представления их содержания для собственного или внешнего использо-

вания.

ИПС делятся на: традиционные (ручные, механические, электро-

механические) и автоматизированные (электронные).

329

Автоматизированные ИПС (АИПС), используют компьютерные

программно-технические средства и технологии и предназначаются для

нахождения и выдачи пользователям информации по заданным критери-

ям.

Данные в АИПС вводятся на основе специально разрабатываемых

форматов ввода. Все сведения об одном объекте в ИПС представляются

в виде систематизированных данных, образующих, как бы, одну строку

таблицы и называются записью. При этом, например, если ИПС пред-

ставляет электронный каталог библиотеки, то любое библиографическое

описание (БО) документа в нём – одна запись, состоящая из полей, рав-

ных количеству элементов БО. Совокупность записей образует БД, ко-

торая, как правило, хранится в одном файле. Совокупность БД, объеди-

ненных одной СУБД, образует банк данных.

Структурно-методологические основы информационно-поисковых

систем

В задачах информационного поиска качественно различают две

составляющие: концептуальную и технологическую.

К концептуальным составляющим относятся, прежде всего, сис-

темы представления собственно информации (знаний), а также средства

представления информации об обрабатываемой информации, исполь-

зуемые в качестве основы как механизма информационного поиска, так

и организации процессов взаимодействия пользователя с АИПС. К тех-

нологическим составляющим можно отнести средства пользовательско-

го интерфейса, алгоритмы обработки информации, индексирования и

поиска, интеграцию информации из различных источников, языки за-

просов и др.

С точки зрения «интеллектуальности» средств поиска и в зависи-

мости от характера информации (и возможностей разработчика) в осно-

ву конкретной более или менее сложной АИПС может быть положена

одна из следующих технологий поиска: литеральный поиск – поиск под-

строки, происходящий без привлечения знаний о лексической, грамма-

тической и семантической структуре обрабатываемого материала; поиск,

в ходе которого используется лексико-грамматическая информация, то

есть привлекаются лингвистические словари, программы морфологиче-

ского анализа текста; семантический поиск, осуществляющийся на ос-

новании знания об отношениях между понятиями предметной области,

выраженными посредством слов естественного языка.

В последнем случае носителями такого рода информации, в част-

ности, являются тезаурусы, уже более трех десятилетий использующие-

ся для информационного поиска. Кроме того, огромную роль в органи-

зации диалога между пользователем и информационно-поисковой сис-

темой играют хотя и менее сложные, но разнообразные словарные

структуры. Используя их, пользователь может развивать поиск, моди-

330

фицируя запрос (выражение его информационной потребности) соглас-

но особенностям представления объекта поиска средствами конкретной

ИПС и БД.

ИПС отличаются друг от друга по логике работы и техническим

параметрам. К логике относится выделение единицы хранения, язык за-

просов, представление исходных и выходных документов, а также – ад-

ресная информация. К параметрам – время индексации и поиска, объем

индекса, поддержка существующих платформ, совместимость с другими

системами.

Информационный поиск подразумевает использование определён-

ных стратегий, методов, механизмов и средств. Рассмотрим эти понятия.

Стратегия поиска – общий план (концепция, предпочтение, ус-

тановка) поведения системы или пользователя для выражения и удовле-

творения информационной потребности пользователя, обусловленный

как характером цели и видом поиска, так и системными «стратегически-

ми» решениями – архитектурой БД, методами и средствами поиска в

конкретной АИПС. Выбор стратегии в общем случае является оптими-

зационной задачей. На практике в значительной степени он определяет-

ся искусством достижения компромисса между практическими потреб-

ностями и возможностями имеющихся средств.

Метод поиска – совокупность моделей и алгоритмов реализации

отдельных технологических этапов: построения поискового образа за-

проса (ПОЗ), отбора документов (сопоставление поисковых образов за-

просов и документов), расширения и реформулирования запроса, лока-

лизации и оценки выдачи.

Механизмы поиска – совокупность реализованных в системе мо-

делей и алгоритмов процесса формирования выдачи документов в ответ

на поисковый запрос.

Средства поиска, с одной стороны, – взаимозависимый комплекс

информационно-поисковых языков (ИПЯ) и языков определе-

ния/управления данными, обеспечивающий структурные и семантиче-

ские преобразования объектов обработки (документов, словарей, сово-

купностей результатов поиска), а с другой, – объекты пользовательского

интерфейса, обеспечивающие управление последовательностью выбора

операционных объектов конкретной АИПС.

С точки зрения взаимодействия пользователя с системой средства

поиска воплощаются в поисковых технологиях – унифицированных

(оптимизированных в рамках конкретной АИПС) последовательностях

использования отдельных средств системы для устойчивого получения

конечного и, возможно, промежуточных результатов.

По используемым поисковым технологиям ПС можно разбить на 4

категории:

1. Тематические каталоги.

2. Специализированные каталоги (онлайновые справочники).

3. Поисковые машины (полнотекстовый поиск).