Кольцов А.С. Федорков Е.Д. Перспективные информационные технологии и среды. Часть 2

Подождите немного. Документ загружается.

5.2. WAIS

Распределенная информационная система WAIS была

задумана как сетевой аналог традиционных информационно-

поисковых систем (ИПС), позволяющий пользователям сети

осуществлять поиск в полнотекстовых базах данных с

использованием традиционного для ИПС информационно-

поискового языка, поисковые предписания которого строятся

на основе ключевых слов и/или их усечений, связанных между

собой логическими операторами 0R или AND.

Концептуальная модель WAIS

WAIS замыкает триаду технологических средств,

которую возглавляют Gopher и WWW. Она обеспечивает

функционально полный набор информационных инструментов

для Internet. Если Gopher - это виртуальная файловая система,

где в качестве элементов системы могут использоваться не

только файлы различных форматов и каталоги, но и

виртуальные объекты в виде поисковых критериев, а WWW -

распределенная система гипермедиа, то WAIS реализует

концепцию распределенной информационно-поисковой

системы. Система состоит из двух основных компонентов:

поисковой машины и интерфейса пользователя, которые

связаны между собой универсальным протоколом WAIS,

базирующимся на стандарте Z39.50. Этот американский

стандарт послужил основой не только для WAIS отдельные

его положения входят и в другие технологии при определении

документа, хранящегося в системе или поискового языка,

поэтому знакомство с ним будет достаточно полезно.

Протокол Z39.50

В документации по различным сервисам Internet, как то:

Gopher, Wais или World Wide Web - часто приходится видеть

ссылку на протокол Z39.50 [7,9]. Как правило, такая ссылка

приводится в контексте организации механизма поиска

распределенных информационных ресурсов с использованием

ключевых слов. В отечественной литературе по данному

вопросу за термином "Information Retrieval System" давно

закреплено понятие "Информационно-поисковая система".

Стандарт Z39.50, собственно, и посвящен организации

распределенной информационно-поисковой системы в

компьютерных сетях. Основным отличием такой системы от

других информационных технологий является язык запросов,

основанный на логических высказываниях типа:

"Найти все документы, содержащие термин А и термин

В, но не термин В"

В ответ на такой запрос для каждого документа,

удовлетворяющего критерию, будет получено значение

"истина", а в противном случае - "ложь". Связка "и"

употребляется в качестве логического "AND", а "но не" -

логического "NOT". Следует заметить, что в ни в одной сети

не существует программных комплексов, реализующих

полностью стандарт Z39.50. Реально действующие системы в

той или иной степени реализуют лишь его отдельные

подмножества, опуская подчас важные элементы, связанные

как с обработкой запросов, так и с генерацией отчетов на эти

запросы.

Стандарт Z39.50 - это один из протоколов семейства OSI

(Open System Interconnection), который описывает прикладной

уровень взаимодействия распределенных ИПС. Протокол

определяет собственно механизм информационного обмена в

процессе обработки поисковых запросов и протокол обмена

данными в системах, осуществляющих поиск. Область

применения протокола - это библиотечные системы и системы

научно-технической информации. Стандарт не определяет

протоколы взаимодействия с физическими устройствами или

их виртуальными аналогами, например терминалами. Сегодня

область применения протокола значительно шире

перечисленных приложений, он используется в

информационнопоисковых системах общего назначения. При

разработке протокола подразумевалось, что он будет

описывать порядок обмена информацией между

пользователями информационной системы и ее ядром через

сеть передачи данных. При этом сами системы могут

управлять данными, используя разные модели и различные

языки манипулирования этими данными. Таким образом,

информационно-поисковую систему можно построить на

основе любой системы управления данными, будь это обычная

ИПС или объектно-ориентированная СУБД.

5.3. FTP

File Transfer Protocol — сетевой протокол,

предназначенный для передачи файлов в компьютерных сетях.

Протокол FTP позволяет подключаться к серверам FTP,

просматривать содержимое каталогов и загружать файлы с

сервера или на сервер, кроме того возможен режим передачи

файлов между серверами (см. FXP).

FTP является одним из старейших прикладных

протоколов, появившимся задолго до HTTP в 1971 году. До

начала 90-х годов на долю FTP приходилось около половины

трафика в сети интернет. Этот протокол и сегодня широко

используется для распространения программного обеспечения

и доступа к удалённым хостам.

Протокол не шифруется, при аутентификации передаёт

логин и пароль открытым текстом. Если злоумышленник

находится в одном сегменте сети с пользователем FTP, то,

используя сниффер, он может перехватить логин и пароль

пользователя, или, при наличии специального ПО, получать

передаваемые по FTP файлы без авторизации. Чтобы

предотвратить перехват трафика, необходимо использовать

протокол шифрования данных SSL, который поддерживается

многими современными FTP-серверами и некоторыми FTP-

клиентами.

На многих FTP-серверах существует каталог (под

названием incoming, upload и т. п.), открытый на запись и

предназначенный для закачки файлов на сервер. Это позволяет

пользователям наполнять сервер свежими данными.

Изначально протокол предполагал встречное TCP-

соединение от сервера к клиенту для передачи файла или

содержимого каталога. Это делало невозможным общение с

сервером, если клиент находится за IP NAT, кроме того, часто

запрос соединения к клиенту блокируется файерволом. Чтобы

этого избежать, было разработано расширение протокола FTP

passive mode, когда соединение для передачи данных тоже

происходит от клиента к серверу. Кроме того, этой проблемы

можно избежать, если использовать прокси-сервер.

5.4. E-mail

Электронная почта (англ. E-mail, сокр. от electronic

mail) — способ передачи информации в компьютерных сетях,

широко используется в Интернете.

Основная особенность электронной почты заключается в

том, что информация отправляется получателю не напрямую, а

через промежуточное звено — электронный почтовый ящик,

который представляет собой место на сервере, где сообщение

хранится, пока его не запросит получатель. В большинстве

случаев для доступа к почтовому ящику требуется наличие

пароля. Доступ к почтовому серверу может предоставляться

как через почтовые программы, так и через веб-интерфейс.

Пошаговое прохождение электронной почты от

отправителя получателю (без использования relay сервера):

1. Создание письма;

2. Соединение почтового клиента с SMTP-сервером

отправителя;

3. Передача SMTP-серверу информации о том,

кому предназначается почта и кто является отправителем;

4. Проверка SMTP-сервером корректности данных

об адресате и адресанте и принятие письма (с заголовками и

телом письма);

5. Постановка письма в очередь доставки;

6. DNS -запрос о почтовых серверах (MX-записи)

для домена адресата;

7. Попытка соединения SMTP-сервера отправителя

с почтовыми серверами адресата, имеющими наибольший

приоритет. Если попытка неудачна, делаеются ещё попытки

соединения с резервными почтовыми серверами домена

адресата;

8. Передача письма в случае удачного соединения с

почтовым сервером домена адресата, либо постановка в

очередь для попытки переслать письмо позже, в случае

неудачи;

9. Прием SMTP-сервером домена адресата письма

10. Проверка письма на предмет его похожести на

спам

11. Передача его модулю, который занимается

хранением писем и выдачей их адресатам по протоколу POP3,

IMAP или другим;

12. Соединение адресата с POP3 или IMAP

сервером, аутентификация и получение письма адресатом.

5.5. IRC

Internet Relay Chat — ретранслируемый интернет-чат —

сервисная система, при помощи которой можно общаться

через сеть Интернет с другими людьми в режиме реального

времени. Она была создана в 1988 году финским студентом

Ярко Ойкариненом (Jarkko Oikarinen).

IRC начало завоевывать особенную популярность после

операции «Буря в пустыне» (1991), когда сообщения со всего

мира собирались в одном месте и в режиме «on-line»

транслировались в IRC.

Описание IRC

IRC состоит из серверов. Сервер может быть соединён с

другими серверами. Совокупность серверов, соединённых

друг с другом, образует сеть. В мире существуют десятки

сетей. Наиболее старые и известные — это IRCNet и EfNet,

образовавшейся из расколовшейся первой irc сети.

Для работы с irc необходима специальная программа

клиент. Для Unix самая распространённая — ircII (консольная)

со всевозможными front-end для работы под X-Window. Под

win32 это mIRC. Она проста в настройке и установке

настолько, что 90q% пользуются именно ею и часто незнающие

люди называют irc мирком. Далее надо подключится к

серверу. Для этого наберите /server адрес_сервера.

После подключения к серверу можно найти нужного

человека и общаться с ним. Можно также подключиться к

каналу. Общение на канале напоминает общение людей в

комнате. Кто-нибудь говорит и все его слышат. У каждого

канала есть имя, которое отражает общую тематику разговора.

Это может быть как интересующая всех тема, так и просто

какое-нибудь объединяющее всех название (например, #ufa,

#odessa). Если в первом случае разговоры обычно ведутся

вокруг указанной тематики, то во втором случае разговоры

ведутся на совершенно разнообразнейшие темы.

Кроме обычных пользователей сети irc есть так

называемые операторы каналов и операторы сети. Операторы

канала — это «хозяева» канала. Они могут закрыть доступ на

канал без приглашения, лишить любого пользователя

возможность говорить на канале, выкинуть пользователя с

канала, поставить ему бан (невозможность зайти на канал) и

многое другое. Иными словами, это управляющие

(модераторы), которые следят за порядком на канале.

Оператором канала в классическом случае становится тот, кто

первым заходит на канал и тем самым создаёт его. Но на

данный момент такие случаи очень редки. В основном сейчас

существует множество постоянных каналов. У таких каналов

есть постоянные операторы. Для того, чтобы они получили

статус оператора при входе на канал используются обычно

постоянно сидящие на канале боты (или роботы), которые

имеют статус оператора и могут его раздавать определённым

пользователям.

Боты — это программы, которые подключаются к irc

серверу и могут выполнять специальные операции. Кроме

поддержки статуса оператора, боты могут выполнять функции

доски объявлений, могут выводить информацию о заходящем

на канал пользователе и множество другого. Отношение к

ботам в разных сетях разное и в основном зависит от общей

политики сети. Например, в IRCNet боты не приветствуются,

но и нет регистрации каналов. В сети EfNet регистрации

каналов также нет, но к ботам относятся равнодушно.

Операторы сети — это администраторы, управляющие

работой сети в целом. В их власти выкинуть пользователя с

сервера и запретить ему вход на отдельный сервер или вообще

на все сервера сети. Однако операторам запрещено

вмешиваться во внутренние дела каналов — для этого

существуют операторы каналов. Фактически операторы могут

вмешиваться только если в результате действий какого-либо

пользователя нарушается нормальная работа сети.

5.6. Usenet

Usenet — компьютерная сеть, используемая для общения

и публикации файлов. Usenet состоит из ньюсгрупп, в которые

пользователи могут посылать сообщения. Сообщения хранятся

на большом количестве серверов, которые обмениваются ими

друг с другом. Usenet оказал большое влияние на развитие

Веб-культуры, дав начало таким широко известным сегодня

понятиям, как ники, смайлы, подпись, модераторы, троллинг,

flood, флейм, бан, FAQ и спам.

Usenet — одна из старейших сетей, широко

используемых до сих пор. Она появилась в 1980 году —

задолго до того, как широкая публика получила доступ ко

Всемирной паутине. Система была разработана в Duke

University. В настоящее время практически весь Usenet-трафик

передаётся по Интернету, а формат сообщений и способ их

передачи очень похож на электронную почту. Однако, если

электронная почта используется прежде всего для общения

«один на один», то Usenet действует по принципу «один для

всех». Сообщения, которые пользователь публикует (англ.

posts) в Usenet, организуются в тематические категории,

называемые новостными группами (англ. newsgroups) или

конференциями, которые, в свою очередь, организуются в

собственную иерархию, подобную структуре доменных имён.

Например, группы sci.math и sci.physics находятся внутри

иерархии sci (сокращение от англ. scienceq— наука). С

помощью приложений для работы с Usenet пользователь

может «подписаться» на определённые конференции.

Когда пользователь отправляет сообщение, вначале оно

становится доступно только на его сервере. Но каждый сервер

news обменивается сообщениями с несколькими другими

соседними серверами, и таким образом сообщение должно

оказаться на каждом сервере в сети. Пиринговые сети

используют подобный принцип, однако в Usenet отправка

сообщения инициируется отправителем, а не получателем.

Провайдеры и новостные серверы

Многие Интернет-провайдеры в числе прочих услуг

предоставляют своим пользователям бесплатный доступ к

собственным новостным серверам. Однако, далеко не каждый

из них способен предложить доступ ко всем новостным

группам и их содержимому. Объёмы публикуемой

информации в Usenet колоссальны (по некоторым данным

порядка 3 — 5 терабайт в сутки). Их хранение и пересылка

предполагают большие расходы. Именно поэтому доступ к

большей части информации предоставляется за плату

специализированными новостными серверами. Объёмы

информации для загрузки/публикации, сроки её хранения

(retention) и скорость передачи, главным образом, влияют на

стоимость их услуг. Основной объём трафика приходится на

иерархию "бинарных" групп alt.binaries.*. Именно они

предназначены для публикации файлов, именно в них

пользователи делятся фотографиями, музыкой, фильмами,

играми и программами. Именно их содержание частично или

полностью оказывается недоступным пользователям

бесплатных сервисов. Важно заметить, что обмена файлов как

такового (в понимании peer-to-peer) в бинарных группах нет.

Фактически пользователи публикуют файлы и текстовые

сообщения наподобие большого общего, разделенного на

тематики, ftp-сервера. Публикуют особым образом, со

вспомогательными и сопутствующими файлами, что вызвано

спецификой организации Usenet. В дискуссионных

подгруппах, где они предусмотрены, можно оставить

сообщение, в котором попросить других участников

"выложить" какой-либо материал по данной теме. Но "обмена"

100

нет, т.е. чтобы что-либо скачать — ни с кем делиться,

набирать рейтинги и прочее не надо — в этом смысле Usenet

образно похож на обычный ftp-сервер.

Некоторые платные сервера предлагают 256-битное SSL

шифрование соединения с клиентом пользователя,

исключающее какую-либо возможность контроля за

содержимым обмениваемой информации со стороны интернет-

провайдера и третьих лиц.

Однако, несмотря на некоторые недостатки (платный

доступ, срок жизни публикаций (retention) и пр.), Usenet даже в

эру пиринговых сетей остается популярным способом

публикации и загрузки файлов. Многие релизы начинают свое

шествие по глобальной сети именно из новостных групп, а

многие из-за своих внушительных объёмов не выходят за их

пределы. Максимально высокая скорость доступа, отсутствие

необходимости обмениваться и делиться, передавая данные

после и во время загрузки другим пользователям, обсуждение

выкладываемых файлов и общение на данную тему, высокая

анонимность и безопасность, зачастую уникальность и

редкость доступного материала — это то, что Usenet может

противопоставить P2P.

Загрузка и публикация файлов в Usenet

Сервера Usenet дублируют (частично или полностью)

информацию хранящуюся друг у друга для того чтобы их

пользователи могли общаться между собой. Однако, работают

они не синхронно. Каждый из них имеет свои ограничения на

объём загружаемой ежедневно информации с других серверов

или, по крайней мере, сроки её хранения (англ. retention rate).

Причем администрация сервера определяет сама, какие группы

следует синхронизировать, в каком объёме и сколько в той или

иной группе должна храниться информация. Каждый сервис в

силу собственных возможностей стремится предоставить

максимум своим пользователям. Многие платные серверы

негласно приветствуют практически любой контент, даже

пиратский, отказывясь вести логи (протоколировать действия

101

своих пользователей) и не имеют ограничений на публикацию

файлов.

Среди прочих ограничений осложняющих публикацию в

Usenet, с которыми невольно сталкнется каждый пользователь

есть и ограничение на объём одной публикации (кол-во строк /

мегабайт). На каждом сервере администрация устанавливается

свой лимит. Для публикации больших файлов их

предварительно приходится разбивать на множество частей.

Здесь на помощь может придти WinRAR с возможностью

создания многотомных архивов заданной величины. Но даже

если такие ограничения не установлены, необходимо

разбивать большие файлы (например фильмы или образы

дисков) на части не более чем по 50 мегабайт. Эта

необходимая рекомендация и правило хорошего тона.

Небольшие файлы лучше распространяются между серверами,

сохраняется их целостность.

На случай возможной утраты, повреждения отдельных

томов архивов или файлов публикующими нередко

используются PAR2-файлы (англ. parchive, parity file),

содержащие в себе необходимые данные для контроля

целостности и коррекции ошибок. С их помощью файлы

можно легко восстановить. Обычно для работы с PAR2

используют утилиту QuickPar.

Все файлы, имеющиеся в юзнете, будь то музыка,

изображения, видео, программное обеспечение, образы

дисков, игры и прочие, представлены в текстовом виде

специальной кодировкой и прикреплены к сообщению, точно

так же, как и в электронной почте.

Большой популярностью пользуется кодировка yEnc, как

наиболее компактная.

5.7. WWW

WWW (World Wide Web) — глобальное информационное

пространство, основанное на протоколе передачи данных

HTTP. Всемирная паутина вызвала настоящую революцию в

информационных технологиях и бум в развитии Интернета.

102