Кришнамурти Б., Рексфорд Дж. Web-протоколы. Теория и практика

Подождите немного. Документ загружается.

Часть I. Вводная

Термин

Прокси-сервер

Описание |

Промежуточная программа, функционирующая как сервер для

клиента и как клиент для сервера |

Служебная информация, передаваемая между агентом пользователя и

исходным сервером |

1.3.3. Сеть

в таблице 1.4 приведены основные термины, относящиеся к сетевым протоко-

лам, составляющим основу Web. Клиент и сервер обычно выполняются как про-

граммы на хостах. Как правило, клиент и сервер размещаются в различных местах

в Internet, хотя в настоящее время отмечается быстрый рост применения Web

внутри организаций. Отправка и получение НТТР-сообщений требует, чтобы два

хоста могли идентифицировать друг друга и обмениваться информацией. Развитие

Internet привело к появлению стандартных протоколов, поддерживающих множе-

ство сетевых сервисов, таких как FTP, электронная почта и Web. На нижнем уров-

не Internet предоставляет основной коммуникационный сервис — доставку паке-

тов данных от одного хоста другому. Протокол Internet Protocol (IP) осуществляет

доставку отдельных пакетов; при этом отправляющий и принимающий хосты иден-

тифицируются 32-битными IP-адресами. Эти адреса обычно представляются в но-

тации, когда каждая из четырех восьмибитных составляющих адреса записывается

в виде десятичного числа. Эти составляющие отделяются друг от друга точками

(например, 10.243.74.5 или 10.4.170.124).

Таблица 1.4. Терминология, относящаяся к Internet и протоколам

Термин

Хост

Пакет

IP-адрес

Имя хоста

DNS

TCP

Соединение

Описание |

Компьютер, подключенньн"! к сети |

Основная ед1Н1ица передачи информации в Internet |

Internet Protocol — протокол, который осуществляет доставку отдельных

пакетов между хостами |

32-битный числовой адрес, идентифицирующий хост^ в Internet |

Чувствительная к регистру строка, идентифицирующая хост в Internet |

Система именования доменов (Domain Name System), распределенная

инфраструктура для преобразования доменных имен хостов в 1Р-адрсса |

Transmission Control Protocol

—

протокол, который реализует концепцию

надежного двунаправленного соединения |

Логический коммуникационный капал мел<ду двумя хостами

Простая служба доставки пакетов не удовлетворяет потребностям большинства

сетевых приложений, включая Web. Web-клиент идентифицирует Web-сервер но

доменному имени хоста (например, www.att.com или users.berkeley.edu), а не по

IP-адресу, а приложения обмениваются HTTP-сообщениями, а не IP-пакетами.

Чтобы соединить эти части друг с другом, используется система именования доме-

Точиее IP-адрес идентифицирует сетевой интерфейс.

—

Прим.

ред.

Глава 1. Введение 31

нов Domain Name System (DNS) и протокол управления передачей Transmission

Control Protocol (TCP). Перед обращением к Web-серверу Web-клиент сначала пре-

образует с помощью DNS доменное имя хоста www.att.com в IP-адрес. Web-кли-

епт осуществляет системный вызов для обращения к DNS-серверу, который воз-

вращает IP-адрес www.att.com. Используя этот IP-адрес, Web-клиент инициирует

взаимодействие с Web-сервером. Клиент и сервер устанавливают ТСР-соедине-

ние — логический коммуникационный канал, который обеспечивает двунанравлеп-

пое взаимодействие между двумя приложениями. Реализованный в операционных

системах двух хостов, TCP скрывает детали отправки и получения данных через

Internet. После того, как соединение установлено, клиент может использовать

ТСР-соединение для отправки HTTP-запроса серверу, а сервер может отреагиро-

вать,

передав HTTP-ответ.

1.3.4.

Стандартизация

в таблице 1.5 приведены основные термины, относящиеся к стандартизации

протоколов. Браузеры, прокси- и Web-серверы взаимодействуют между собой, что-

бы предоставить пользователю доступ к ресурсам в Web. Хотя каждый Web-сайт

может иметь свой набор ресурсов с различным сочетанием типов содержания, дос-

туп к этим ресурсам должен быть независимым от их атрибутов. Стандартизация

протоколов жизненно необходима, чтобы компоненты взаимодействовали между

собой должным образом. Клиент, отправляющий запрос, должен иметь возмож-

ность ясно представлять тот спектр ответов, которые он может получить, а сервер

должен иметь возможность однозначно интерпретировать запрос. Хотя программ-

ное обеспечение Web может быть создано различными компаниями или исследова-

тельскими организациями, взаимодействие между компонентами должно быть

предсказуемым. Написание компонентов программного обеспечения Web и по-

строение Web-сайтов должно осуществляться с помощью четко определенных ин-

терфейсов. Стандарт протокола дает возможность гарантировать, что компоненты

могут взаимодействовать друг с другом, а процесс стандартизации позволяет при-

водить вновь разрабатываемые компоненты в соответствие со стандартом.

Таблица 1.5. Терминология, относящаяся к стандартам протоколов Internet

Термин

IETF

Рабочая группа

Рабочий проект

(Internet Draft)

RFC

MUST, SHOULD

и MAY

Описание |

Проблемная группа проектирования Internet (Internet Engineering

Task Force) — открытое сообщество, занимающееся развитием и

совершенствованием Internet |

Группа IETF, занимающаяся разработкой определенных стандартов |

Неофициальная версия документов по стандарту, отражающая, что

работа над стандартом продолжается |

Запрос на комментарий (Request For Comments), официальный

документ, связанный со стандартами Internet |

ОБЯЗАТЕЛЬНО, ЖЕЛАТЕЛЬНО и ВОЗМОЖНО - уровни

требований к совместимости со спецификацией протокола

Internet пе имеет единого «центра управления»; различные хосты и сети при-

держиваются стандартов протоколов добровольно. Организация Internet Engineering

Task Force (IETF) [Bra96bJ представляет собой открытое сообпдество разработчи-

Часть

I. Вводная

ков,

поставщиков программных продуктов и исследователей, которые способству-

ют развитию и функционированию Internet. Описания стандартов в публикуемых

документах составляют основу для взаимопонимания. IETF формирует стандарты

с помощью официальных публикаций, называемых Request for Comments (RFC —

запрос на комментарии). Первый документ RFC был опубликован в 1969 г.

Документы IETF на началыюм этапе представляют собой рабочие проекты

(Internet Drafts), которые являются неофициальными документами, подвергаемы-

ми корректировкам на основе замечаний, получаемых от членов сообщества. Не

все рабочие проекты превращаются в RFC. RFC делятся по темам и направлениям:

стандарты, история, информация и исследования. Документы стандартов обычно

создаются рабочей группой (Working Group) IETF. Требования совместимости со

стандартом имеют различные уровни: MUST (ОБЯЗАТЕЛЬНО), SHOULD (ЖЕЛА-

ТЕЛЬНО) и MAY (ВОЗМОЖНО). Любая совместимая реализация должна удовле-

творять всем требованиям уровня MUST. Реализация может считаться условно со-

вместимой, если она удовлетворяет всем требованиям уровня SHOULD. Требова-

ния уровня MAY соблюдать необязательно. Эти уровни требований помогают

обеспечить взаимную совместимость различных реализаций. Документы стандар-

тов проходят через три стадии: Proposed Standard (Предложение по стандарту),

Draft Standard (Проект стандарта) и Internet Standard (Стандарт Internet), посте-

пенно проходя путь от хорошо разработанной спецификации до высококачествен-

ного,

зрелого в техническом отношении документа, основанного на практическом

опыте- применения. Некоторые RFC отражают текущий нрактаческий опыт (best

current practices

—

ВСР) и известны как ВСР-документы. Стандарты действуют не

вечно

—

они могут быть отменены и заменены следующей спецификацией.

Чтобы содействовать росту Web, в 1994 г. был основан World Wide Web

Consortium (W3C). W3C было разработано множество стандартов, получивших на-

звание Рекомендаций, которые имели отношение к Web. W3C сосредотачивает

свое внимание на представлении Web-содержания и связанных с этим технологиях

(например, языке HTML), а не на аспектах, относящихся собствегню к сети. W3C

работает над вопросами архитектуры, проблемами, связанными с пользователь-

ским интерфейсом, форматами, языками, юридическими вопросами и вопросами

издательской деятельности, а также проблемами доступности Web для людей с ог-

раниченными возможностями (инвалидов).

1.3.5.

Web-трафик и производительность

Таблица 1.6 содержит термины, имеющие отношение к Web-трафику и произ-

водительности. Широкая популярность Web привела к быстрому росту числа

пользователей и Web-сайтов. Однако возможности сети и серверов не безгранич-

ны.

Желание пользователей быстро получать ответы стало причиной более при-

стального в1Н1мани51 к проблемам производительности. Время ожидания

—

это вре-

мя между началом действия, например, отправкой сообщения-запроса и первым

признаком получения ответа. Время ожидания на стороне пользователя ~ это за-

держка между моментом, когда пользователь активизирует гииерссылку, и началом

отображения запрашиваемого содержимого в окне браузера. Каждый программный

компонент и протокол характеризуются определенным временем ожидания на сто-

роне пользователя. Например, браузер должен построить HTTP-запрос, опреде-

лить IP-адрес сервера, установить ТСР-соединение с сервером, передать запрос,

дождаться ответа и, наконец, отобразить ответ пользователю. Большое время ожи-

дания на стороне пользователя может обусловливаться различными факторами, та-

Глава

Введение

кими как задержки при обращении к DNS, «заторы» в сети или перефуженность

сервера.

Таблица 1.6. Терминология, относящаяся к Wcb-трафику и производительпости

Термин

Время ожидания

Время ожидания на

стороне пользователя

Пропускная

способность

Рабочая нагрузка

Регистрация в журнале

Описание |

Время между началом действия и первым признаком ответа |

Время между действием пользователя и началом отображения

содержимого |

Объем трафика, который может быть передан за единицу времени

Набор входных данных, получаемых компонентом Web за

определенное время |

Запись транзакций, выполненных компонентом Web

Кроме того, браузер может работать через Internet-соединепие с относительно

низкой пропускной

способностью,

например, через модем со скоростью передачи

28,8 Кбит/с. Передача ресурса большого объема через модем вносит заметную за-

держку, даже если Web-сервер и остальная часть Internet загружены мало. Анализ

производительности сложной и разнородной системы, каковой является Web, на

практике представляет собой достаточно непростую задачу. Все же общее пред-

ставление о системе и осведомленность в принципах ее функционирования имеют

важное значение для выявления проблем с производительностью и совершенство-

вания технологий. Измерение параметров и анализ Web-трафика необходимы для

того,

чтобы охарактеризовать работу пользователей и свойства ресурсов, доступ-

ных в Web. Большинство действий по анализу Web-трафика заносятся в журналы

регистрации,

которые обеспечивают запись информации HTTP-передачах, выпол-

няемых программными компонентами Web. Анализ журналов регистрации полезен

для понимания характеристик рабочей нагрузки программных компонентов Web.

Рабочая нагрузка определяется набором всех входных данных (например,

HTTP-запросов), получаемых компонентом за определенное время. Характеристи-

ки рабочей нагрузки, такие как время между запросами, а также размеры и степень

популярности различных ресурсов, имеют важное влияние на производительность

Web-протоколов, программных компонентов и сети.

1.3.6.

Web-Приложения

в таблице 1.7 приведены термины, относящиеся к Web-нриложепиям. С ростом

популярности Web кэширование и мультимедийные потоки стали важными при-

ложениями. Рост Web привел к большой загруженности Web-серверов и Internet

и, как следствие, к увеличению времени ожидания на стороне пользователя при

доступе к Web-содержимому. Кэширование перемещает содержимое ближе к поль-

зователю. Это относительно простая идея, существовавшая уже на первых порах

развития Web. Кэш представляет собой локальное хранилище сообщений. Кэш мо-

жет размещаться в браузере пользователя, па Web-сервере или на компьютере, рас-

положенном на пути между пользователем и Web-сервером. Хотя кэширование по-

вышает производительность, кэшированпые ответы могут отличаться от тех, кото-

рые имеются па исходном сервере. Механизм

согласования

кэша используется для

обеспечения совпадения кэшировапного сообщения с сообщением па сервере. Аль-

Часть

L Вводная

тернативой кэшированию является репликация, предусматривающая явное дубли-

рование Web-содержания на нескольких серверах. Клиентский запрос направляет-

ся одной из реплик. Вместо репликации всего содержания Web-сайта может осу-

ществляться избирательная доставка содержания от имени исходного сервера.

Подобный прием называется распределением Web-содержания.

Таблица 1.7. Терминология, связанная с Web-KarnHpoBaimcM и организацией

мультимедийных потоков

Термин

Кэш

Согласование кэша

Репликация

Распределение

Web-содержаиия

Поток аудио/видеодаппых

Потоковая передача

Медиаплсйер

Описание |

Хранилище сообщений, используемое для сокращения

времени ожидания па стороне пользователя, а также

снижения нагрузки на сеть и па сервер |

Механизм снижения вероятности возврата устаревших

сообщений из кэша |

Дублирование ресурсов на нескольких исходных серверах |

Доставка ресурсов от имени исходного сервера

Последовательность звуковых сэмплов или видеокадров |

Одновременная передача информации сервером и

воспроизведение клиентом аудио/видео данных |

Приложение для воспроизведения мультимедийных потоков!

Web предоставляет доступ к разнообразным ресурсам безотносительно к их

формату и местоположению. В последние несколько лет наблюдается рост попу-

лярности аудио и видео в Web. В отличие от традиционного Web-содержания, по-

токи аудио или видеоданных состоят из последовательностей звуковых сэмплов

или видеокадров, занимающих определенный период времени. В приложениях для

воспроизведения мультимедийных потоков, таких как музыкальные проигрывате-

ли или видео по запросу, клиент воспроизводит сэмплы или кадры по мере их по-

ступления от сервера вместо того, чтобы загрузить все содержимое целиком, а за-

тем начать его воспроизведение. Такие приложения обычно поглощают значитель-

ную часть пропускной способности сети и чувствительны к задержкам при

получении аудиосэмшюв и видеокадров. Хотя HTTP и может быть использован

для доставки мультимедийного содержания, по большей части передача мультиме-

дийных данных лишь инициируется с помощью HTTP. Затем отделыюе вспомога-

тельное приложение, медиаплейер, взаимодействует с мультимедийным сервером,

используя свой набор протоколов, которые лучше подходят для работы с потоками

аудио и видео.

1.4. Темы, оставшиеся нераскрытыми

Представление технической основы Web

—

достаточгю непростая задача. Быст-

рый рост Web привел к беспрецедентному технологическому развитию, включая

идеи, заимствованные и адаптированные из более ранних протоколов, языков и

приложений. Эта книга сосредотачивает свое внимание па протоколах и программ-

Глава

Введение

пых компонентах, имеющих отношение к передаче Web-содержания; в связи

с этим, в книге не рассматриваются достаточно глубоко другие темы, такие как:

• Языки, включая Hypertext Markup Language (HTML) и XML (extensible

Markup Language).

• Perl и другие языки сценариев для Web-приложений.

• Проблемы безопасности в Web.

• Социальные проблемы, а также проблемы выбора и реализации стратегий, от-

носящихся к конфиденциальности, безопасности и доступности.

• Вопросы администрирования и настройки прокси- и Web-серверов.

• Программные продукты конкретных производителей, включая прокси- или

Web-серверы.

Подробное рассмотрение этих вопросов не входит в задачу дагпюй книги. Под-

робную информацию но ним вы можете найти в других книгах. Например, есть мно-

жество книг, где описывается HTML или настройка Web-серверов. Наконец, мы ре-

шили не уделять особого внимания ряду вопросов, таких как описание программных

продуктов различных производителей, поскольку такая информация быстро устаре-

вает. Вместо этого мы сосредоточили внимание на концепциях и технологиях.

1.5. Краткий экскурс по книге

в этом разделе мы совершим краткий экскурс по книге. Читатели могут при-

нять решение пропустить определенные главы книги, либо изучать ее полностью

в порядке следования глав. В данной главе был дан общий обзор Web и тем, затра-

гиваемых в книге. Последующие главы книги поделены на пять основных частей:

• Программные компоненты Web. Во второй части книги рассматриваются

ключевые программные компоненты Web: клиенты, прокси- и Web-серверы.

Широкое распространение браузера Mosaic способствовало успешному разви-

тию Web. Последующее создание прокси-серверов способствовало масштаби-

руемости. Современные Web-серверы далеко ушли от своих первых реализа-

ций и в настоящее время способны обслуживать десятки миллиогюв запросов

ежедневно. В этой части книги содержится как исторический обзор эволюции

компонентов, так и обзор ключевых принципов их функционирования. Хотя

каждый из компонентов рассматривается по отдельности в соответствующих

главах, показана их взаимосвязь на классическом примере стандартной Web-

транзакции. Три главы предоставляют необходимую базу для перехода к бо-

лее детальному рассмотрению инфраструктуры Web далее в этой книге. Сна-

чала вы познакомитесь с клиентами, затем с прокси- и, наконец, с Web-серве-

рами, т.е. пройдете тем путем, который обычно проходят сообщения. Помимо

наиболее популярного Web-клиента

—

браузера, мы также познакомим вас со

специализированными клиентами, такими как спайдерами, сканирующими

сеть,

которые дали возможность реализовать в Web популярные поисковые

приложения. Рассматриваются также вопросы, связанные с cookies, которые

используются для сохранения информации при обмене Web-сообщениями.

Эти вопросы рассматриваются как применительно к клиенту, так и примени-

тельно к серверу. Поскольку эта часть книги предшествует главам, посвящен-

ным протоколам, мы отложим обсуждение проблем, относящихся к Web-про-

токолам, На примере популярного Web-сервера Apache рассматривается архи-

тектура и функциональные возможности Web-сервера.

36 Часть I. Вводная

• Web-протоколы. Доставка Web-содержания зависит от ряда стандартных

протоколов: IP, TCP, DNS, которые обеспечивают основные коммуникацион-

ные сервисы, и HTTP, представляющего собой протокол прикладного уровня.

Эти протоколы эволюционировали на протяжении многих лет в ходе процесса

стандартизации, осуществляемого IETF, и все вместе образуют устойчивую

инфраструктуру для запроса и передачи Web-ресурсов. Глубокое обсуждение

этих протоколов формирует основу книги и служит важным базовым мате-

риалом для остальных глав. Рассмотрение ведется по принципу снизу —

вверх, начиная с главы, посвященной сетевым протоколам: IP, DNS, TCP, а

также различным протоколам прикладного уровня, предшествовавшим HTTP.

Следующие две главы посвящены подробному рассмотрению протокола

HTTP — как НТТР/1.0, так и более новому стандарту НТТР/1.1. Материал

поделен на две главы, чтобы показать эволюцию протокола с течением време-

ни на фоне быстрого роста Web. В ходе обсуждения раскрывается процесс

эволюции протокола, анализируются проблемы, свойственные ранним верси-

ям протокола. Две главы, посвященные HTTP, дополняют описание протоко-

ла в соответствии с документами RFC 1945 и RFC 2616. Эта часть книги за-

канчивается главой, где рассмотрено взаимодействие между HTTP и TCP, ко-

торое оказывает важное влияние на эффективность Web-трафика в Internet.

• Измерение параметров и характеристики Web-трафика. В этой части книги

мы представляем подробный обзор имеющихся технологий для сбора и анали-

за параметров Web-трафика. Прокси- и Web-серверы создают записи в жур-

налах регистрации при выполнении HTTP-транзакций. Измерения также мо-

гут осуществляться путем пассивного мониторинга ссылок в сети или актив-

ного генерирования запросов к целевым серверам. С первых дней существова-

ния Web исследователи и разработчики протоколов осуществляли анализ из-

меренных данных для определения характеристик Web-трафика и поиска ме-

тодов повышения производительности Web. Производительность Web зави-

сит от того, как поведение пользователей связано с базовыми протоколами и

программными компонентами. Измерение параметров и анализ Web-трафика

играет также важную роль в создании эталогнхых тестов для сравнения раз-

личных реализаций прокси- и Web-серверов. В первой главе обсуждаются три

основных этапа в измерении параметров Web-трафика: мониторинг передачи

сообщений, генерирование записей о проведенных измерениях и предвари-

тельная обработка данных перед их анализом. Мы рассмотрим регистрацию

параметров для клиентов, прокси- и Web-серверов, а также мониторинг паке-

тов и активные измерения. Далее мы обсудим, как преодолевать ограничения,

свойственные каждому из методов измерений, и рассмотрим практические

примеры, демонстрирующие их реальное применение. Вторая глава посвяще-

на построению моделей рабочей нагрузки, которые позволяют выявить наибо-

лее существенные параметры Web-трафика. В подробном обзоре характери-

стик Web-трафика особое внимание уделено применению HTTP, ключевых

атрибутов Web-pecypcoB и влиянию поведения пользователей на Web-тра-

фик. Мы также выясним, как характеристики рабочей нагрузки могут изме-

няться при дальнейшем развитии Web.

• Web-приложения. Пятая часть книги фокусирует внимание на двух ключе-

вых приложениях — кэшировании и мультимедийных потоках, — которые

оказывают значительное влияние на доставку Web-содержания. Быстрый

рост Web привел к резкому увеличению Internet-трафика. Ни одна другая

технология не развивалась столь быстро. В настоящее время три из четырех

Глава 1. Введение 37

пакетов в трафике Internet приходятся на Web. Такой прорыв сделал кэширо-

вание насущной необходимостью. В главе, посвященной кэшированию, дается

обзор основных принципов и методов кэширования. Рассматриваются имею-

щиеся на сегодняшний день проблемы, связанные с кэшированием, в свете

протоколов кэширования, аппаратных и программных средств кэширования и

с учетом последних веяний, касающихся распределения Web-содержания.

В следующей главе представлены вопросы, связанные с доставкой аудио- и

видеосодержания, которое является быстро растущим сегментом Web-трафи-

ка. По мере того, как все больше пользователей получают доступ к соединени-

ям с Internet с высокой пропускной способностью, мультимедийные потоки

становятся все более распространенным явлением. В главе обсуждаются уни-

кальные требования, предъявляемые к аудио- и видеоданным, в сравнении

с традиционным содержанием в виде текста и изображений. Далее мы рас-

смотрим протоколы, предназначенные для передачи мультимедийных пото-

ков,

в том числе достаточно глубоко познакомимся с протоколом Real Time

Streaming Protocol (RTSP), который заимствовал несколько ключевых прин-

ципов от НТТР/1.1.

• Перспективы исследований. Последняя часть книги посвящена перспективам

исследований по трем важным и актуальным темам: кэширование, измерение

параметров и протоколы. Вместо представления сформировавшихся и обще-

принятых идей, эти главы предоставляют краткий обзор технологий в процес-

се их развитии, В этих главах объясняются мотивы и разъясняются отдельные

составляющие исследований, а также приводятся оценки тех или иных идей.

Идеи, рассмотренные здесь, получили всеобщее признание, но не были широ-

ко реализованы на момент издания книги. Для каждой темы рассматриваются

факторы, влияющие на возможную реализацию идей или на основные выводы

по результатам исследований. Даже если идея никогда не применялась на

практике, процесс нахождения и оценки решения имеет непреходящее значе-

ние для стимулирования новых идей. В каждом из разделов в этих трех главах

рассматривается отдельная подтема или исследование. Главы не предоставля-

ют полный обзор исследований, проводящихся по каждой из тем. Вместо это-

го в них главным образом нашли выражение наши пристрастия и предположе-

ния относительно того, какие темы исследований станут наиболее важными.

Кроме того, при выборе тем исследований предпочтения отдавались тем из

них, которые связаны с ключевыми принципами и стагщартными протокола-

ми,

рассмотренными в предыдущих частях книги.

Все пять частей книги, объединенные воедино, представляют описание техноло-

гий, составляющих основу Web.

Часть II

Компоненты программного

обеспечения Web