Кришнамурти Б., Рексфорд Дж. Web-протоколы. Теория и практика

Подождите немного. Документ загружается.

10 Web-протоколы. Теория и практика

10.6.

Применение моделей рабочей нагрузки 375

10.6.1.

Объеди11е11Р1е параметров иагрузкР! 375

10.6.2.

Проверка достоверности модели рабочей нагрузки 377

10.6.3.

Генерация сиитезированного трафика 378

10.7.

Конфиденциальность пользователей 379

10.7.1.

Доступ к данным пользователей 379

10.7.2.

Информация, доступная компонентам

программного обеспечения 381

10.7.3.

Использование данных пользовательского уровня 382

10.8.

Резюме 383

ЧАСТЬ V. Web-приложения 385

Глава 11. Кэширование 387

11.1.

Истоки и цели Web-кэшироваиия 388

11.2.

Зачем нужно кэширование? 389

11.3.

Что кэшировать? 391

11.3.1.

Требования, определяемые протоколом 392

11.3.2.

Соображения, определяемые Web-содержанием 393

11.4.

Где выполняется кэширование? 394

11.5.

Как выполняется кэширование? 395

11.5.1.

Решение о необходимости кэширования 396

11.5.2.

Захмещение содержимого кэша и запись ответа в кэш 396

11.5.3.

Возврат кэшированного ответа 397

11.5.4.

Обслуживание кэша 397

11.6.

Замещение кэша 397

11.7.

Согласованность кэша 400

11.8.

Скорость изменения ресурсов 402

11.9.

Протоколы кэширования 403

11.9.1.

Протокол Internet Cache Protocol (ICP) 403

11.9.2.

Cache Array Resolution Protocol (CARP) 404

11.9.3.

Cache Digest Protocol (CADP) 405

11.9.4.

Web Cache Coordination Protocol (WCCP) 405

11.10.

Программное и аппаратное обеспечение кэширования 406

11.10.1.

Программное обеспечение кэширования. Squid 406

11.10.2.

Аппаратное обеспечение кэширования 408

11.11.

Препятствия для кэширования 411

11.11.1.

Отключение кэширования 411

11.11.2.

Проблемы конфиденциальности кэширования 412

11.12.

Кэширование и репликация 413

11.13.

Распределение Web-содержания 414

11.14.

Адаптация Web-содержания 416

11.15.

Резюме 417

Глава 12. Доставка мультимедийных потоков 419

12.1.

Мультимедийные потоки 420

12.1.1.

Данные аудио и видео 420

12.1.2.

Приложения д.71я мультимедийных потоков 422

12.1.3.

Свойства мультимедийных приложений 423

12.2.

Доставка мультимедийного содержания 425

12.2.1.

Требования к производительности 425

12.2.2.

Ограничения, свойственные IP-сетям 426

12.2.3.

Мультимедиа по запросу по HTTP 427

12.3.

Протоколы для передачи мультимедийных потоков 429

Содержание И

12.3.1.

Передача данных 430

12.3.2.

Создание сеанса 432

12.3.3.

Описание сеанса 432

12.3.4.

Описание презентаций 433

12.4.

Real Time Streaming Protocol 435

12.4.1.

Сходства и различия 435

12.4.2.

Методы запросов RTSP 437

12.4.3.

Заголовки RTSP 440

12.4.4.

Коды состояния RTSP 447

12.5.

Резюме 450

Часть VI. Перспективы исследований 451

Глава 13. Перспективы исследований, связанных с кэшированием . . . 453

13.1.

Проверка актуальности и аннулирование элементов кэша 454

13.1.1.

Затраты, связанные с проверкой! актуа.тьности 455

13.1.2.

Упрсл^дающая проверка актуальности 456

13.1.3.

Использование совмещения 457

13.1.4.

Аннулирование, управляемое сервером 462

13.2.

Комплексный обмен информацией 463

13.2.1.

Серверные тома 464

13.2.2.

Фильтры прокси-серверов 465

13.2.3.

Тома и фильтры. Практическое использование 466

13.2.4.

Алгоритмы построения томов 469

13.2.5.

Оценка алгоритмов построения томов 472

13.2.6.

Комплексный информационный обмен. Резюме 474

13.3.

Упреждающая выборка 475

13.3.1.

Упреждающее преобразование доменных имен 475

13.3.2.

Упреждающее установление соединений 476

13.3.3.

Упреждающая выборка в HTTP 477

13.3.4.

Компромиссы при упреждающей выборке 478

13.4.

Резюме 480

Глава 14. Перспективы исследований, связанных с измерениями ... 481

14.1.

Мониторигн^ пакетов НТТР-трафика 482

14.1.1.

Подключение к каналу 483

14.1.2.

Перехват пакетов 485

14.1.3.

Демультиплексирование пакетов 487

14.1.4.

Восстановление упорядоченного потока 488

14.1.5.

Извлечение HTTP-сообщений 489

14.1.6.

Создание НТТР-трасс 491

14.2.

Анализ журналов Web-серверов 493

14.2.1.

Синтаксический анализ и фильтрация 493

14.2.2.

Преобразования .' 495

14.3.

Общедоступные журналы и трассы 498

14.4.

Измерение параметров мультимедийных потоков 499

14.4.1.

Статический анализ мультимедийных ресурсов 499

14.4.2.

Журналы мультимедийных серверов 500

14.4.3.

Мониторинг пакетов мультимедрн1ных потоков 501

14.4.4.

Многоуровневый мониторинг пакетов 503

14.5.

Резюме 504

Глава 15. Перспективы исследований протоколов 505

15.1.

Мультиплексирование HTTP-передач 507

15.1.1.

WebMux

—

экспериментальный протокол мультиплексирования 507

15.1.2.

TCP Control Block Interdependence . . . / 509

12 Web-протоколы. Теория и практика

15.1.3.

Integrated Congestion Management 511

15.2.

Добавление дельта-механизма в НТТР/1.1 512

15.2.1.

Побудительные причины для использования дельта-механизма

для HTTP-сообщений .514

15.2.2.

Сравнение дельта-алгоритмов 515

15.2.3.

Проблемы, связанные с внедрением дельта-механизма в НТТР/1.1 . . . 519

15.2.4.

Текущее состояние дел с внедрением дельта-механизма в НТТР/1.1. . . . 525

15.3.

Совместимость с протоколом НТТР/1.1 525

15.3.1.

Мотивация для проведения исследований совместимости

со спецификацией протокола 526

15.3.2.

Тестирование совместимости клиентов и прокси-серверов 526

15.3.3.

Методология тестирования на совместимость 527

15.3.4.

PRO-COW. Масштабное исследование совместимости 529

15.3.5.

Совместимость с протоколом. Резюме 533

15.4.

Комплексное измерение показателей эффективности Web 533

15.4.1.

Определение факторов, влияющих на комплексную эффективность . . . 534

15.4.2.

Отчет по исследованию комплексной эффективности 538

15.4.3.

Резюме комплексного исследования эффективности 544

15.5.

Другие расширения HTTP 545

15.5.1.

Transparent Content Negotiation 545

15.5.2.

WebDAV

—

Web Distributed Authoring and Versioning 547

15.5.3.

Инфраструктура расширений HTTP 548

15.6.

Резюме 548

Литература 551

Предметный указатель 571

Посвящается

—

Балачандер Кришнамурти

Моим

родителям,

Джону и

Сьюзан

Рексфорд,

за их

любовь

поддержку

— Дженифер Рексфорд

Предисловие

Введение

Эта книга описывает технические основы Всемирной паутины (World Wide

Web).

Мы обсудим технологии передачи, кэширования и оценки параметров сооб-

щений, которые переносят информационное содержимое между Web-сайтами и ко-

нечными пользователями. Сообщения передаются между клиентами, прокси-серве-

рами и Web-серверами

—

тремя основными программными компонентами Web.

Формат и способ передачи этих сообщений определяются коммуникационными

протоколами, принципы которых описаны в созданных на протяжении ряда лет

стандартах. Мероприятия по оценке эффективности и повышению производитель-

ности Web основаны па методах сбора и анализа параметров трафика. За счет пе-

ремещения Web-содержания ближе к конечным пользователям кэширование со-

кращает время ожидания на стороне пользователя, а также снижает нагрузку на

Web-серверы и сети. Помимо доставки текста и изображений Web-трафик стал

также переносить потоки аудио- и видеоинформации. Мультимедийные потоки за-

нимают особое место в коммуникационных протоколах. Все эти вопросы, состав-

ляющие техническую основу Web, подробно обсуждаются в книге.

В книге всесторонне рассмотрены системы и протоколы, ответственные за пере-

дачу Web-содержания. Эта книга может быть полезной администраторам Web-сай-

тов,

разработчикам, использующим Web-технологии, студентам, изучающим Web

и сетевые технологии, а также сообществу исследователей и специалистов по ин-

формационным технологиям. Книга фокусирует внимание на вопросах совершен-

ствования и надежности функционирования Web. В противоположность быстро ме-

няющимся технологиям создания и отображения Web-содержания, коммуникацион-

ные протоколы, рассматриваемые в книге, гораздо меньше подвержены изменениям.

Множество примеров, рассмотрение последних достижений и опыт практического

применения иллюстрируют функционирование Web и взаимодействие между раз-

личными компонентами. Книга включает развернутые примеры использования

протокола HTTP, обзор принципов кэширования и передачи мультимедийных по-

токов в Web с учетом последних достижений, а также практические примеры ис-

14 Web-протоколы

пользования Web-сервера Apache, прокси-сервера Squid и методов измерения па-

раметров трафика. Книга будет весьма полезной для понимания технологий и

функционирования Web.

Структура книги

Вводная глава книги содержит обзор эволюции World Wide Web, рассказывает

об инфраструктуре именования ресурсов в Web, языке разметки Web-докумептов

и протоколе обмена сообщениями. Далее следуют пять разделов, включающих

14 глав:

• Программные компоненты. Эти три главы описывают функционирование

клиентов, прокси-серверов и Web-серверов, здесь также рассматриваются со-

путствующие темы, такие как сценарии, поисковые серверы, cookies и аутен-

тификация.

• Web-протоколы. Это основа книги. В четырех главах данной части представ-

лены основные протоколы (Internet Protocol, Transmission Control Protocol и

Domain Name System), здесь вы познакомитесь с HTTP/1.0, получите подроб-

ный обзор протокола HTTP/1.1, а также узнаете о взаимодействии между

HTTP и TCP.

• Измерение параметров трафика и рабочей нагрузки. Две главы третьей час-

ти описывают различные методы измерения и анализа Web-трафика, а также

содержат обзор ключевых параметров моделей рабочей нагрузки Web, ис-

пользуемых для оценки производительности Web.

• Web-кэширование и мультимедийные потоки. Эти две главы предоставляют

современный обзор ключевых Web-приложений. Кэширование предусматри-

вает перемещение Web-содержапия ближе к пользователю с целью сокраще-

ния времени ожидания и снижения загрузки сервера и сети. Мультимедийные

потоки предусматривают передачу аудио- и видео данных с воспроизведением

их у конечного пользователя.

• Перспективы. Эти три главы знакомят с исследовательскими работами по кэ-

шированию, измерению параметров и протоколам с целью предоставить бег-

лый обзор развития технологий в этих трех областях, а также закрепить мате-

риал, изученный в предыдущих главах книги.

Для кого написана эта книга

Данная книга является самодостаточгюй и не предполагает наличие каких-либо

предварительных знаний сетевых технологий и Web. Обширная библиография помо-

жет читателям найти дополнительную информацию по тем или иным вопросам. Наи-

больший интерес книга будет представлять для следующих категорий читателей:

• Студенты. Студенты старших курсов и аспиранты могут использовать эту

книгу для знакомства с протоколами и измерением параметров трафика

в Web. Книга не предполагает предварительного знания студентами сетевых

протоколов. Однако предполагается знание основ информатики. В книге обсу-

ждаются текущее состояние проблемы и перспективы развития, что поможет

студентам применить полученные ими знания. Ориентация на основные кон-

Предисловие 15

цепции и эволюцию протоколов гарантирует, что студенты приобретут зна-

ния, которые смогут применить при работе с Web-техпологиями.

• Разработчики программных систем. Для разработчиков в книге имеется все-

стороннее описание протоколов и программных компонентов Web, включая

IP,

TCP и DNS, а также их взаимоотношения с Web-клиентами, прокси-серве-

рами и Web-серверами. Кроме того, книга содержит подробное описание

принципов измерения параметров Web-трафика и рабочей нагрузки, что по-

может разработчикам в оценке и повышении производительности их про-

граммных продуктов.

• Исследователи в области информационных технологий. Исследователи мо-

гут использовать книгу как источник информации о технических аспектах

Web и ее связях с Internet. Основной материал книги посвящен устоявшимся

технологиям, составляющим основу Web, что дает исследователям необходи-

мую информацию для проведения изысканий в этой области. Дополнитель-

ный материал но перспективам исследований позволяет очертить круг задач,

решение которых может оказать влияние на развитие Web, а обширная биб-

лиография поможет читателям найти публикации и документацию но интере-

сующим их вопросам.

• Web-администраторы. Администраторы прокси-серверов и Web-серверов

могут углубить свои знания по этим программным компонентам. Книга может

послужить в качестве справочного пособия по основным принципам и особен-

ностям протоколов. Акцент на проблемах, связанных с произво/дительностью,

поможет администраторам в настройке прокси-серверов и Web-серверов. Кро-

ме того, представлены подробные указания по настройке Web-компопентов.

Разделы, посвященные измерению параметров трафика в Web и взаимодейст-

вию между HTTP и сетевыми протоколами, помогут администраторам в вы-

явлении проблем, связанных с производительностью.

Книга может быть использована как справочное пособие, как пособие для само-

стоятельного изучения или как основа для одно- или двухсеместрового курса, по-

священного Web и сетевым технологиям. В зависимости от уровня подготовки и

интересов читатели могут выбрать тот или иной план чтения книги. Некоторые чи-

татели могут пропустить начальные главы, содержащие элементарные сведения,

тогда как другие читатели могут не изучать материал, посвященный перспективам

развития технологий.

Благодарности

Эта книга обязана своим появлением на свет не только авторам. Чтобы отметить

вклад других людей, мы хотим прежде всего поблагодарить их за потраченное время

и усилия, проявленный интерес, усердие и желание помочь нам. Мы осознаем, что

эта книга описывает технологии, к которым имеют отношение десятки, если не сот-

ни людей. Некоторые из людей, разработавших концепции, рассматриваемые в кни-

ге,

явным образом не упоминаются в благодарностях.

Мы благодарны людям, имеющим отношение к созданию, модификации прото-

кола HTTP. Мы в долгу перед людьми, которые проявили живой интерес к нашим

усилиям: Роем Филдингом, Джеффом Могулом, Дэвидом Кристолом, Коэном

Холтманом, Хенриком Фристик-Нильсеном и Джимом Геттисом.

Замечания Эдама Бредли (главы 6 и 7), Энжа Фельдмана (главы 9 и 10), Салли

Флойд (главы 5 и 8), Патрика МакМануса (главы 5-8), Михаила Михалкова (гла-

вы 11 и 13), Эриха Наума (глава 8), Марка Ноттингема (глава И) и Роберта Тау

(глава 4) были весьма полезными. Мы выражаем им благодарность за время, кото-

рое они потратили на то, чтобы предоставить ссылки на дополнительные материа-

лы,

а также за их содействие в обеспечении максимальной ясности изложения.

Большое число рецензсчггов терпеливо просматривало наши рукописи и вноси-

ли конструктивные предложения. Среди них следует отметить Патрика МакМану-

са, Крейга Уиллза, Анис Шайха, Дэвида Кристола, Коэна Холтмапа, Карин Хог-

стедт, Криса Малли, Йена Купера, Полли Хуанг, Джо Периша, Хенрика Фри-

стик-Нельсена и Дуэйна Уэсселса.

Ряд глав был прочитан нашими коллегами и друзьями, в числе которых Мартин

Арлит, Виней Бадами, Стивен Белловин, Эд Блекмонд, С. Байере, Эрик Ченг, Чак

Крэнор, Лори Крэнор, Кристоф Фетцер, Р. Гоналакришнан, Джоэл Готтлиб, Тим

Гриффин, Тим Корб, Джефф Корн, Джим Куроуз, Роб Ланфайер, Брайан Ф. Лаву,

Карлос Мальцам, Джитендра Пэдхай, Венкат Падманабхан, Реза Реджайе, Сыо Рекс-

форд, Юрий Резник, Луиджи Риццо, Дженс-С. Веклер и Джакобус Ван дер Мерве.

Мы также хотели бы поблаго^тарить рецензентов издательства Addison-Wesley.

Много людей отвечали на специфические вопросы зачастую удивительно под-

робхю и полно. Это Стивен Белловин, Тим Бернерс-Ли, Дэн Коннолли, Салли

Флойд, Коэн Холтман, Брюстер Кале, Рохит Хар, Дэвид Кристол, Томас Нартен,

Хеприк Фристик-Нильсен, Верп Паксоп и Джим Уайтхед.

Уолтер Тичи и Майкл Филиппсен предоставили место для работы и прожива-

ния в Карлсруэ во время составления плана книги. Мы благодарим их за теплый

прием и возможность воспользоваться информацио1Н1ыми ресурсами университета

Карлсруэ.

Очень ценной была поддержка и участие Хамида Ахмади, Дэвида Беланджера,

Альберта Гринберга и Ким-Фонд Во ~ команды менеджеров из AT&T Labs-

Research. Несколько наших коллег внесли свой вдлад в создание условий, необхо-

димых для успешного завершения книги.

18 Web-протоколы

Консультации, полученные перед и во время подготовки рукописи, способство-

вали улучшению изложения. Особо хотелось бы поблагодарить организаторов кон-

ференции АСМ SIGCOMM за предоставленную возможность проведения консуль-

таций.

Мы хотели бы поблагодарить сотрудников издательства Addison-Wesley за их

помощь при подготовке книги к изданию. Мы выражаем признательность Лоринде

Черри из AT&T за ее помощь в составлении предметного указателя и Деборе

Свейн за помощь в подготовке графиков к главе 10.

Балачандр написал практически всю свою часть книги с помощью компьютера

IBM Thinkpad 770ED, на котором была установлена только ОС Linux. Книга писа-

лась в самых различных местах земного шара: Рио-де-Жанейро, Фоз де Игуаку,

Сантьяго, Лангенстейнбах, Карлсруэ, Мюнхен, Потсдам, Париж и Амстердам.

В США это Дин и Делюка (Гринвич Вилледж, Нью-Йорк), Итака, Бостон, Боул-

дер,

различные места в Нью Джерси, Силикон Вэлли и Вашингтон (округ Колум-

бия).

Особо благодарим людей, которые выступили в роли гостеприимных хозяев:

Эдуардо Крелл и Вероника Родригес Мунос, Крис и Мэри Маллей, Роб Мэсон,

В.

Стрикант.

Книга была написана с использованием Emacs под управлением X Window

System и напечатдна с помощью LaTeX. Подготовленный к печати материал был

направлен издателям в виде одного архивированного файла PostScript.

Часть

Вводная