Анфилатов В.С., Емельянов А.А., Кукушкин А.А. Системный анализ в управлении

Подождите немного. Документ загружается.

примеры моделей и методик оценивания систем

191

Таблица 3.4

Результаты тестирования суперкомпьютеров

Система

CRAYJ916

CRAYT916

DEC AlphaServer

8400

5/300

NEC SX-4/32

SGI Power

Challenge

(90 МГц)

Количе-

ство

процес-

соров

Классе

Время,

10,78

18,56

4,77

2,42

155,60

39,10

19,71

169,10

21,98

11,05

CRAY

Y-MP/1

11,70

6,80

26,45

52,14

0,81

3,23

6,40

0,75

5,74

11,42

Класс

Время,

675,71

85,49

43,16

76,13

19,12

9,65

622,22

156,69

78,43

102,21

12,85

3,31

676,78

87,80

44,22

CRAY

С90/1

0,22

1,71

3,39

1,92

7,66

15,17

0,24

0,93

1,87

1,43

11,39

44,23

0,22

1,67

3,31

Комплекс тестов NAS Benchmarks kernel включает следую-

щие расчетные задачи:

ЕР

(Embarrasinghly Parallel). Вычисление интеграла мето-

дом Монте-Карло

тест усложненного параллелизма для изме-

рения первичной вычислительной производительности плаваю-

щей арифметики. Этот тест минимального межпроцессорного

взаимодействия фактически определяет чисто вычислительные

ха-

рактеристики узла при работе

вещественной арифметикой.

MG (3D Multigrid). Тест по решению уравнения Пуассона

(трехмерная решетка)

частных производных требует высоко-

структурированной организации взаимодействия процессоров,

тестирует возможности системы выполнять

как

дальние,

так и

короткие передачи данных.

192 Глава 3

CG (Conjugate Gradient). Вычисление наименьшего соб-

ственного значения больших разреженных матриц методом со-

пряженных градиентов. Это типичное неструктурированное вы-

числение на решетке, и поэтому тест применяется для оценки ско-

рости передачи данных на длинные расстояния при отсутствии

какой-либо регулярности.

FFT (Fast Fourier Transformation). Вычисление методом бы-

строго преобразования Фурье трехмерного уравнения в частных

производных. Эта задача - важный тест для оценки эффективно-

сти взаимодействия по передаче данных между удаленными про-

цессорами. При создании программы, реализующей данный тест,

могут использоваться библиотечные модули преобразования

Фурье различной размерности.

IS (Integer Sort). Тест выполняет сортировку целых чисел и

используется как для оценки возможностей работы системы с

целочисленной арифметикой (главным образом одного узла), так

и для выявления потенциала компьютера по выполнению меж-

процессорного взаимодействия.

Комплекс тестов NAS Benchmarks Kernel по модельным за-

дачам включает следующие модули:

LU (LU Solver). Тест выполняет вычисления, связанные с

определенным классом алгоритмов (INS3D-LU по классифика-

ции центра NASA Armes), в которых решается система уравне-

ний с равномерно разреженной блочной треугольной матрицей

5x5.

SP (Scalar Pentadiagonal). Тест выполняет решение несколь-

ких независимых систем скалярных уравнений - с использовани-

ем пентадиагональных матриц, в которых преобладают недиа-

гональные члены.

ВТ (Block Tridiagonal). Решение серии независимых систем

уравнений с использованием блочных трехдиагональных матриц

5x5 с преобладанием недиагональных элементов.

Тест ЕР. Чтобы понять принципы построения тестов типа

NAS и особенности их реализации на конкретных суперкомпью-

терных архитектурах, рассмотрим несколько подробнее тест ЕР.

Данный тест формулируется следующим образом: формирование

двухмерной статистики из большого числа случайно распреде-

ленных по Гауссу чисел, которые генерируются наилучшим (оп-

тимальным) образом для каждой конкретной вычислительной

Примеры моделей и методик оценивания систем 193

архитектуры. Эта постановка является типичной для большин-

ства приложений, использующих метод Монте-Карло. Как и все

остальные тесты ядра NAS Kernel, этот тест имеет два класса,

определяемых в данном случае числом сгенерированных и обра-

ботанных случайных чисел: первый -

2^*,

второй - в четыре раза

больше.

Приведем формулировку теста. Пусть п = 230. Генерируются

псевдослучайные вещественные числа г. в интервале (0,1) для

1 <j<n. Тогда для множеств {х} и {у} получаем произвольно

распределенные в интервале

(-1,1)

пары чисел

х.,у..

Далее, начи-

ная су = /, будем проверять выполнение условия t. = х. + у.< 1.

Если условие не выполнено, то пара отвергается и проверяется

следующая пара чисел. Если условие выполняется, то положим,

что к

к+ 1, и вычислим

Таким образом, получаем независимые нормально распре-

деленные значения для приблизительно пр. /4 пар. Сформируем

пары (X, У) и отберем только те, которые удовлетворяют уело-

ВИЮ

max ( \Х \ , \Y \

Для данного теста интерес представля-

ЮТ

первые десять пар.

На многопроцессорной архитектуре каждый из процессоров

независимо генерирует статистику для множества из п / р пар.

Так как генерация статистик происходит параллельно на каждом

процессоре, то фактически не требуется межпроцессорного взаи-

модействия. И только лишь десять пар от каждого процессора

аккумулируются - пересьшаются в один узел, чем, однако, мож-

но пренебречь. Ключевым моментом для данного теста является

только оптимизация вычислений на узле, что позволяет оцени-

вать вычислительные возможности системы по работе с веще-

ственными числами.

Для приоритетного определения коммуникационных показа-

телей системы с массовым параллелизмом используются три ос-

тавшихся теста, в основе которых - алгоритмы численных мето-

дов на решетке. Основная идея реализации этих алгоритмов, в

частности, для теста MG заключается в том, что на процессорах

строится логическая модель трехмерной решетки. Это предпола-

194 Глава 3

гает создание подобластей, в узлах которых параллельно проис

ходят вычисления. Однако при этом важное значение имеет вы-

числение граничных условий для каждой подобласти, что требу-

ет интенсивного взаимодействия между процессорами. Кроме

того,

не менее существенным моментом, влияющим на эффектив-

ность реализации теста, является репликация данных при пере-

ходе вычислительного процесса на новые слои решетки, что так-

же определяется эффективностью реализации межпроцессорно-

го взаимодействия.

Результаты последних оценок суперкомпьютерных платформ

можно найти на WWW-сервере NAS www.nas.nasa.gov/NAS/NPB.

Анализ этих данных показывает, что даже самая быстродейству-

ющая система VPP500 по соотношению цена/производительность

уступает или сравнима с намного более дешевым сервером DEC

8400,

суперкомпьютером SGI Power Challenge или RS/6000 SP.

3.9.

МЕТОДИКА ОЦЕНКИ

КОНФИГУРАЦИЙ WEB

Тестовая методика оценки конфигураций Web - WebSTONE

- представляет собой одно из первых средств оценки эффектив-

ности оборудования и программного обеспечения при работе с

протоколом HTTP.

По своему функциональному назначению WWW во многом

напоминает NFS, для оценки эффективности которой существу-

ет тест LADDIS. Но адаптация этого теста к конкретной архи-

тектуре часто оказывается весьма проблематичной. Тест

WebSTONE более точно отражает специфику работы с глобаль-

ными сетями с многократными переключениями, исправлением

ошибок, переадресациями и т.п. Данный тест способен модели-

ровать разнородную среду, в которой работают одновременно

множество клиентов, порождающих разнообразных потомков,

способных запрашивать информацию от серверов.

Предусмотрены четыре

смеси,

моделирующие различные кон-

фигурации подключения Web-сервера. Первая смесь - общий на-

бор,

использующийся для моделирования подключения к сети

Примеры моделей и методик оценивания систем 195

через модем. Файлы данной смеси содержат небольшие, обычно

текстовые страницы размером не более 20 Кбайт, для передачи

которых по модему со скоростью 14,4 Кбит/с требуется не очень

много времени. Вторая смесь применяется для моделирования

работы клиентов локальной сети. Размер файлов в данной смеси

колеблется от

до 100 Кбайт. Третий тестовый набор представ-

ляет собой массив информации мультимедиа, использующий для

своей обработки все ресурсы тестируемой системы. Файлы этого

набора - MPEG и Quicktime, звуковые клипы и большие графи-

ческие файлы. Размер таких файлов изменяется от 20 Кбайт до

нескольких мегабайт. В четвертой смеси объединены первый и

третий наборы.

Главными показателями WebSTONE являются пропускная

способность, измеряемая в байтах в секунду, и латентность -

время, необходимое для выполнения Запроса. Кроме того,

WebSTONE содержит информацию о количестве страниц в ми-

нуту, среднем числе соединений и другую информацию, позволя-

ющую провести более точную оценку качества конфигурации и

выявить ее узкие места. Пропускная способность измеряется как

для всей системы в целом, так и по каждому клиенту в отдельно-

сти;

в обоих случаях она усредняется за все время проведения те-

стирования. Различают два типа латентности: время соединения

и время запроса. Первое показывает продолжительность установ-

ки соединения, а второе - временные затраты на непосредствен-

ную передачу данных.

В WebSTONE включена также оценка по закону Литтла

{Little Law), показывающая, сколько времени затрачивается сер-

вером на выполнение полезной работы по обработке запроса, а

не на действия типа коррекции ошибок или вспомогательные

операции. В идеальном случае этот показатель прямо пропор-

ционален числу клиентских процессов. Если сервер Web оказы-

вается загружен сверх нормы, происходит массированный выб-

рос ошибочных сообщений, свидетельствующих о том, что зап-

росы клиента не могут быть обработаны в течение отпущенного

им временного интервала. Фактически показатель дает пред-

ставление об уровне максимальной загрузки для конкретного

сервера.

WebSTONE достаточно просто настраивается для получения

оценок следующих параметров работы сервера: среднее и макси-

196 Глава 3

мальное время соединения; среднее

максимальное время откли-

ка; пропускная способность; количество обработанных страниц;

число открытых файлов.

Основная задача теста - оценить скорость и безошибочность

обслуживания установленного множества клиентов. Программы

WebSTONE организуют передачу запросов серверу по протоко-

лу HTTP и обрабатывают данные по мере их поступления. По-

скольку тест ориентирован на оценку работы программного и

аппаратного обеспечения сервера, производительность броузе-

ров или приложений клиента им не учитывается.

Архитектура теста WebSTONE включает

две

Локальные сети.

В первой сети работают потомки (Webchildren), управляемые

программой WebMASTER, отвечающей также за управление

всем

ходом тестирования. Сама программа WebMASTER размещает-

ся

на отдельном сегменте независимо от потомков

может функ-

ционировать как на одном компьютере вместе с клиентом, так и

на отдельной машине. При определении режима функциониро-

вания теста может задаваться произвольная конфигурация сетей.

Однако размещение WebMASTER на отдельном компьютере

позволяет получить гибкость при моделировании всевозможных

конфигураций подключения клиентов.

WebSTONE является распределеиньим тестом, работающим

со многими процессами, когда главный процесс или

WebMASTER

считывает

файл

конфигурации клиента,

вьшол-

няет необходимые функции. Затем WebMASTER формирует ко-

мандные последовательности для каждого потомка и иницииру-

ет их. Каждый потомок, в свою очередь, читает команду, уста-

навливает связь

WebMASTER

выполняет последовательность

действий, предусмотренных в тестовом наборе. После заверше-

ния работы каждого потомка вызывается WebMASTER с функ-

цией сбора данных от каждого клиента и формирования отчета.

В процессе работы каждый потомок является независимым как

от других потомков, так и от WebMASTER.

Одна из главных особенностей теста WebSTONE - его гиб-

кость, позволяющая моделировать произвольные конфигурации

и имитировать работу с различными узлами. При выполнении

стандартной тестовой смеси можно получить показатель общей

производительности конфигурации. В качестве параметров на-

стройки используются продолжительность выполнения теста.

Примеры моделей и методик оценивания систем 197

число повторений, количество тестовых файлов, число страниц,

опции программного и аппаратного обеспечения сервера, коли-

чество

потомков,

количество

сетей,

число

клиентов,

загрузка стра-

ниц, ведение журнала, отладка.

Продолжительность выполнения теста задается в минутах.

Максимальное время определяется числом потомков и емкостью

памяти, выделяемой для каждого клиента. Многократное повто-

рение теста позволяет устранить элемент случайности, неизбеж-

ный при работе в сети, и выявить устойчивые закономерности.

Количество страниц, представляющих собой документ

фор-

мате HTML (текст, картинки в форматах GIF или JPEG), задает-

ся при формировании тестируемой конфигурации, максимально

приближенной к реальной. Обычно страницы, подобранные в

тестовом файле, являются типичными страницами Web, исполь-

зуемыми на наиболее распространенных узлах WWW.

При описании операционного окружения для работы теста

необходимо задать конфигурацию программ и аппаратуры, чис-

ло потомков Webchildren, страниц или файлов, загружаемых с

сервера. Это позволяет имитировать различные реальные сете-

вые комплексы. Варьируя параметры и анализируя результаты

тестирования, можно выявить оптимальные параметры для ре-

шения конкретной задачи. Для имитации нескольких сетей, уп-

равляемых одним сервером, достаточно задать параметр «коли-

чество

сетей»,

не

заботясь

об

именовании серверных

узлов и

орга-

низации потоков клиентов. Задание числа клиентов и их потом-

ков

позволяет имитировать различные

режимы

использования

ре-

сурсов, необходимых для работы каждого клиента и собственно

процесса WebMASTER. При варьировании значений данного па-

раметра можно моделировать клинчевые ситуации, когда много

потомков одновременно запрашивают

один и

тот

же

ресурс.

Каж-

дая страница в тестовом наборе WebSTONE обладает весом, за-

дающим активность использования страницы -

чем выше

вес,

тем

чаще будет осуществляться обращение к данной странице. Иног-

да для более подробного анализа работы клиента требуется точ-

ный протокол его работы, который не включается в результиру-

ющий отчет, формируемый процессом WebMASTER, а исполь-

зуется отдельно.

Тестируемая конфигурация должна состоять не менее чем из

двух компьютеров, соединенных сетью. Первый является серве-

198 Глава 3

ром Web, в качестве которого может выступать любой програм-

мный сервер, поддерживающий протокол HTTP 1.0.

Необходимо иметь WebMASTER, а также на этой или дру-

гой машине один или несколько клиентов Web - обычно это

Unix-узлы. Например, на одной станции Indy с 32 Мбайт памя-

ти могут нормально работать до 120 клиентов вместе с

WebMASTER. Далее необходимо определить порядок взаи-

модействия между WebMASTER и клиентами, каждый из ко-

торых должен быть сконфигурирован так, чтобы WebMASTER

мог перезапускать на них программу WebSTONE. Также полез-

но,

чтобы суперпользователь имел возможность управлять ра-

ботой клиентов и Web-сервера.

Основные понятия теста включают следующие определения.

Клиенты - один или несколько процессов, работающих с сер-

вером. Увеличивая число одновременно работающих клиентов,

можно выявить максимально допустимую для каждого конкрет-

ного сервера конфигурацию.

Число соединений в секунду - число успешных соединений

TCP/IP, выполненных сервером за одну секунду при работе со

всеми клиентами. Кроме собственно установления связи в про-

цедуру соединения входят передача подтверждающего сообще-

ния, получение ответа и закрытие ТСРЛР-соединения. Чем боль-

ше количество соединений, тем выше производительность кон-

фигурации. Данный показатель определяет, с какой скоростью

сервер способен отвечать на новые запросы, одновременно за-

вершая текущие.

Число ошибок в секунду - количество сбоев, произошедших в

процессе взаимодействия сервера с клиентом, например ошибка

типа Connection Refused, возникающая при попытке установить

соединение TCP/IP. Чем меньше значение данной характеристи-

ки,

тем лучше и эффективнее работает конфигурация.

Латентность - среднее время, затрачиваемое на соединение

клиента и сервера, а также на обработку запроса. Чем меньше

латентность, тем лучше.

Закон Литтла (Littles Law) - отношение времени, затрачи-

ваемого на посылку сообщения, к времени ожидания ответа. Чем

ближе значение этого показателя к числу клиентов, обслуживае-

мых данным сервером, тем лучше его производительность. Тер-

мин взят из теории очередей.

Примеры моделей и методик оценивания систем 199

Пропускная способность - суммарное количество мегабит в

секунду, проходящих через всех клиентов. Чем выше пропускная

способность, тем лучше производительность.

В перспективе возможности WebSTONE будут расширены

средствами поддержки ргоху-серверов, стоимостными оценками,

например затратами на эксплуатацию и модернизацию Web-сер-

вера, оценками организации работы с транзакциями, активно

использующими двоичные сценарии CG (Common Gate Interface),

оценками эффективности построения защиты и производитель-

ности работы с распределенными базами данных.

Одновременно с началом использования WebSTONE рабо-

чая группа SPEC SFS бьша расширена командой SGI WebSTONE,

основная цель которой -доведение данного теста до уровня стан-

дарта и выпуск отчетов SPEC

Webperf.

Кроме WebSTONE для

проведения общего анализа эффективности работы Web можно

также использовать программы WebStat - сценарий анализа тра-

фика, WebTap - анализатор работы сервера при взаимодействии

с приложениями Java, WebTrac - анализатор Web. Эти програм-

мы позволяют получить статистические оценки функционирова-

ния выбранной конфигурации.

Вопросы для самоконтроля

Какие показатели характеризуют производительность

процессора?

Как оцениваются процессоры с разной архитектурой?

Для чего используются тесты Dhrystone, LINPACK и

«Ливерморские циклы»? Каков их состав?

С какой целью бьша создана корпорация SPEC? Как опреде-

ляется комплексный показатель качества по методике SPEC?

По каким показателям производится оценка производитель-

ности? Для анализа каких систем важны оценки SPEC?

В каких случаях используется тест iCOMP 2.0? По какому

критерию производится оценка процессоров в этом тесте?

6. Для чего используется тест AIM? На проверке каких крите-

риев основана методика AIM?

200 Глава 3

Что такое «транзакция»? На чем основаны методики тести-

рования ТРС? Какие оценки приняты в качестве общеприня-

того стандарта?

8. Какие тесты используются для оценки графических систем?

9. Каким основополагающим требованиям должны удовлетво-

рять тестовые методики оценки производительности супер-

компьютерных многопроцессорных систем?

10.

Каков состав комплекса тестов

NAS?

Что позволяют оценить

тесты NAS?

11.

помощью какого теста

можно

оценить конфигурацию Web?

Из чего состоит этот тест? Что можно оценить с помощью

этого теста?

12.

Какие основные понятия включает тест WebSTONE?