Стронгин Р.Г (ред.) Высокопроизводительные параллельные вычисления на кластерных системах

Подождите немного. Документ загружается.

321

вычислений является GRID-технология – это технология создания

эффективных территориально-распределенных гетерогенных

(объединяющих компьютеры с самыми различными аппаратными и

программными системами) сетей, что дает возможность

распределенных вычислений на глобальных компьютерных ресурсах с

помощью специализированного программного обеспечения (например,

с использованием программного интерфейса передачи данных MPI

(Message Passing Interface)). Основная идея GRID-систем – интеграция

самых различных ресурсов, включаемых

в систему:

суперкомпьютеров, отдельных серверов, мэйнфреймов, систем

хранения и баз данных. Очень важной причиной бурного развития

концепции GRID сегодня является то, что она позволяет получить

результат быстрее и дешевле.

Автором разработано программное средство (ПС) [1],

осуществляющее управление вычислениями заданного множества

задач, выполняемых параллельно на разных компьютерах в сети.

Разработанное ПС является подобием HPC (High-Performance

Computing)

кластера [2], объединяющего несколько компьютеров в

сети для параллельной обработки нескольких задач [3]. Создание HPC-

кластера из большого числа маломощных однопроцессорных систем

позволяет достичь гораздо большей производительности, чем

производительность суперкомпьютеров [4]. Эффективность

использования данного ПС тем выше, чем больше количество задач,

которое может обрабатываться независимо и одновременно на разных

компьютерах, количество которых соизмеримо или в

несколько раз

меньше числа одновременно обрабатываемых задач.

Программное средство для параллельных вычислений

Для реализации ПС на основе протокола TCP/IP [5] был

разработан протокол прикладного уровня – протокол управления

сетевыми вычислениями под названием ScienceNet Protocol (SNP-

протокол). Полное название разработанного ПС: «SNP Calculation

Center». Работа над первой версией данного ПС была начата в марте

2006 года. ПС состоит из двух основных приложений Windows:

клиента (далее SNP-клиент) и сервера (далее SNP-сервер).

С помощью SNP-протокола SNP-клиент

обеспечивает управление

SNP-серверами, располагающимися на удаленных компьютерах в сети.

SNP-сервер не имеет визуального интерфейса и реализован в качестве

службы (service) для операционных систем Windows XP и Windows

322

Server 2003, что обеспечивает автоматическую загрузку и

функционирование SNP-сервера сразу же после загрузки Windows.

SNP-сервер обеспечивает выполнение команд SNP-клиента и

выполнение задачи, загружаемой из DLL-модуля (динамически

подключаемой библиотеки).

Текущая версия

SNP-протокола (версия 1.1) обеспечивает

следующие основные функции:

Получение информации о версии протокола и другой

служебной информации.

Загрузка и выгрузка DLL-модуля исполняемой задачи.

Запуск и остановка загруженной задачи.

Задание приоритета выполнения задачи в момент запуска и во

время выполнения задачи, что позволяет автоматически

регулировать загрузку процессора на стороне SNP-сервера.

Временная приостановка и продолжение выполнения

загруженной задачи.

Команда на завершение работы SNP-сервера.

Получение текущего статуса сервера и статуса выполняемой

задачи: оценка времени выполнения задачи, загрузка

процессора, прогресс выполнения задачи (в процентах),

информация о текущих действиях выполняемой задачи и

другие сообщения.

Команда обновления DLL-модуля загружаемой задачи на

стороне SNP-сервера. Команда передает информацию о DLL-

модуле, который нужно скопировать с указанного FTP-

сервера.

Команда на открытие диалога редактирования параметров

задачи. Задание параметров задачи осуществляется

посредством визуального интерфейса, загружаемого из DLL-

модуля. Параметры задачи сохраняются (загружаются) тем же

DLL-модулем в отдельном mop-файле. Эти файлы задач SNP-

клиент посредством SNP-протокола распределяет между SNP-

серверами, которые загружают соответствующие DLL-модули

для выполнения заданной задачи.

SNP-клиент имеет визуальный интерфейс управления и

располагается на одном управляющем компьютере в сети.

Рассмотрим основные возможности SNP-клиента, являющегося

центром управления сетевыми вычислениями:

323

Параллельное управление выбранными SNP-серверами с

помощью SNP-протокола, обеспечивающего указанные выше

функции.

Создание и редактирование списка SNP-серверов сети,

используемых для выполнения заданных задач.

Периодический опрос статуса текущего состояния SNP-

серверов, к которым подключен SNP-клиент.

Задание параметров копирования DLL-модуля с указанного

FTP-сервера на выбранные компьютеры с SNP-серверами.

Ручная и автоматическая удаленная установка и запуск SNP-

серверов на выбранных компьютерах по сети (при наличии

соответствующих прав доступа к удаленным компьютерам

сети с операционными системами Windows XP, Windows

Server 2003).

Удаленное включение по сети выбранных компьютеров с

использованием технологии Wake-On-LAN [6].

Постановка выбранных задач в очередь задач. Отмеченные на

выполнение задачи автоматически назначаются на

«свободные» SNP-серверы. Под «свободными» понимаются

SNP-серверы, готовые к выполнению новой задачи или

завершившие выполнение ранее назначенной задачи.

Встроенный пакетный редактор параметров файлов задач в

очереди задач, обеспечивающий автоматическое изменение

заданных параметров для выбранных файлов задач. Данная

функция позволяет значительно сэкономить время на

редактирование значения заданного параметра каждой из

задач (особенно если таких задач очень много: десятки-сотни).

Поддержка технологии Drag&Drop: возможность добавления в

очередь задач выбранных файлов задач или папок с файлами

задач путем их «перетаскивания» мышью из проводника

Windows в очередь задач.

10.

Возможность управления списком подключенных SNP-

серверов, которым разрешено автоматически назначать задачи

из очереди задач.

11.

Независимость выполнения назначенных задач SNP-

серверами при завершении работы управляющего SNP-

клиента или разрыве соединения с SNP-клиентом.

324

DLL-модуль с исполняемой задачей может быть написан на

любом языке программирования (Pascal Delphi, C++ Builder, MS Visual

C++, Visual Basic и др.), компилятор которого поддерживает создание

динамически подключаемых библиотек (DLL) для Windows-

приложений [7]. При этом DLL-модуль должен поддерживать

специально разработанный интерфейс обмена данными с

приложением-загрузчиком DLL-модуля (например, SNP-сервером).

Модификация базового шаблона программного кода DLL-модуля,

поддерживающего интерфейс обмена данными с приложением-

загрузчиком

(SNP-сервер), позволяет встраивать свои алгоритмы

решаемых задач в базовый код DLL-модуля.

Базовые функции DLL-модуля:

Главная функция – хранение исполняемого кода алгоритма

обрабатываемой задачи, который будет загружен SNP-

сервером для обработки данной задачи.

Загрузка параметров обработки алгоритма из файла,

переданного SNP-клиентом SNP-серверу перед началом

запуска вычислений.

Функция открытия визуального редактора параметров

алгоритма DLL-модуля. Интерфейс визуального редактора

параметров определяется разработчиком алгоритма DLL-

модуля.

Функции управления запуском, остановом и временной

приостановкой (паузой) вычислений.

Функция получения информации о версии алгоритма

загруженного DLL-модуля. Контекст данной информации

задается разработчиком алгоритма DLL-модуля.

Передача информации о состоянии выполнения загруженной

задачи приложению-загрузчику (SNP-сервер), которое в свою

очередь отправляет ее SNP-клиенту по его запросу.

Генерация результатов вычислений в файлы на жесткий диск

компьютера (на стороне SNP-сервера) и последующая

передача этих файлов на любой указанный FTP или иной

сервер (при наличии прав доступа к ресурсам сервера,

которые могут быть указаны в файле параметров задачи DLL-

модуля).

Вид главного окна программы «SNP-клиент» центра управления

удаленными вычислениями в рабочем режиме

представлен на рис. 1.

325

Рис. 1. Главное окно программы «SNP-клиент» – центр управления

удаленными вычислениями (в рабочем режиме)

Опытные данные

Пример из практики. Для исследования статистических

характеристик различных алгоритмов фильтрации шумоподобных

сигналов, на исход анализа которых влияет свыше 20 параметров, в

очередь задач SNP-клиента было поставлено 480 задач. Число

реализаций случайного процесса, воздействующего на исследуемые

алгоритмы, при заданной точности анализа, задавалось равным 100

тысячам реализаций. Максимальное число используемых удаленных

компьютеров с SNP-серверами составляло 23 единицы

(в основном

компьютеры с процессорами Celeron 2400 и Pentium 4 – 2,9 ГГц). Все

множество задач в очереди можно условно разбить на четыре уровня

сложности обработки по требуемым вычислительным и временным

ресурсам. Ориентировочное время решения одной задачи для каждого

из четырех уровней сложности составляло 18, 22, 38 и 43 минуты

соответственно. Вычисления проводились в определенные часы

времени в течение 5 дней.

Результаты вычислений каждой из задач по

окончании обработки автоматически копировались SNP-серверами на

заданный FTP-сервер. В итоге по завершении вычислений было

обработано 480 задач, сгенерировано 9248 файлов общим объемом

около 21,6 Гигабайт. Полученные файлы содержали результаты

анализа исследуемых алгоритмов в виде текстовых табличных данных,

включая заголовки параметров анализа.

326

Выводы

Разработанное ПС, организующее параллельную обработку

множества задач, примерно равных по вычислительной сложности, на

одинаковых по вычислительным мощностям компьютерах позволяет

за единицу времени параллельно выполнить количество задач, равное

числу используемых компьютеров в сравнении с одним компьютером,

на котором эти задачи выполнялись бы последовательно.

Параллельная обработка с помощью предложенного ПС

множества независимых задач

, выполняемых на компьютерах,

количество которых соизмеримо или в несколько раз меньше числа

решаемых задач, позволяет достичь даже большей

производительности, чем производительность суперкомпьютера, за

гораздо меньшую стоимость используемого оборудования на основе

уже существующей вычислительной техники.

Современный уровень науки и техники позволяет реализовать

предложенное ПС в организациях, связанных с научными

вычислениями и

не имеющих возможности для приобретения

суперкомпьютеров или параллельных вычислительных систем.

Литература

1. Чащин А.А. Программное средство для параллельных

вычислений нескольких задач, требующих больших

вычислительных ресурсов. //Всероссийская НТК «Наука-

производство-технология-экология»: Сборник материалов: В 9

т. – Киров: Изд-во ВятГУ, 2007. Том 9. Программа

«У.М.Н.И.К.» – 75 с., С. 22-26.

Практическое руководство по параллельным вычислениям

[Электронный ресурс] / Линукс. Параллельные вычисления;

ред. Юрий Сбитнев – Электрон. дан, 2004 – Режим доступа:

http://linux-cluster.org.ru/motiv.php, свободный. – Загл. с

экрана. – Яз. рус.

Параллельные вычислительные системы [Электронный

ресурс] / Материал из Википедии — свободной энциклопедии;

Электрон. дан, 2007 – Режим доступа:

http://ru.wikipedia.org/wiki/Параллельные_вычислительные_си

стемы, свободный. – Загл. с экрана. – Яз. рус.

Суперкомпьютер [Электронный ресурс] / Материал из

Википедии — свободной энциклопедии; Электрон. дан, 2007 –

327

Режим доступа: http://ru.wikipedia.org/wiki/Суперкомпьютер,

свободный. – Загл. с экрана. – Яз. рус.

TCP/IP [Электронный ресурс] / Материал из Википедии —

свободной энциклопедии; Электрон. дан, 2007 – Режим

доступа: http://ru.wikipedia.org/wiki/TCP/IP, свободный. – Загл.

с экрана. – Яз.рус.

Wake-on-LAN [Электронный ресурс] / Материал из

Википедии — свободной энциклопедии; Электрон. дан, 2007 –

Режим доступа: http://ru.wikipedia.org/wiki/Wake-on-LAN,

свободный. – Загл. с экрана. – Яз.рус.

DLL [Электронный ресурс] / Материал из Википедии —

свободной энциклопедии; Электрон. дан, 2007 – Режим

доступа: http://ru.wikipedia.org/wiki/DLL, свободный. – Загл. с

экрана. – Яз.рус.

ВАРИАНТЫ ИНТЕГРИРОВАНИЯ УРАВНЕНИЙ ДИНАМИКИ

КОНСТРУКЦИЙ НА ГЕТЕРОГЕННЫХ

МНОГОПРОЦЕССОРНЫХ СИСТЕМАХ

С.К. Черников, Ю.В. Садчиков

Казанский физико-технический институт РАН

Рост быстродействия процессоров последних поколений

одновременно с повышением производительности и снижением

стоимости Ethernet-сетей сделали привлекательным создание

высокопроизводительных вычислительных систем с распределенной

памятью (кластеров) на базе компонентов высокой степени

готовности. Эффективность применения таких устройств может быть

достигнута только при использовании на них программ, допускающих

распараллеливание вычислений и учитывающих конструктивные

особенности кластера. В

работе приведены некоторые результаты

разработки комплекса программ для моделирования механических

процессов методом конечных элементов, ориентированного на

семейство кластеров на процессорах AMD ATHLON/OPTERON и

недорогой коммуникационной аппаратуре Gigabit Ethernet [1].

В предлагаемом комплексе программ обеспечивается

моделирование исследуемых конструкций конечными элементами

балки, треугольными и четырехугольными элементами мембраны,

328

пластины и оболочки. Возможно использование элементов вязкого

трения и осевых пружин.

Для дискретного момента времени

t уравнение движения системы

конечных элементов разрешаются относительно ускорений

[

]

=−−

&& &

-1

tttt

uMRCuKu

. (1)

Здесь M, C и K – матрицы масс, демпфирования и жесткости; R –

вектор внешней узловой нагрузки;

– векторы узловых

перемещений, скоростей и ускорений. Скорости и перемещения для

следующего шага определяются по схеме прямого явного

интегрирования по времени методом центральных разностей:

/2 /2

tt tt t

tt t tt

+Δ −Δ

+Δ +Δ

=+Δ

=+ Δ

&&&&

uuu

При этом для обеспечения устойчивости счета для различных

элементов шаг выбирается в соответствии с [2], как минимальный из

значений

.прод

tΔ

.изг

Принимая во внимание, что матрицы жесткости K и

демпфирования C конструкции представляют собой суммы матриц

жесткости и демпфирования элементов:

KC C

∑∑

Вычисления в правой части системы (1) могут быть

распараллелены. При этом возможны различные варианты алгоритмов.

В первом варианте алгоритма векторы

делятся на равные

блоки по количеству доступных параллельных процессов. При этом,

если рассортировать матрицы жесткости и матрицы демпфирования

элементов в соответствии со степенями свободы, входящими в каждый

из блоков, то в каждом процессе параллельно могут выполняться

действия:

⎡⎤

=− −

⎢⎥

⎣⎦

∑∑

&& &

j-1j

ttt-t t

uMR u u

/2 /2

tt tt

+Δ −Δ

+Δ +Δ

=+Δ

=+ Δ

&&&&

uuu

329

После завершения этих вычислений процессы должны обменяться

результатами для формирования в каждом из них векторов

/2tt+Δ

tt+Δ

. В конкретной реализации алгоритма для этого использовалась

процедура сбора данных MPI_Allgatherv. Алгоритм реализован

средствами языка FORTRAN с использованием только технологии

MPI. Эффективность этого алгоритма исследовалась при решении

задачи динамического отклика конструкции, модель которой состояла

примерно из 7000 элементов балки и оболочки и насчитывала около

16000 неизвестных (рис. 1).

Рис.1. Модель исследуемой конструкции

Рис. 2. Зависимость времени решения от количества задействованных

процессоров

Зависимость времени решения задачи от количества

задействованных процессоров для этого варианта алгоритма приведена

на рисунке 2 (кривая «А»). Отметим, что использованный алгоритм

330

показал плохую масштабируемость - при использовании более 8

процессоров время решения задачи начинало возрастать. Причиной

этого может быть как неравномерная загруженность вычислительных

процессов, так и существенное, по сравнению с временем вычислений

, время сбора данных

. Неравномерная загруженность процессов

обусловлена способом разделения векторов

, при котором

каждый процесс в общем случае обрабатывает различное количество

элементов.

Для исследования влияния отношения

на

масштабируемость алгоритма тем не менее предположим, что время

вычислений обратно пропорционально числу используемых процессов

Т - время решения задачи одним процессом. Для оценки времени

сбора данных решалась вспомогательная задача (Тест 1), суть которой

заключалась в следующем. Массив из 100000 чисел двойной точности

в каждом из

n процессов разбивался на n сегментов и затем с помощью

процедуры MPI_Allgatherv «свой» сегмент передавался остальным

процессам. Характер изменения времени сбора данных

для

различных схем размещения процессов на кластере приведен на рис. 3.

На этом рисунке кривая «а» соответствует последовательному

размещению процессов (процессы 1 и 2 выполняются на первом узле,

3 и 4 – на втором и т.д.), а кривая «б» - циклическому размещению

(процессы 1 и 9 выполняются на первом узле, 2 и 10 – на втором и

т.д.). Из

рисунка следует что, во-первых, время передачи информации

увеличивается с увеличением числа используемых процессов, во-

вторых, последовательное размещение процессов более

предпочтительно с точки зрения затрат времени на передачу

информации, и, в третьих, в случае циклического размещения при

использовании более 8 процессов увеличение времени происходит

более интенсивно. Полагая в линейном приближении, что

tnt

получим время решения задачи на каждом узле

tTnnt

+Δ

. Эта

зависимость имеет очевидный экстремум, определяемый выражением

0Tn t−+Δ=

, из которого следует, что эффективно использоваться

при решении задачи могут не более

TtΔ

процессов.