Стронгин Р.Г (ред.) Высокопроизводительные параллельные вычисления на кластерных системах

Подождите немного. Документ загружается.

обеспечивает глубокое проникновение к основным пространственным

и частотным характеристикам изображений.

Процесс выявления поверхностных дефектов при обработке на

прокатном стане должен обрабатывать информацию в реальном

режиме времени, так как слиток металла проходит через прокатный

стан на скорости от 3 до 14 м/сек.

Алгоритм вейвлет-преобразования и кратномасштабного анализа

при получении коэффициентов детализации

возможно разделить на

несколько параллельных потоков. Получение разномасштабного

изображения из формулы (1) дискретного вейвлет-преобразования

масштабирующей функции

∑∑

−

,,0

),(),(

),,(W

nmj

yxyxf

nmj

(1)

можно ускорить, разделив (1) на несколько потоков: (2).

∑

−

,,0

),(),(

nmjx

yxyxf,n)(jp

∑

−

),(

),,(W

njp

nmj

. (2)

Процесс получения дискретного вейвлет-преобразования для

вейвлет-функций возможно разделить на три отдельных потока при

вычислении вейвлетов вариаций значений функции – изменения

яркости для изображения – по разным направлениям: ψ

измеряет

вариации вдоль столбцов (горизонтальные края объектов), ψ

- вдоль

строк (вертикальные края) и ψ

– вдоль диагоналей. В то же время

получение каждого отдельного вейвлета вариаций можно также

разделить на несколько параллельных потоков, аналогично получению

разномасштабного изображения.

Получение вейвлетов вариаций из формулы (3) дискретного

вейвлет-преобразования вейвлет-функций

∑∑

−

),(),(

),,(W

nmj

yxyxf

nmj

(3)

можно ускорить, разделив (3) на несколько потоков:

∑

−

,,0

),(),(

nmj

yxyxf,n)(jp

∑

−

),(p

),,(W

nmj

(4)

Таким образом, обработка изображения листа металла без дефекта

с распараллеливанием алгоритма вейвлет-преобразования на рисунке

1, с получением трехмерной модели (рисунок 2) и расчетом

коэффициентов детализации ускоряется в зависимости от исходного

размера изображения от 1.7 до 0.32 раз.

Рис. 1. Исходное изображении листа металла без дефекта

Рис. 2. Трехмерная модель изображения

Обработка изображения листа металла с царапиной с

распараллеливанием алгоритма вейвлет-преобразования на рисунке 3,

с получением трехмерной модели (рисунок 4) и расчетом

коэффициентов детализации ускоряется в зависимости от исходного

размера изображения от 1.4 до 0.47 раз.

Рис. 3. Исходное изображении листа металла с царапиной

Рис. 4. Трехмерная модель изображения

Распараллеливание алгоритма вейвлет-преобразования позволяет

ускорить процесс выявления дефектов металла на прокатном стане,

следовательно, возможно ускорить сам процесс принятия решения о

браковке металла и скорость проката перестает быть узким местом

разрабатываемого программно-аппаратного комплекса.

О НЕКОТОРЫХ ТЕХНИЧЕСКИХ РЕШЕНИЯХ ПОСТРОЕНИЯ

ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ

СИСТЕМ ИЗ ОПЫТА ВВОДА В ЭКСПЛУАТАЦИЮ СИСТЕМЫ

МФТИ-60

О.Е

. Булыгин, А.В. Николаев

ООО «Компьютеры Модуль», Москва

Московский физико-технический институт, Долгопрудный

Введение

Современные высокопроизводительные вычислительные системы

потребляют значительную мощность, измеряемую многими десятками

и даже сотнями киловатт. Это ставит перед разработчиками и

пользователями таких систем серьезные задачи по энергоснабжению и

отводу выделяемого тепла, управлению климат-системами в процессе

эксплуатации

и сопровождения.

В данном обзоре даются краткое описание технических решений,

принятых при построении систем инженерного обеспечения

вычислительного кластера МФТИ-60, и некоторые результаты

тестирования.

Платформа

Вычислительный кластер МФТИ 60 построен на базе 136

(132 основных + 4 резервных) вычислительных узлов HP DL140G3,

каждый с 2 процессорами Intel 5160, с 4 GB оперативной памяти и

жестким диском 250 GB, SATA, объединенных интерконнектом

Myrinet-2000. В качестве управляющей среды используется

управляющий

узел Module RX516 c 2 процессорами Intel 5160, с 4 GB

оперативной памяти и дисковым массивом 4x750 GB, SATA и

управляющая среда 1000Base-T, организованная с помощью

4 коммутаторов 3Com 3C16486-ME (2848-SFP).

Пиковая производительность системы 6528 Gflops.

В результате тестирования с использованием HPL была получена

максимальная производительность системы 4526 Gflops.

Максимальное энергопотребление составило 55 кВт.

Инженерные системы обеспечения

Для обеспечения работоспособности комплекса введены в строй

следующие системы инженерного обеспечения:

 система монтажного оборудования APC InfraStruXure

организацией изолированного горячего коридора (для

избежания перемешивания горячего и холодного потоков

воздуха);

 система электроснабжения с использованием оборудования

APC InfraStruXure;

 система охлаждения APC InfraStruXure на базе внутрирядных

охладителей 4х APC InRow RC, способных отводить до 18 kW

каждый. Тепло из серверного помещения отводится

чиллерной системой, состоящей из 2х чиллеров,

производящих ледяную воду с холодопроизводительностью

до 69 kW каждый;



система увлажнения воздуха, управляемая системой

администрирования APC InfraStruXure;

 система автоматического газового пожаротушения;

 система администрирования APC InfraStruXure, позволяющая

контролировать основные параметры комплекса: температуру,

влажность, энергопотребление, предупреждения системы

газового пожаротушения, датчики протечек воды и т.п.

Все инженерные системы были смонтированы в специально

подготовленном серверном помещении. Перечислим основные

мероприятия, выполненные в ходе подготовки помещения:

 обеспыливание помещения, покрытие поверхностей

пыленеобразующим, паронепропускающим составом;

 монтаж фальшпола высотой 25–30 см;

 монтаж натяжного потолка для избежания прямого

попадания

воды на оборудование в случае протечек;

 профилирование поверхности пола и монтаж дренажных

систем для удаления воды в случае возможных аварий;

 монтаж электропроводки кабелем достаточного поперечного

сечения в комплексе с мерами по исключению помех на

размещаемое в помещении вычислительное и

коммуникационное оборудование.

Однородность охлаждения вычислительных узлов

Благодаря внедрению

систем обеспечен отвод выделяемого

вычислительным кластером в процессе работы тепла.

Вычислительный комплекс способен за 90 с нагреть на 10ºС воздух в

серверном помещении (350 м

). Для охлаждения всех узлов требуется

поток воздуха до 5 м

в секунду. Управление такими воздушными

потоками крайне сложная аэродинамическая задача. Традиционные

схемы охлаждения с подачей холодного воздуха из-под фальшпола

или фальшпотолка не устраивали нас по причине неравномерного

охлаждения узлов по высоте стойки. Обделенными оказываются как

ближайшие к источнику холодного воздуха узлы (из-за высокой

скорости потока), так и наиболее

удаленные от него. К тому же для

создания необходимого объема потока холодного воздуха требуется

значительная высота фальшпространства (не менее 80 см) при

отсутствии препятствий для него. Отвод горячего воздуха и избежание

его перемешивания с холодным в этом случае также проблематичны.

Благодаря принятым решениям достигнута однородность

температур потока воздуха на передних панелях используемых

серверов с разницей не более 0.5ºС. Однородность охлаждения

вычислительных узлов обеспечивает отсутствие необходимости

понижения тактовой частоты каких-либо процессоров в используемых

узлах. Таким образом, реализуется максимальная производительность

системы в полном соответствии с первым законом Амдала.

Решение для обеспечения работы при экстремально высоких

внешних температурах

Лето 2007 года изобиловало в Москве жаркими днями.

Температура воздуха нередко переваливала за 35ºС. При столь

высоких температурах падает эффективность систем внешнего

кондиционирования фреона, используемых чиллерными системами

для

отвода тепла вовне. Для обеспечения необходимых параметров

работы данной системы была реализована схема увлажнения

радиаторов. Использованная система увлажнения радиаторов

конденсаторов, несмотря на простоту и экономичность, дала

необходимый результат.

Результаты тестирования платформы Intel Atoka

Использовалась система Supermicro Super Server 6015T-INFB.

Разработанное инженерами Intel решение, реализованное Supermicro в

1U-платформе, осуществляет питание двух материнских плат и всего

находящегося на нем оборудования

от блока питания по проводникам

с напряжением 12 V, что позволяет существенно повысить

эффективность энергоснабжения (при одновременном уменьшении

веса и габаритов блока питания, размещаемого в шасси).

Сопоставление энергопотребления системы 6015T-INFB с

аналогичными по вычислительной производительности узлами

HP DL140G3 и Intel SR2500AL (2x 2x i5160/4GB/250GB hdd) позволяет

сделать вывод об уменьшении энергопотребления до 100 W на узел

при использовании решения Atoka.

Решение Atoka, к тому же,

отличается большей плотностью на то

же число отсеков (юнитов) в 19-дюймовой стойке по сравнению с

аналогичными блейд-решениями. В 10-U стойке размещается до 20

узлов (до 40 процессоров, 160 ядер)!

Повышение эффективности вычислительного кластера за счет

использования драйверов адаптеров интерконнекта, использующих

более тесную интеграцию с ядром операционной системы.

АДАПТАЦИЯ ПРИЛОЖЕНИЙ ВЫЧИСЛИТЕЛЬНОЙ ХИМИИ

К ВЫЧИСЛЕНИЯМ В ПАРАЛЛЕЛЬНЫХ

И РАСПРЕДЕЛЕННЫХ СРЕДАХ

Д.А. Варламов, В.М. Волохов, А.В. Пивушков, Г.А. Покатович,

Н.Ф. Сурков

Институт проблем химической физики РАН, Черноголовка

В Институте проблем химической физики (ИПХФ) РАН в

настоящее время реализован вычислительный центр (3 кластера, более

150 процессоров, с интегрированной

мощностью до 1,3 Терафлоп в

конце 2007 года), использующий самые различные комбинации

распределенных и параллельных вычислений. Для квантово-

химических расчетов используются лицензионные программы

(Gaussian-98, -03, Mopac2002, MolPro), программы, распространяемые

на условиях “open source” (CPMD, Dalton-2, Gamess-US, NWChem,

VASP и др.), и довольно разнообразное оригинальное авторское ПО.

Основным направлением работ являются квантово-химические

вычисления, вычисления в области молекулярной динамики и

моделирование газодинамических явлений.

Для большинства

подобных задач представляется перспективным применение

распределенных вычислений (в том числе основанных на

GRID-технологиях), часто представленных параллельными заданиями

или параллельными «пучками» заданий. Более детально структура

вычислительного центра ИПХФ и применяемые там варианты

использования распределенных и параллельных вычислительных сред

были описаны авторами ранее [1,2].

Работы с системами распределенных и параллельных вычислений

в ИПХФ РАН проводились в 2005-2007 гг. в рамках программы № 21

фундаментальных исследований Президиума РАН «Разработка

фундаментальных основ создания научной распределенной

информационно-вычислительной среды на основе технологий GRID»,

в 2005 году в рамках Федеральной целевой научно-технической

программы "Исследования и разработки по приоритетным

направлениям развития науки и техники" по проекту “Создание

комплекса пакетов прикладных

программ для моделирования сложных

научных и промышленных задач на суперкомпьютерных системах

терафлопного уровня и в распределенных вычислительных средах”, а

также в 2007 году в рамках программы «СКИФ-ГРИД».

Основные типы задач вычислительной химии и применяемые

варианты проведения расчетов в распределенно-параллельных средах

на базе локальной сети и типовых грид-интерфейсов (Condor-G и

Nimrod-G), а также среды X-Com (http://x-com.parallel.ru) были

описаны нами в трудах предыдущей конференции [3]. Целью же

данной статьи является описание некоторых вариантов адаптации

существующего ПО в области вычислительной химии к параллельным

и/или распределенным средам.

Вычислительная среда

В течение 2005-2007 годов в ИПХФ была создана и

эксплуатируется гетерогенная распределенная вычислительная среда

на платформе рекомендованного EGEE-RDIG (http://www.egee-rdig.ru)

промежуточного ПО LCG-2/gLite-3 (http://cern.ch/glite): сформирован

комплекс, включающий ресурсный узел сервисов GRID в рамках

базовых требований, предъявляемых как европейским GRID

сообществом EGEE, так и его российским отделением RDIG, а также

несколько пользовательских интерфейсов (включая WWW-порталы

) и

шлюзов к инфраструктуре GRID. Структура, тестирование, основные

функции и возможности ресурсного узла по запуску исходящих и

входящих распределенных задач также описаны нами ранее [4].

Для пакетной обработки заданий на СЕ выбраны две системы:

Condor (http://www.cs.wisc.edu/condor/, версия 6.6.11) и PBS Torque

(версии 1.2.6 и 2.1.7, http://www.clusterresources.com/). Обе системы в

лучшей степени охватывают спектр разрабатываемых задач, позволяя

решать как типичные

параллельные задачи с непрерывным обменом

данными (например, GAMESS), так и генерируемые "пучки"

формально независимых задач. Для обработки параллельных задач

использованы пакеты MPICH версий 1 и 2.

Адаптация авторского ПО

Программы по расчету многопараметрических задач из области

квантовой химии: например, расчет процесса туннельного

прохождения протона через потенциальный барьер, параметры

которого периодически зависят от времени, а параметрами

являются

частота и амплитуда излучения (создание материалов для оптической

сверхплотной памяти). Подобные задачи имеют высокую

вычислительную сложность, однако вычисления в каждой точке сетки

происходят совершенно независимо друг от друга, что позволило

разбить область вычислений на множество непересекающихся

подобластей и на каждой из них запускать задачу на подмножестве

процессоров. Область решения задачи была разбита на 30 областей до

5000 точек в каждой. При применении одиночного ПК (класса

CoreDuo 2, 3 ГГц) оцениваемое время решения задачи составило бы

около 5-6 тысяч часов. Для расчетов на российском сегменте EGEE–

RDIG в рамках виртуальной организации RGSTEST были

использованы шлюзы

: Condor-Globus и авторский. Распараллеливание

задачи осуществлялось на User Interface узла ИПХФ авторскими

скриптами и средствами среды Condor, задания выполнялись

индивидуально и независимо друг от друга. Бинарный файл программ

вместе с входными данными для одной из подобластей, получившихся

в результате расщепления области данных, помещались во входной

“box” и передавались вместе с заданием на внешний брокер ресурсов

который определял свободный CE в VO RGSTEST, на котором и

происходили запуск и выполнение единичного задания. Объем

передаваемых входных данных для одного задания составлял около 1

Mб, выходных – до 0.5 Mб, таким образом, для расчета типовой задачи

происходила передача до 7,5 Гб данных на внешние расчетные узлы.

Выходные данные, вместе с файлом результатов, помещались в

выходной

“box” и передавались на хранение на SE, откуда извлекались

командой edg-job-get-output. Была показана возможность

работы с любым количеством CE в виртуальной организации. Расчет в

распределенной системе в среде GRID (с занятием до 100

процессоров) занял около 36 часов.

Расчет оптимальных параметров для создания промышленной

высокопроизводительной установки (теплового узла) по выращиванию

крупногабаритных кристаллов. Двумерная задача предусматривает до

единичных параллельных независимых расчетов, что делает ее

идеальной для решения путем запуска “пучков” задач на

распределенных вычислительных мощностях, при этом могут быть

использованы и SMP-варианты расчетов отдельных областей. Набор

авторских скриптов «нарезает» задачу и запускает ее через брокер

ресурсов на вычислительных мощностях VO RGSTEST. В настоящее

время разрабатывается вариант отправки «областей» рассчитываемой

сетки на удаленные CE с «нарезкой» их уже непосредственно на

ресурсном узле. Решено несколько упрощенных вариантов задачи,

однако полномасштабный вычислительный эксперимент требует до

1000 процессоров, что возможно лишь в рамках крупных полигонов