Стронгин Р.Г (ред.) Высокопроизводительные параллельные вычисления на кластерных системах
Подождите немного. Документ загружается.
11
Заключение
В докладе разработаны вопросы построения симулятора MIMO-
системы, включая интерфейс взаимодействия с операционной
системой, приведены характеристики производительности
разработанного симулятора на графическом процессоре и сравнение с
симулятором, реализованным на центральном процессоре.
В дальнейшие планы входит реализация кодера-декодера для
канала связи и разработка некоторых частей MAC уровня.
Литература
1. Прокис Д. Цифровая
связь. Пер. с англ. / Под ред. Д.Д.
Кловского. – М.: Радио и связь, 2000. – 800 с.: ил.
2. Сорокина С.И. и др. Программирование драйверов и систем
безопасности: Учеб. пособие. СПб.: БХВ-Петербург, М.:
Издатель Молгачева С.В., 2003. – 256 с.: ил.
3. Hesham El-Rewini and Mostafa Abd-El-Barr. Advanced computer
architecture and parallel processing. – John Wiley & Sons, Inc.,
Hoboken, New Jersey. 2005. – 272 p.
4. NVIDIA CUDA Programming Guide,
http://developer.download.nvidia.com/compute/cuda/1_0/NVIDIA
_CUDA_Programming_Guide_1.0.pdf
Контакты
Andrey.Akapiev@inventor.nnov.ru
ВЫЧИСЛИТЕЛЬНАЯ МОДЕЛЬ НЕЙРОАЛГОРИТМА
МНОГОСЛОЙНОГО ПЕРСЕПТРОНА
Н.
Г. Аксак, А.Ю. Тыхун
Харьковский национальный университет радиоэлектроники
Введение
Нейронные сети (НС) находят в настоящее время широкое
применение в самых различных сферах деятельности благодаря
параллельной схеме вычисления, устойчивости к сбоям,
изменяющейся архитектуре.
В [1] приведены определения нейронной сети, нейронного
алгоритма и нейрокомпьютера, опираясь на которые в работе
12
предложена реализация нейронного алгоритма на
высокопроизводительных вычислительных структурах.
Как правило, нейронные алгоритмы реализуются программно на
однопроцессорных системах. Время обучения нейронных сетей,
особенно при использовании неоптимальной топологии сети и
больших объемах исходных данных, обрабатываемых
последовательно, может быть очень велико.
Для ускорения обучения нейронных сетей предлагается
использовать симметричные мультипроцессорные системы (SMP),
системы с
массовым параллелизмом (МРР) и кластерные системы.
При использовании МPР-системы для решения поставленной
задачи параллельно вычисляются нейроны одного слоя на числе
процессоров равном количеству нейронов в слое. Однако при работе с
параллельным алгоритмом на МPР-системе, при значительном
увеличении количества процессоров в системе растет время на передачу
данных между
процессорами и возможен обратный эффект – время
обучения НС может возрастать.
Производительность систем с распределенной памятью очень
сильно зависит от производительности коммуникационной среды.
Коммуникационную среду можно достаточно полно охарактеризовать
параметрами: латентностью (временем задержки при посылке
сообщения), пропускной способностью (скоростью передачи
информации), временем задержки коммуникационного оборудования
(концентратора) и простоя заявок в очередях
при неправильной
балансировке нагрузки.
Развитие коммуникационных технологий, а именно, появление
высокоскоростного сетевого оборудования (например, новый
Infiniband-продукт – коммутатор Voltaire Grid Director IRS 2012) и
специального программного обеспечения (наиболее распространенная
библиотека MPI, реализующего механизм передачи сообщений над
стандартными сетевыми протоколами), сделало кластерные
технологии общедоступными.
Многослойный персептрон
Для решения многих практических задач [2] хорошо
зарекомендовал себя многослойный персептрон (МП).
13
Рассмотрим МП c архитектурой
kji
NNN
−
−
, где
i
N
- количество
нейронов во входном слое,
j
N
- количество нейронов в скрытом слое,
k
N
- количество нейронов в выходном слое (рис.1).
Рис. 1. Архитектура многослойного персептрона
Алгоритм обучения МП состоит из последовательных
взаимозависимых этапов обработки, причем каждый этап состоит из
совокупности независимых операций, выполняющихся параллельно. В
качестве функции активации для всех слоев выбрана сигмоидальная
функция. В общем случае алгоритм обучения НС состоит из
следующих этапов.
1. Вычисление выходов нейронов на основе обучающего
примера
⎟
⎠
⎞
⎜
⎝
⎛
+
∑
=
i
l
jlljj
btxtw=ty
1
)1()1()1(
)()()(
ϕ
,
для скрытого слоя, (1)
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
+
∑
=
)2(
1
)1()2()2(
)()()(
k
j
l
llkk
btytw=ty
ϕ
,
для выходного слоя, (2)
где
)1(
ij
w
- синоптический вес связи i–го входа с j–ым нейроном,
[]
i
x,,x,x=X ...
21
– вектор входных сигналов,
)1(
j
b
- порог j–ого нейрона
скрытого слоя,
)2(
jk
w
- синоптический вес связи j–го выхода нейрона
скрытого слоя с k–ым нейроном выходного слоя,
)2(
k
b
- порог k–ого
нейрона выходного слоя,
)(
•
ϕ
- функция активации нейронов.
14
Соотношения (1) и (2) можно представить в матричном виде как
умножение матрицы весовых коэффициентов
)1(
W
скрытого слоя на
вектор входа
X
и матрицы весовых коэффициентов
)2(
W
выходного
слоя на вектор
)1(
Y
(выход скрытого слоя) соответственно:
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
+
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
×
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=+
)1(
)1(
2
)1(
1
2
1
)1()1(
2
)1(
1
)1(
2
)1(
22
)1(
12
)1(
1
)1(
21
)1(
11
)1()1(
)1(
...
...
...
)(
j
i
ij
jj
i
i
T
b
b
b
x
x
x
www
www
www
BXW=Y
L
L
L
ϕϕ
.
(3)
()
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
+
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
×
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=+=
)2(
)2(
2
)2(
1
)1(
)1(
2
)1(
1
)2()2(
2
)2(
1
)2(
2
)2(
22
)2(
12
)2(
1
)2(
21
)2(
11
)2()1()2()2(
...
...
...
k
j
jkkk
j
j
T
b
b
b
y
y
y
www
www
www
BYWY
L
L
L
ϕϕ
.
(4)
Вычисление ошибки реакции сети
)()(
)2(
te=t
k
k
δ
,
для выходного слоя, (5)
,)()()()(
)1(
1
)2()2()1(
tytwt=t
j
k
l
jllj
∑
=
δδ
для скрытого слоя, (6)
где
)(te
k
- ошибка k-го нейрона выходного слоя.
Для всех слоев настройка весовых коэффициентов осуществляется в
соответствии с
)()()()1(
)()()()(
tyttw=tw
L
j
L
j
L
ij
L
ij
ηδα
++
,
(7)
где
α
– постоянная момента (
α
=1),
η
– параметр, отвечающий за
скорость обучения,
)(L
j
δ
– локальный градиент j-го нейрона, L –
количество слоев.
Постановка задачи
Рассмотрим многослойный персептрон (1) – (7). На
однопроцессорной системе вычисление нейронов каждого слоя
осуществляется последовательно. Сначала производится вычисление
выходного вектора скрытого слоя, что представляет собой
последовательное вычисление
)1(
1
y ,
)1(
2
y …,
)1(
j
y , затем аналогично
15
вычисляются значения выходного слоя
)2(
1
y
,
)2(
2
y
…,
)2(
k
y
и т. д., пока не
будут осуществлены все этапы обучения НС. Такие операции требуют
больших временных затрат.
Необходимо построить параллельную модель нейроалгоритма и
выбрать топологию вычислительной системы, снижающую затраты
межпроцессорного взаимодействия.
Решение задачи
В большинстве случаев применение нейрокомпьютеров не
представляется возможным в связи с их высокой стоимостью.
Существующие программные реализации
нейронных сетей не
рассчитаны на использование преимуществ многопроцессорных
систем.
Самым простым способом достижения параллельного выполнения
является параллелизм на уровне декомпозиции задачи, в данном
случае – разложение нейроалгоритма по функциям реализации
нейронов.
При использовании количества процессоров
m
P
, равного
количеству связей нейронной сети, достигается максимальное
ускорение за счет оптимальной реализации нейроалгоритма. Как
видно из рисунка 1, общее количество связей нейронной сети
()
BW
NikjN ++= *
,
nnW
NN >
, где
kjN
B
+
=
- общее количество
смещений
)(L
N
nn
b
,
kjnn
NNN
+
=
– общее количество нейронов.
Однако при таком выборе количества процессоров ресурсы будут
не оптимально загружены. Вычислительная нагрузка достигает
максимального значения только на этапе настройки весовых
коэффициентов слоя L и равномерно распределена среди всех
имеющихся в распоряжении процессоров.
Пусть в нашем распоряжении имеется кластерная вычислительная
сеть с топологией полносвязный граф при числе
имеющихся
процессоров
kjP
m
>
=
.
На рисунке 2 представлена модель параллельного нейроалгоритма
в виде вычислительной схемы нейроалгоритма совместно с
расписанием.
16
Рис. 2. Параллельная модель нейроалгоритма
Такт 1. Вычисление выходов нейронов скрытого слоя в
соответствии с (1) на основе обучающего примера. Обучающий
пример представляется парой {
[
]
i
x,,x,x=X ...
21
,
[
]
k
d,,d,d=D ...
21
}, где
[]
k
d,,d,d=D ...
21
– вектор цели. Осуществляется независимо на j
процессорах, распределенных следующим образом: первый процессор
вычисляет значения первого нейрона
)1(
1
y
, второй – второго нейрона
)1(
2
y
, j-ый процессор – j-го нейрона
)1(
j
y
.
Такт 2. Вычисление выходов нейронов выходного слоя в
соответствии с (2). Вычислительная нагрузка распределяется
следующим образом: первый процессор вычисляет значения первого
нейрона
)2(
1
y
, второй – второго нейрона
)2(
2
y
, k-ый процессор – k-
го
)2(
k
y
.
Такт 3. Вычисление ошибки выходного слоя в соответствии с (5).
Вычислительная нагрузка распределяется следующим образом:
первый процессор вычисляет ошибку первого нейрона
)2(
1
e
, второй –
второго нейрона
)2(
2
e
, k-ый процессор – k -го
)2(
k
e
.
17
Такт 4. Вычисление ошибки скрытого слоя в соответствии с (6).
Вычислительная нагрузка распределяется следующим образом:
первый процессор вычисляет ошибку первого нейрона
)1(
1
e
, второй –
второго нейрона
)1(
2
e
, j-ый процессор – j-го
)1(
j
e
.
Такты 5
÷
(5+i+1). Настройка весовых коэффициентов
)1(
ij
w
скрытого слоя в соответствии с (7). Вычислительная нагрузка
распределяется следующим образом: на 5-ом такте первый процессор
настраивает весовой коэффициент
)1(
01
w
, второй процессор -
)1(
02
w
,
третий процессор -
)1(
03
w
и j-ый процессор -
)1(
0 j
w
; на 6-ом такте
соответственно первый, второй, третий и j-ый процессоры
настраивают весовые коэффициенты
)1(
1
)1(
13
)1(
12
)1(
11
,,, ,
j
wwww L
; на 7-ом
такте соответственно первый, второй, третий и j-ый процессоры
настраивают весовые коэффициенты
)1(
2
)1(
23
)1(
22
)1(
21
,,, ,
j
wwww L
; на (5+i)-ом
такте соответственно первый, второй, третий и j-ый процессоры
настраивают весовые коэффициенты
)1()1(
3
)1(
2
)1(
1
,,, ,
ij
iii
wwww L
.
Такты (5+i+2)
÷
(5+i+2+k+1). Настройка весовых коэффициентов
)2(
jk
w выходного слоя в соответствии с (7). Вычислительная схема
аналогична предыдущей серии тактов 5
÷(5+i+1): на (5+i+2)-ом такте
первый процессор настраивает весовой коэффициент
)2(
11
w
, второй
процессор -
)2(
21
w
и j-ый процессор -
)2(
1
j
w
; на (5+i+3)-ом такте
соответственно первый, второй и j-ый процессоры настраивают
весовые коэффициенты
)2(
2
)2(
22
)2(
12
,,,
j
www L
; на (5+i+4)-ом такте
соответственно первый, второй и j-ый процессоры настраивают
весовые коэффициенты
)2(
3
)2(
23
)2(
13
,,,
j
www L
; на (5+i+2+k)-ом такте
соответственно первый, второй, третий и j-ый процессоры
настраивают весовые коэффициенты
)2()2(
2
)2(
1
,,,
jkkk
www L
; на (5+i+2+k+1)-
ом такте соответственно первый, второй, третий и k-ый процессоры
настраивают весовые коэффициенты
)2(
0
)2(
02
)2(
01
,,,
k
www L
.
18
Заключение
С целью снижения времени межпроцессорного взаимодействия во
время обучения НС в работе решена актуальная задача построения
топологии кластерной вычислительной системы.
Научная новизна работы заключается в том, что предложена
параллельная модель нейроалгоритма многослойного персептрона,
которая дает возможность сокращения времени обучения нейронной
сети на кластерных системах с топологией полносвязный граф.
Литература
1. Кирсанов С. Ю. Нейрокомпьютеры с параллельной
архитектурой/Кн.16. – М.: Радиотехника, 2004. – 496 с.:ил.
(Нейрокомпьютеры и их применение. Редактор А. И.
Галушкин).
2. Аксак Н.Г., Новосельцев И.В. Реализация многослойного
персептрона с помощью стандарта OpenMP//8-ая
Международная научно – практическая конференция
«Современные информационные и электронные технологии».
- Одесса, 2007. – С.89.
3. Гергель В
.П., Стронгин Р.Г. Основы параллельных
вычислений для многопроцессорных вычислительных систем:
Учебное пособие. - Нижний Новгород, 2003.
4. Основные классы современных параллельных компьютеров:
http://parallel.ru/computers/classes.html.
Контакты
61166, Харьков, пр. Ленина,14, каф. ЭВМ, тел. (0572) 702-13-54
ИСПОЛЬЗОВАНИЕ СУПЕРКОМПЬЮТЕРОВ
ДЛЯ МОДЕЛИРОВАНИЯ ДВИЖЕНИЯ ЖИДКОСТИ И ГАЗА
В ПРОГРАММНОМ КОМПЛЕКСЕ FLOWVISION
А.А. Аксенов, В.В. Шмелев
ООО “ТЕСИС”
В настоящее
время кластерные технологии вычислений получили
широкое распространение в связи с доступностью суперкомпьютеров
для широкого круга пользователей. Одним из основных потребителей
больших расчетных мощностей всегда была вычислительная
19
гидродинамика, поэтому в этой области сейчас наметился бурный
переход коммерческих программных комплексов на использование
кластерных вычислительных технологий.
Компания “ТЕСИС” выпустила третью версию программного
комплекса FlowVision-HPC, предназначенного для моделирования
трехмерных течений жидкости и газа в технических и природных
объектах. Отличительной особенностью FlowVision-HPC является
клиент-серверная архитектура, которая позволяет использовать
параллельные компьютеры
с распределенной памятью как для
расчетов, так и для визуализации течения жидкости и газа. Новая
архитектура программного комплекса позволяет наиболее полно
использовать возможности параллельных вычислений на кластерах
коллективного пользования, когда все задачи запускаются с помощью
систем управления заданиями (батч-системы), сохранив при этом
удобство работы с FlowVision через клиента, работающего на
персональным компьютере.
Другой отличительной особенностью FlowVision-HPC является
его тесная интеграция с конечно-элементной программой ABAQUS,
которая предназначена для расчета прочностных характеристик
конструкций. Обе программы могут работать на компьютерах с
распределенной памятью, обмениваясь информацией в процессе
расчета в параллельном режиме. Таким образом, использование обеих
программ позволяет решать задачи взаимодействия жидкости и
конструкций,
такие как, например, аквапланирование автомобильного
колеса, ветровая нагрузка на здания и сооружения, движение жидкости
в цистернах и баках, приводнение гидросамолетов, с одновременным
расчетом прочностных характеристик объектов.
РЕШЕНИЕ ЗАДАЧИ ДИФРАКЦИИ ЭЛЕКТРОМАГНИТНЫХ
ВОЛН С ИСПОЛЬЗОВАНИЕМ СИСТЕМЫ
РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ MATHNET
А.В. Антонов, Ф.C. Калашников
Пензенский государственный университет,
Региональный центр суперкомпьютерных вычислений
Задача дифракции для
сложной системы поверхностей и тел в
резонансном диапазоне частот в настоящий момент чрезвычайно
актуальна в связи с постоянным уменьшением размеров различных
20
электронных устройств, масштаб которых в последнее время
становится сопоставимым с длинами используемых ими
электромагнитных волн. В категорию таких устройств, в частности,
попадают средства вычислительной техники и телекоммуникации,
которые в последнее время развиваются и внедряются все более
быстрыми темпами и во все более внушительных масштабах. Решение
задач указанного типа требует значительных
вычислительных
ресурсов, и в этой связи особую остроту приобретают проблемы
разработки и внедрения новых математических методов для более
эффективного и точного выполнения необходимых вычислений, а
также проблема рациональной программной реализации этих методов,
которая позволила бы получать результат требуемой точности за
приемлемое время. Последнее становится возможным только при
условии использования современных многопроцессорных
вычислительных систем различной архитектуры, что, в свою очередь,
требует применения методов и средств параллельного
программирования для организации вычислений в рамках решения
указанной физической задачи.
Ввиду малой распространенности специализированных
вычислительных систем (суперкомпьютеров) с архитектурами SMP и
MPP, обусловленной их высокой стоимостью, особый интерес
представляет программная реализация решения задачи дифракции,
адаптированная к выполнению на
обычных рабочих станциях,
объединенных стандартной на данный момент сетью Fast Ethernet.
Подобный подход не только более оправдан с экономической точки
зрения, но и в большей степени соответствует современным
тенденциям развития информационных технологий. Он хорошо
соотносится с концепцией GRID-систем, разработка которых в
настоящее время является одним из перспективных направлений в
сфере вычислительной техники.
Указанная концепция предполагает
объединение территориально распределенных вычислительных
ресурсов с целью их совместного использования для решения сложных
и трудоемких задач различного характера. При этом, как правило,
возникает иерархическая структура, в которой выделяются основной
сервер, отвечающий за организацию вычислительного процесса и
управление его ходом, и конечные узлы, выполняющие
непосредственную обработку отдельных подзадач. Достоинством
GRID-систем является то, что для их развертывания не требуется
введение в строй дополнительных вычислительных мощностей или