Юринець В.Є., Юринець Р.В. Автоматизовані інформаційні системи. Електронний посібник

Подождите немного. Документ загружается.

113

Ё підтримка різних типів завдань (Grid-система має підтри-

мувати широкий спектр можливих завдань, зокрема паралельні

завдання або завдання, які складаються з довгого ланцюжка дій);

♦

управління завданнями (засоби управління та моніторингу

завдань протягом всього часу їх виконання);

♦

диспетчеризація (завдання мають автоматично скеровува-

тися на відповідні обчислювальні ресурси із врахуванням певних вимог,

наприклад, тип ОС, наявність тих чи інших бібліотек, кількість

доступних обчислювачів тощо).

♦

забезпечення ресурсами (засоби для автоматичного виділення

потрібних завданню ресурсів і підготовка їх до використання).

Маніпуляція даними. Grid-cистеми мають забезпечувати

ефективні методи роботи з великою кількістю даних. Дані можуть

бути у вигляді файлів чи розподілених баз даних. Вимагається вико-

нання таких умов:

♦

цілісність даних (механізми кешування і реплікації, що не

приводять до одержання застарілих (неактуальних) даних);

♦

інтеграція даних (механізми для забезпечення одночасної

роботи з декількома джерелами даних).

♦

пошук даних (механізми ефективного пошуку даних у Grid-

системі).

Гарантії якості обслуговування. Grid-система має забезпечу-

вати гарантовану якість обслуговування для застосувань за необхід-

ністю виконання таких умов, як мінімально допустима пропускна

здатність мережі, гарантована продуктивність обчислювача, гаранто-

ваний рівень безпеки тощо. Водночас можуть висуватися додаткові

вимоги, зокрема:

♦

угода про якість обслуговування (механізми досягнення

домовленості про якість обслуговування між користувачами і серві-

сами Grid, що дає змогу правильно планувати використання ресурсів);

♦

міграція (можливість міграції виконуваних застосувань з одних

ресурсів на інші у випадку необхідності для забезпечення належної

якості обслуговування).

Оптимізація виділення ресурсів. Grid-системи повинні вміти

ефективно використовувати наявні ресурси і вміти оптимізувати їх

виділення. Недопустимими мають бути випадки, коли ресурс невиправ-

114

дано дорогий, коли треба робити резервне копіювання всіх даних, коли

обіцяють, що час використання ресурсу буде максимальним тощо.

Замість цього повинні бути використані більш гнучкі механізми,

наприклад, виділення ресурсів на невеликі інтервали часу з наступним

переглядом параметрів виділення.

Зниження вартості підтримки. Адміністрування великих

гетерогенних систем – дуже трудомісткий і дорогий процес. Grid-сис-

теми

мають полегшувати цей процес, автоматизуючи велику кількість

задач і даючи змогу ефективно проводити адміністрування та функ-

ціональну підтримку різних ресурсів, що має передбачати наявність

механізмів автоматичного розкриття можливих проблем і повідомлення

про них.

Надійність. Grid-системи мають забезпечувати високу екс-

плуатаційну надійність і захист від збоїв. Для цього може виникнути

потреба використання запасних

ресурсів, резервне копіювання даних,

моніторинг ресурсів, автоматичне відновлення системи після збоїв.

Для завдань, які виконуються тривалий час, може виникнути потреба

у механізмах відновлення, наприклад, з використанням контрольних

точок.

Простота використання і можливість розширення. Робота

користувачів у Grid-системі має бути якомога простішою. Тому

потрібна підтримка різних рівнів роботи – від найпростіших (з

мінімальною гнучкістю)

до найскладніших, які вимагають від

користувачів спеціальних знань і навиків. Галузі застосування Grid-

систем можуть змінюватися, тому архітектура Grid має враховувати

можливе розширення спектру застосувань і появу нових вимог.

Масштабування. Архітектура Grid не повинна мати вузьких

місць, які не давали б змоги масштабувати Grid-системи.

Для реалізації основних аспектів архітектури OGSA була випущена

четверта (остання на сьогоднішній день

) версія Globus Toolkit, проте

широкого розповсюдження вона не отримала. Причиною цього є

надзвичайна громіздкість існуючих реалізацій інфраструктури веб-

сервісів, величезні вимоги до обсягу оперативної пам’яті і низька

продуктивність. Незважаючи на це, цей підхід залишається досить

перспективним напрямом розвитку Grid-систем, що вимагає лише

високоефективної реалізації.

115

1.3.8. Програмне забезпечення LCG

Для побудови повністю функціональної Grid-системи необхідне

програмне забезпечення проміжного рівня, побудоване на основі

існуючих інструментальних засобів і надаюче високорівневі сервіси

задачам і користувачам.

Прикладом такого програмного забезпечення може служити LCG

(LHC Computing Grid), що розробляється в європейському центрі

ядерних досліджень (CERN). Спочатку метою проекту LCG була

розроблення повністю функціонуючої Grid-системи на базі Globus

Toolkit для оброблення даних у фізиці високих

енергій. З часом галузь

використовування LCG розширилася, і зараз це – один з найпоширеніших

пакетів і тих що швидко розвиваються програмних засобів Grid.

Прикладний пакет програм LCG складається з декількох частин,

т. зв. елементами. Кожний елемент є самостійним набором програм

(одні і ті ж програми можуть входити в декілька елементів), що реа-

лізують деякий сервіс, і

призначений для встановлення на комп’ютер

під управлінням операційної системи Scientific Linux.

Нижче перераховані основні елементи LCG та їхнє призначення:

СЕ (Computing Element) – набір програм, призначений для

установки на управляючий вузол обчислювального кластера. Цей

елемент надає універсальний інтерфейс до системи управління ресур-

сами кластера і дає змогу запускати на кластері обчислювальні

завдання.

SE (Storage Element) – набір програм, призначений для

установки

на вузол зберігання даних. Цей елемент надає універсальний інтерфейс

до системи зберігання даних і дає змогу управляти даними (файлами)

в Grid-системі.

WN (Worker Node) – набір програм, призначений для установки

на кожний обчислювальний вузол кластера. Цей елемент надає стан-

дартні функції і бібліотеки LCG задачам, що виконуються на заданому

обчислювальному вузлі.

UI (User Interface) – набір програм, що

реалізовують призначений

для користувача інтерфейс Grid-системи (інтерфейс командного рядка).

У цей елемент входять стандартні команди управління задачами і

даними, деякі з яких розглянуті далі.

116

RB (Resource Broker) – набір програм, що реалізують систему

управління завантаженням (брокер ресурсів). Це найскладніший (і

об’ємний) елемент LCG, що надає всі необхідні функції для скоор-

динованого автоматичного управління завданнями у Grid-системі.

PX (Proxy) – набір програм, що реалізують сервіс автоматичного

оновлення сертифікатів (myproxy).

LFC (Local File Catalog) – набір програм, що реалізують файловий

каталог Grid-системи. Файловий каталог необхідний для зберігання

інформації про

копії файлів, а також для пошуку ресурсів, що містять

необхідні дані.

BDII (Infornation Index) – набір програм, що реалізують інфор-

маційний індекс Grid-системи. Інформаційний індекс містить всю

інформацію про поточний стан ресурсів, одержувану з інформаційних

сервісів, і необхідний для пошуку ресурсів.

MON (Monitor) – набір програм для моніторингу обчислюваль-

ного кластера. Цей елемент збирає і зберігає в

базі даних інформацію

про стан і використовування ресурсів кластера.

VOMS (VO Management Service) – набір програм, що реалізують

каталог віртуальних організацій. Цей каталог необхідний для управління

доступом користувачів до ресурсів Grid-системи на основі членства у

віртуальних організаціях.

На один комп’ютер можлива установка відразу декількох

елементів LCG, якщо це уможливлюють його потужності (обсяг

пам’яті і продуктивність). Мінімальна кількість

вузлів, необхідних для

розгортання повного набору пакета LCG, рівна трьом. Варто зазначити,

що установка всіх сервісів на один вузол, хоча і можлива технічно, але

настійно не рекомендується. З міркувань безпеки брокер ресурсів

потрібно розташувати на окремому вузлі. Обчислювальні вузли також

слід виділити окремо, оскільки навантаження, створюване на них

працюючими завданнями, призведе до дефіциту ресурсів

для решти

сервісів. Вся решта елементів може бути встановлені спільно.

В основі прикладного пакета програм LCG лежать розробки,

виконані в рамках європейського проекту EDG (European DataGrid)

кілька років тому. Зараз проект LCG активно розвивається і стоїть на

порозі переходу до нової, більш функціональної інфраструктури

програмного забезпечення, що носить назву gLite. Цей перехід має на

117

меті поступову заміну застарілих програм новими із збереженням

сумісності.

Важливо відзначити, що все програмне забезпечення, яке

розробляють в рамках проекту LCG, може вільно (безоплатно)

використовуватися будь-якими користувачами. На основі цього

програмного забезпечення можливе створення національних і

регіональних Grid-систем для ефективного розподілу локальних

ресурсів. LCG є технологічною базою для інфраструктури,

реалізовуваної в рамках проекту EGEE.

1.3.9. Користувач у Grid-системі

Система входу користувача в Grid-систему досить складна. Це

визначено багатьма чинниками, але головною проблемою є питання

безпеки (загрози вторгнень й атак зловмисників). Аутентифікація і

авторизація користувачів є шляхами для вирішення цієї проблеми.

Аутентифікаційні рішення для середовищ віртуальних організацій

повинні мати такі властивості:

Єдиний вхід. Користувач має реєструватися і аутентифікуватися

тільки один раз на

початку сеансу роботи, дістаючи доступ до всіх

дозволених ресурсів базового рівня архітектури Grid.

Делегування прав. Користувач повинен мати нагоду запуску

програм від свого імені. Таким чином програми дістають доступ до

всіх ресурсів, на яких авторизований користувач. Призначені для

користувача програми можуть, у разі необхідності, делегувати частину

своїх прав іншим програмам.

Довірче відношення до користувача.

Якщо користувач зробив

запит на одночасну роботу з ресурсами декількох постачальників, то

при конфігурації захищеного середовища користувача система безпеки

не повинна вимагати взаємодії постачальників ресурсів один з одним.

Для входу в Grid-систему користувач повинен:

– бути легальним користувачем обчислювальних ресурсів у своїй

організації;

– мати персональний цифровий сертифікат, підписаний центром

сертифікації;

– бути зареєстрованим хоча

б в одній віртуальній організації.

118

Отримання цифрового сертифікату є важливим і необхідним

кроком для отримання доступу до Grid-системи. Цифровий сертифікат

аналогічний паспорту і однозначно ідентифікує користувача. Для

отримання цифрового сертифікату користувачу необхідно звернутися

в Центр сертифікації. Центри сертифікації здебільшого існують в

рамках організацій, що беруть участь в яких-небудь проектах Grid

(наприклад, CERN або INFN). Докладну інструкцію щодо отримання

цифрового сертифікату

можна отримати безпосередньо в Центрі

сертифікації, а тут вкажемо лише основні кроки під час виконання цієї

інструкції:

− створення на комп’ютері користувача (на призначеному для

користувача інтерфейсі) двох файлів – закритого ключа і запиту на

сертифікат;

– відсилання запиту на сертифікат у центр сертифікації;

– отримання з центру сертифікації підписаного відкритого ключа

(потрібна перевірка

особи користувача).

Закритий ключ не варто посилати в Центр сертифікації, а необ-

хідно берегти в захищеному місці. Незважаючи на те, що закритий

ключ додатково захищений паролем, про всі випадки втрати або

можливого несанкціонованого доступу до закритого ключа необхідно

негайно повідомляти в Центр сертифікації.

Після отримання цифрового сертифікату користувачу необхідно

реєструватися у віртуальній організації

. Залежно від області роботи

користувача це може бути міжнародна, національна або локальна

віртуальна організація. Правила реєстрації у віртуальній організації

необхідно взнати у відповідному Центрі реєстрації (не плутати з Цент-

ром сертифікації). Можливо реєстрація одного і того ж користувача

(сертифікату) в декількох віртуальних організаціях.

Доступ до Grid-системи може бути проведений з будь-якого

місця

(обчислювальної системи, терміналу), в якому встановлений призна-

чений для користувача інтерфейс Grid-системи. Він може бути викона-

ний різними способами (командний рядок, веб-інтерфейс), проте має

надавати користувачу можливість повноцінно працювати з Grid-систе-

мою, тобто запускати нові завдання, управляти вже запущеними і

одержувати результати роботи завдань, що завершилися. Самим стан-

дартним

є інтерфейс командного рядка (Command Line Interface – CLI),

119

що дає змогу виконувати всі операції управління завданнями і даними,

а також адміністративні дії. Недолік цього інтерфейсу – його «недруж-

ність» до користувача і відсутність орієнтації на конкретний додаток.

Користувачу набагато зручніше працювати зі середовищем, що

орієнтоване на розв’язувану ним задачу і надає зручний графічний

інтерфейс. Це завдання вирішують веб-інтерфейси, що

дають змогу

працювати з Grid-системою прямо з браузера.

1.3.10. Інтерфейс командного рядка

Розглянемо основні кроки використовування інтерфейсу команд-

ного рядка LCG. Наведений перелік команд не претендує на повноту,

проте він дає змогу виконувати всі основні операції під час роботи із

задачами і даними в Grid-системі.

Перед початком роботи з LCG користувачеві необхідно створити

т. зв. прокси-сертифікат. Цей сертифікат обмежений за часом (за

замовчуванням 12 год.) і

передається в Grid-систему разом із задачею.

Цей сертифікат дає змогу задачі виконувати операції від імені корис-

тувача, що запустив її (авторизація, робота з даними, запуск підзадач

і т.д.):

grid-proxy-init

Для отримання інформації про прокси-сертифікат можна

скористатися командою:

grid-proxy-info -all

Одним з важливих обмежень прокси-сертифікату є те, що задача,

запущена з прокси-сертифікатом, не може виконуватися довше, ніж

час життя цього сертифікату. Це обмеження введено з міркувань безпе-

ки. Якщо користувачеві необхідно запустити задачу на довгий час,

але точно передбачити цей час у момент запуску завдання неможливо,

то прокси-сертифікат

можна зареєструвати на сервері автоматичного

оновлення сертифікатів (myproxy).

Реєстрації прокси-сертифікату на сервері:

myproxy-init -s <сервер> -t <час реєстрації>

Отримання автоматично оновленого прокси-сертифікату:

myproxy-get-delegation -s <сервер>

Отримання інформації про зареєстрований прокси-сертифікат:

120

myproxy-info -s <сервер>

Відміна реєстрації:

myproxy-destroy -s <сервер>

Після проведення всіх підготовчих операцій з прокси-серти-

фікатами можна приступати до запуску завдань в Grid-системі. Для

опису завдань в середовищі LCG використовується спеціальна мова

JDL (Job Description Language). Типовий опис завдання містить

інформацію про той, що розташовує виконуваного файлу задачі,

аргументах командного рядка, розміщенні вхідних і вихідних даних і

нарешті, інформацію про вимоги, що пред’являються до

обчислювальних ресурсів (мінімальний обсяг пам’яті, тип процесора і

т.д.). Найпростіший приклад завдання на мові JDL виглядає так:

Executable = “/bin/echo”;

Arguments = “Hello World”;

StdOutput = “hello.out”;

StdError = “hello.err”;

OutputSandbox = {“hello.out”, “hello.err”};

Для запуску й управління завданнями в Grid-системі існують три

основні команди:

1. Посилання задачі на виконання (як аргумент указується файл

з описом задачі). Ця

команда повертає унікальний ідентифікатор зав-

дання (JobID), який надалі необхідно використовувати для управління

цим завданням:

edg-job-submit hello.jdl

2. Отримання інформації про поточний стан задачі:

edg-job-status <JobID>

3. Отримання результатів виконання задачі після її завершення:

edg-job-get-output <JobID>

Не менше важливими є команди для управління даними. Основна

задача системи управління даними – створення копій даних для швид-

кого доступу

до них обчислювальних ресурсів (реплікація) і підтримка

каталога цих копій. Існують чотири основні команди для управління

даними в LCG:

1. Копіювання файла з локального обчислювального вузла на

елемент зберігання даних і реєстрація його в каталозі:

lcg-cr <файл>

121

2. Реплікація файла з одного елемента зберігання даних на іншій

з реєстрацією в каталозі:

lcg-rep <файл>

3. Видалення файла з елемента зберігання даних і видалення

відповідного запису з каталога:

lcg-del <файл>

4. Копіювання файла з елемента зберігання даних на локальний

обчислювальний вузол:

lcg-cp <файл>

Повний набір команд LCG вельми обширний і постійно розши-

ряється, тому неможливо

дати його розгорнений опис; основні ж команди

працюють зі всіма версіями LCG, що вийшли, і підтримуватимуться в

майбутньому з метою збереження сумісності.

1.3.11. Веб-інтерфейси Grid-системи

Прикладом веб-інтерфейсу до Grid-системи може служити GEN-

IUS, розроблений в італійському інституті INFN (grid-demo.ct.infn.it).

Метою створення веб-інтерфейсу GENIUS було:

− ознайомлення користувача з Grid-технологією;

– надання доступу до сервісів Grid-системи через Інтернет;

– простий і зручний графічний інтерфейс;

– ефективний моніторинг поточного стану Grid-системи.

Веб-інтерфейс GENIUS дає змогу виконувати всі основні операції

управління завданнями і даними

в Grid-системі. До того ж всі ці дії

користувач може проводити прямо з браузера.

Зараз GENIUS активно використовують в рамках проекту GILDA

(Grid Infn Laboratory for Dissemination Activities), що є віртуальною

лабораторією для демонстрації можливостей Grid-технології. Проект

GILDA складається з декількох частин:

GILDA Testbed – набір сайтів зі встановленим програмного

забезпечення LCG;

Grid Demonatrator – веб-інтерфейс GENIUS, що дає змогу

працювати з певним набором додатків;

GILDA CA

– центр сертифікації, що видає 14-денні сертифікати

для роботи з GILDA;

122

GILDA VO – віртуальна організація, яка об’єднує всіх корис-

тувачів GILDA.

Grid Tutor – веб-інтерфейс GENIUS, що використовується для

демонстрації можливостей Grid-технології.

Monitoring System – система моніторингу для GILDA Testbed.

Призначені для користувача веб-інтерфейси до Grid-систем є

досить перспективним напрямком, оскільки можуть бути легко адап-

товані під конкретну задачу або наочну область і не вимагають навиків

роботи з командним

рядком unix. Авторизація користувачів на таких

інтерфейсах відбувається також за допомогою завантажених у браузер

цифрових сертифікатів.

1.3.12. Тенденції розвитку Grid-інфраструктури у світі

На сьогоднішній день США – незаперечний лідер у практичній

побудові Grid-мереж. 2001 року в США стартував проект TeraGrid,

фінансований Національним науковим фондом, основним завданням

якого стало створення розподіленої інфраструктури для високопродук-

тивних обчислень. 2004 року Джордж Буш офіційно оголосив про

початок виконання президентської стратегічної Grid-програми (Strate-

gic Grid Computing Initiative), основна мета якої – “створення єдиного

національного простору високопродуктивних обчислень”. Зараз у

США

вже успішно функціонують чотири національні Grid-мережі, які пере-

бувають під турботливою опікою провідних державних відомств: інфор-

маційна мережа підтримки НАСА, глобальна інформаційна мережа

міністерства оборони, комп’ютерна мережа національного фонду науко-

вих досліджень та мережа суперкомп’ютерної ініціативи міністерства

енергетики. Під керівництвом Пенсільванського університету США

на базі Grid-технологій створено Національний цифровий центр

мамографії із загальним обсягом даних 5,6 петабайта (1 Пбайт ~ 1024

Тбайтів, 1 Тбайт ~ 1024 Гбайтів, 1 Гбайт ~ 1024 Мбайтів), що дає

медикам можливість швидкого доступу до записів мільйонів пацієнтів.

Чималий вклад у становлення Grid-технологій вносять приватні

американські кампанії. Так, корпорація Google, відома у всьому світі

завдяки своїй інформаційній пошуковій системі, оголосила проект

побудови глобальної Grid-системи, що перетворює комп’ютинг на спо