Юринець В.Є., Юринець Р.В. Автоматизовані інформаційні системи. Електронний посібник

Подождите немного. Документ загружается.

103

звідки вони можуть бути прочитані планувальником та іншими

сервісами. Це дає змогу мати достовірну інформацію, що постійно

обновляється, про стан ресурсів.

У Grid-системах використовується складна система виявлення і

класифікації помилок. Якщо помилка відбулася з вини задачі, то задача

буде зупинена, а відповідна діагностика скерована її власнику

(користувачу). Якщо причиною збою послужив ресурс, то

планувальник

проведе перерозподіл ресурсів для заданої задачі і перезапустить її.

Збої ресурсів є не єдиною причиною відмов у Grid-системах.

Через величезну кількість задач і постійно змінної складної конфігурації

системи важливо своєчасно визначати переобтяжені і вільні ресурси,

проводячи перерозподіл навантаження між ними. Переобтяжений

мережний ресурс може стати причиною відмови значної кількості інших

ресурсів.

Планувальник, використовуючи систему моніторингу, постійно

стежить за станом ресурсів і автоматично вживає необхідних заходів

для запобігання перевантажень і простою ресурсів.

У розподіленому середовищі, яким є Grid-система, життєво

важливою властивістю є відсутність т. зв. єдиної точки збою. Це

означає, що відмова будь-якого ресурсу не повинна приводити до збою

в роботі всієї системи. Саме

тому планувальник, система моніторингу

та інші сервіси Grid-системи розподілені і продубльовані. Не дивлячись

на всю складність, архітектура Grid розроблялася з метою забезпечити

максимальну якість сервісу для користувачів. У Grid-системах

використовують сучасні технології передачі даних, забезпечення

безпеки і відмовостійкості.

1.3.6. Інструментальні засоби Grid-структур

У цьому підрозділі розглянуто набір інструментальних засобів,

які використовують під час реалізації проектів Grid і розроблених у

рамках проекту Глобус (Globus Project).

Ці інструментальні засоби утворюють набір програмних засобів

Globus Toolkit і дають змогу побудувати повно функціональну Grid-

систему. Засоби Globus Toolkit є сукупністю програмних компонент,

реалізуючих необхідні частини архітектури.

Globus Toolkit складається з таких основних компонент:

104

− GRAM (Globus Resource Allocation Manager), відпові-

дальний за створення/видалення процесів. Цей компонент Globus Toolkit

встановлюють на обчислювальному вузлі Grid-системи (вузлом може

бути як робоча станція, так і обчислювальний кластер). Призначені

для користувача додатки формують запити до GRAM на спеціальній

мові RSL (Resource Specification Language).

− MDS (Monitoring and Discovery Service) забезпечує способи

подання інформації про Grid-систему. Ця інформація може бути

найрізноманітнішою і містити, наприклад, дані про конфігурацію або

стан як всієї системи, так і окремих її ресурсів (тип ресурсу, доступний

дисковий простір, кількість процесорів, обсяг пам’яті, продуктивність

тощо). Вся інформація логічно організована у вигляді дерева, і доступ

до неї здійснюється за стандартним протоколом LDAP (Lightweight

Directory Access Protocol).

− GSI (Globus Security Infrastructure) забезпечує захист, що

включає шифрування даних, а також аутентифікацію (перевірка

автентичності, при якій встановлюється, що користувач

або ресурс

дійсно є тим, за кого себе видає) і авторизацію (процедура перевірки,

при якій встановлюється, що аутентифікований користувач або ресурс

дійсно має права доступу) з використанням цифрових сертифікатів

Х.509.

− GASS (Global Access to Secondary Storage) надає можливість

зберігання масивів даних в розподіленому оточенні і доступу до цих

даних. Визначає різні стратегії розміщення даних.

− Бібліотеки globus_io і

Nexus використовуються як приклад-

ними програмами, так і компонентами Globus Toolkit для мережної

взаємодії вузлів у гетерогенному середовищі.

Далі більш детально розглянуті деякі з цих компонент. Варто

зазначити, що Globus Toolkit не містить брокера ресурсів, залишаючи

задачу його реалізації розробникам, які створюють системи Grid на

його основі.

Управління ресурсами

Архітектура засобів управління ресурсами (Globus Resource

Management Architecture – GRMA) має багаторівневу структуру (див.

рис. 1.11).

105

Рис. 1.11. Архітектура засобів управління ресурсами

Запити призначених для користувача додатків виражаються на

RSL і передаються брокеру ресурсів, який відповідає за високорівневу

координацію використовування ресурсів (балансування завантаження)

у певному домені. На основі переданого призначеним для користувача

додатком запиту і політики (права доступу, обмеження щодо

використання ресурсів) відповідального адміністративного домена

брокер ресурсів ухвалює рішення про те, на яких обчислювальних

вузлах виконуватиметься

задача, який відсоток обчислювальної

потужності вузла вона може використовувати тощо.

Під час вибору обчислювального вузла брокер ресурсів має

визначити, які вузли доступні у заданий момент часу, їх завантаження,

продуктивність та інші параметри, вказані в RSL-запиті, вибрати самий

оптимальний варіант (це може виявитися один обчислювальний вузол

або декілька), згенерувати новий RSL-запит (ground RSL) і передати

його

високорівневому менеджеру ресурсів (co-allocator). Цей запит

106

міститиме вже більш конкретні дані, такі, як назви конкретних вузлів,

необхідна кількість пам’яті та ін. Основні функції високорівневого

менеджера ресурсів такі:

− колективне виділення ресурсів;

– додавання/видалення ресурсів до раніше виділених;

– отримання інформації про стан задач;

– передача початкових параметрів задачам.

Високорівневий менеджер ресурсів проводить декомпозицію

запитів ground RSL на множині більш простих

RSL-запитів і передає ці

запити GRAM. Далі, за відсутності повідомлень про помилки від

GRAM, задача користувача запускається на виконання. У випадку,

якщо один з GRAM повертає помилку, задача або знімається з

виконання, або спроба запуску відбувається повторно.

Менеджер GRAM надає верхнім рівням універсальний API для

управління ресурсами вузла Grid. Сам GRAM взаємодіє з локальними

засобами управління ресурсами вузла. Вузлом

може бути, наприклад,

робоча станція або обчислювальний кластер.

Організація доступу до ресурсів

GRAM – досить низькорівневий компонент Globus Toolkit, що є

інтерфейсом між високорівневим менеджером ресурсів і локальною

системою управління ресурсами вузла. На сьогоднішній день цей

інтерфейс може взаємодіяти з такими локальними системами

управління ресурсами:

− PBS (Portable Batch System) – система управління ресурсами і

завантаженням кластерів. Може працювати на різних платформах:

Linux, FreeBSD, NetBSD, Digital Unix, Tru64, HP-UX, AIX, IRIX, Solaris.

Зараз існує вільна з більш широкими можливостями реалізація PBS, т.

зв. Torque.

− LSF (Load Sharing Facility) –

система, аналогічна до PBS.

Розроблена компанією Platform Computing. Вона також здатна

працювати на багатьох платформах.

− NQE (Network Queuing Environment) – продукт компанії Cray

Research, що використовується частіше за все як менеджер ресурсів

на суперкомп’ютерах, кластерах і системах Cray, хоча може працю-

вати і на інших платформах.

107

− LoadLeveler – продукт компанії IBM, керівник балансом

завантаження крупних кластерів. Використовується в основному на

кластерах IBM.

− Condor – вільно доступний менеджер ресурсів, розроблений в

основному студентами різних університетів Європи і США.

Аналогічний до перелічених менеджерів ресурсів. Працює на різних

платформах UNIX і Windows NT.

− Easy-LL – спільна розробка IBM і Cornell Theory Center,

призначена для управління крупним кластером IBM у цьому центрі.

По суті є об

’єднанням LoadLeveler і продукту EASY лабораторії

Argonne National Lab.

− fork – найпростіший стандартний засіб запуску процесів в UNIX.

Структура GRAM зображена на рис. 1.12.

Рис. 1.12. Структура GRAM

Щоб на певному обчислювальному вузлі можна було віддалено

запускати на виконання програми, на ньому повинен виконуватися

спеціальний процес, який має назву Gatekeeper. Gatekeeper працює в

привілейованому режимі і виконує такі функції:

− проводить взаємну аутентифікацію з клієнтом;

− аналізує RSL-запит;

108

− відображає клієнтський запит на обліковий запис деякого

локального користувача;

− запускає від імені локального користувача спеціальний процес,

т. зв. Job Manager, і передає йому список потрібних ресурсів.

Після того, як Gatekeeper виконає свою роботу, Job Manager

запускає завдання (процес або декілька процесів) і проводить його

подальший моніторинг, повідомляючи клієнта про помилки й інші події.

Gatekeeper запускає тільки

один Job Manager для кожного користувача,

який управляє всіма завданнями цього користувача. Коли завдань

більше не залишається, Job Manager завершує роботу.

Інформаційний сервіс

Всі перераховані компоненти, включаючи призначені для

користувача додатки, можуть використовувати інформаційний сервіс

(Information Service) для отримання всієї необхідної інформації про стан

Grid-системи. В Globus Toolkit роль інформаційного сервісу грає MDS.

Цей компонент відповідає за збір і надання конфігураційної інформації,

інформації про стан Grid-системи і її підсистем, а також забезпечує

універсальний інтерфейс отримання необхідної інформації. MDS має

Рис. 1.13. Ієрархічна структура MDS

109

децентралізовану, легко масштабувалася структуру і працює як із

статичними, так і з динамічно змінними даними, необхідними

призначеним для користувача додаткам і різним сервісам Grid-системи.

Ієрархічна структура MDS представлена на рис. 1.13.

MDS складається з трьох основних компонент:

1. IP (Information Provider) – є джерелом інформації про конкрет-

ний ресурс або частину ресурсу.

2. GRIS (Grid Resource Information Service) – надає інформацію

про вузол Grid-системи, який може

бути як обчислювальним вузлом,

так і яким-небудь іншим ресурсом. GRIS опитує індивідуальні IP і

об’єднує отриману від них інформацію в єдину інформаційну схему.

3. GIIS (Grid Index Information Service) – об’єднує інформацію з

різних GRIS або інших GIIS. Для зменшення часу реакції на запит і

зниження мережного трафіку GIIS кешує дані. GIIS верхнього рівня

містить всю інформація про стан даної Grid-системи.

Безпека

Інфраструктура безпеки Grid (Grid Security Infrastructure – GSI)

забезпечує безпечну роботу в незахищених мережах загального

доступу (Інтернет), надаючи такі сервіси, як аутентифікація, конфіден-

ційність передачі інформації і єдиний вхід в Grid-систему. Під єдиним

входом мається на увазі, що користувачу потрібно лише один раз пройти

процедуру аутентифікації, а далі система сама поклопочеться про те,

щоб аутентифікувати його на всіх

ресурсах, якими він збирається

скористатися. GSI заснована на надійній інфраструктурі і тій що широко

використовується у криптографії з відкритим ключем (Public Key In-

frastructure – PKI).

Як ідентифікатори користувачів і ресурси в GSI використо-

вуються цифрові сертифікати X.509. В роботі з сертифікатами X.509 і

в процедурі видачі/отримання сертифікатів задіяно три сторони:

1. Центр Сертифікації (Certificate Authority – CA) – спеціальна

організація, що володіє повноваженнями видавати (

підписувати) цифрові

сертифікати. Різні CA зазвичай незалежні між собою. Відносини між

CA і його клієнтами регулюються спеціальним документом.

2. Дописувач – це людина або ресурс, який користується

сертифікаційними послугами CA. CA включає в сертифікат дані, що

110

надаються дописувачем (ім’я, організація і ін.) і ставить на ньому свій

цифровий підпис.

3. Користувач – це людина або ресурс, що покладається на

інформацію з сертифікату під час отримання його від підписчика.

Користувачі можуть приймати або відкидати сертифікати, підписані

який-небудь CA.

У Globus Toolkit використовуються два типи сертифікатів X.509:

1. Сертифікат користувача (User Certificate) – цей сертифікат

повинен мати

кожний користувач, що працює з Grid-системою.

Сертифікат користувача містить інформацію про ім’я користувача,

організації, до якої він належить, і центрі сертифікації, що видав цей

сертифікат.

2. Сертифікат вузла (Host Certificate) – цей сертифікат повинен

мати кожний вузол (ресурс) Grid-системи. Сертифікат вузла аналогіч-

ний сертифікату користувача, але в ньому замість імені користувача

вказується доменне ім’

я конкретного обчислювального вузла.

1.3.7. Подальший розвиток інструментальних засобів

Globus Toolkit отримав широке розповсюдження, оскільки був

першим повноцінним набором інструментальних засобів для розробок

у галузі Grid-технології і став стандартом де-факто. Проте навіть

найпоширеніша друга версія Globus Toolkit не була позбавлена недоліків,

основним з яких була відсутність уніфікованих засобів розроблення

інтероперабельних додатків, здатних взаємодіяти між собою і нада-

вати один одному різні послуги (сервіси).

Для

вирішення цієї проблеми на Global Grid Forum (GGF) була

запропонована Відкрита архітектура сервісів Grid (Open Grid Services

Architecture – OGSA). Стандарт OGSA визначає основний набір послуг,

які надають Grid-системи, і описує їх архітектуру. В термінології OGSA

ці послуги називають можливостями. Прикладами таких можливостей

є запуск додатків, доступ до даних тощо. В OGSA Grid-система

розглядається як набір незалежних один від одного послуг, які можуть

використовуватися незалежно або

спільно для побудови необхідної

інфраструктури. Стандарт OGSA пропонує конструювати Grid-системи

за принципом сервіс-орієнтованої архітектури (SOAService-Oriented

111

Architecture – SOAService Oriented Architecture), що визначає метод

побудови програмних систем у вигляді набору незалежних або слабо

зв’язаних сервісів. Передбачається, що кожний сервіс виконує свою

строго певну функцію і має жорстку семантику. Сервіси допускають

безліч реалізацій, але мають стандартний, строго специфікований

інтерфейс, через який можуть взаємодіяти як один з одним, так і з

додатками Грід. Таким чином

в OGSA Grid-система подається як

набір сервісів, що реалізовують різні послуги. Одні і ті ж сервіси можуть

брати участь в реалізації різних послуг.

Рівні архітектури OGSA зображені на рис. 1.14.

Рис.1.14. Трирівневе подання Grid в OGSA

Нижній рівень – це ресурси, які можуть входити в Grid-систему.

Середній рівень є послугами. На цьому рівні здійснюється узагальнення

(віртуалізація) ресурсів. Користувачу надаються високорівневі послуги

з чітко певними інтерфейсами. Строга специфікація цього рівня і є

основна задача OGSA. Верхній рівень – це додатки, що використовують

послуги для виконання тих чи інших задач. Цей рівень в OGSA

не

специфікований.

Велика частина деталей, пов’язаних з конкретною реалізацією

сервісів, в OGSA не згадується. Натомість OGSA спирається на

сімейство технологій веб-сервісів (Web-services), які з’явилися відносно

недавно і зараз дуже бурхливо розвиваються. Архітектура OGSA

зосереджується на визначенні послуг у вигляді набору взаємодіючих

сервісів.

112

Архітектура OGSA розроблялася з урахуванням деяких ключових

вимог, отриманих шляхом ретельного аналізу всіляких сценаріїв

використовування Grid-систем. Цими вимогами є:

Інтероперабельність. Більшість Grid-систем є розподіленою і

гетерогенною, тобто можуть мати величезну різноманітність плат-

форм, операційних систем і мереж. Для ефективної роботи у цьому

випадку Grid-система має задовольняти умовам, до яких належать:

♦

віртуалізація ресурсів (подання ресурсів в узагальненій формі,

що дає змогу абстрагуватися від непринципових відмінностей ресурсів,

які виконують одну і ту ж функцію);

♦

загальні способи управління (узагальнені механізми управ-

ління різними ресурсами для спрощення адміністрування Grid-систем);

♦

знаходження ресурсів (механізми забезпечення пошуку

ресурсів з потрібними властивостями у гетерогенному оточенні);

♦

стандартні протоколи (стандартизація протоколів для побу-

дови гетерогенної інтероперабельної системи).

Розділений доступ. Grid-система повинна давати змогу органі-

зувати розділений доступ до ресурсів, які належать різним організа-

ціям. Водночас над ресурсами, які передають у загальне користування,

має забезпечуватися гнучкий контроль.

Безпека. Це одна із важливіших умов, до якої належать:

♦

аутентифікація й авторизація (Grid-система має врахову-

вати як вимоги адміністративних доменів щодо надання ресурсів, так

и політику віртуальних організацій, які ці ресурси використовують).

♦

інтеграція із системами безпеки (різні адміністративні

домени можуть використовувати різні моделі і системи забезпечення

безпеки, що не повинно вплинути на взаємодію з ними Grid-системи

та забезпечення нею їх інтеграції).

♦

делегування прав (механізми делегування прав користувача,

що дає змогу уникнути багаторазової аутентифікації (введення пароля),

оскільки у Grid-системах для виконання запиту може виникнути потреба

доступу до багатьох ресурсів, які перебувають у різних адміністра-

тивних доменах).

Запуск завдань. Можливість запуску завдань на віддалених

обчислювальних системах. Водночас мають задовольнятися такі

умови: