Юринець В.Є., Юринець Р.В. Автоматизовані інформаційні системи. Електронний посібник

Подождите немного. Документ загружается.

До теперішнього часу вже реалізовані і реалізуються безліч

проектів по створенню Grid-систем. Більша частина цих проектів має

експериментальний характер. Виходячи з результатів аналізу проектів

можна зробити висновок про три напрямки розвитку Grid-технології:

обчислювальний, для інтенсивного опрацювання даних і семантичний

для операції інформацією з різних баз даних. Метою першого напрямку

є досягнення максимальної швидкості

обчислень за рахунок

глобального розподілу цих обчислень між комп’ютерами. Проект

DEISA (www.desia.org) може служити прикладом цього напрямку, в

якому робиться спроба об’єднання суперкомп’ютерних центрів.

Метою другого напрямку є опрацювання величезних обсягів

даних відносно нескладними програмами за принципом «одна задача

– один процесор». Доставка даних для оброблення і пересилка

результатів в цьому випадку є

досить складною задачею. Для цього

напрямку Grid-інфраструктура є об’єднанням кластерів. Один з

проектів, метою якого і є створення виробничої Grid-системи для

оброблення наукових даних, є проект EGEE (Enabling Grids for E-

sciencE), який виконується під егідою європейського Союзу (www.eu-

egee.org). Учасниками цього проекту є більше 90 наукових та освітніх

установ зі всього світу.

Побудова Grid-інфраструктури в рамках проекту EGEE орієн-

тована, в першу чергу, на використання в різних галузях наукової

діяльності, у тому числі і для оброблення даних у фізиці високих енергій

учасниками експериментів, що проводяться на базі створюваного в

європейському центрі ядерних досліджень (CERN, www.cern.ch)

прискорювача LHC.

Проект EGEE тісно пов’язаний на даній фазі розвитку з проектом

LCG (LHC Computing Grid), який, по суті, і є його технологічною

основою

. Незважаючи на досить тісну взаємодію багатьох проектів,

конкретні реалізації Grid-систем відрізняються один від одного, хоча

до теперішнього часу спостерігалася тенденція стандартизації

більшості компонент, що означає найважливіший етап формування Grid-

технології (архітектура, протоколи, сервіси та ін.). З найзагальніших

позицій ця технологія характеризується простим набором критеріїв:

– координація використовування ресурсів за відсутності

централізованого управління цими ресурсами

;

− використовування стандартних, відкритих, універсальних

протоколів та інтерфейсів;

− забезпечення високоякісного обслуговування користувачів.

1.3.2. Концепція Grid-інфраструктур

Grid є технологією забезпечення гнучкого, безпечного і скоор-

динованого загального доступу до ресурсів. При цьому слово «ресурс»

треба розуміти в дуже широкому значенні, тобто ресурсом можуть

бути технічні засоби (жорсткі диски, процесори, термінали тощо), а

також системне і прикладне забезпечення (бібліотеки, додатки).

У термінології Grid сукупність людей і організацій, які спільно

розв’язують ту

чи іншу загальну задачу і надають у користування

один одному свої ресурси, називають віртуальною організацією.

Наприклад, віртуальною організацією може бути сукупність всіх людей,

що беруть участь в якому-небудь науковому об’єднанні. Віртуальні

організації можуть розрізнятися за складом, масштабом, часом

існування, родом діяльності, цілями, відносинами між учасниками

(довірчі, не довірчі) і т

.д. Склад віртуальних організацій може динамічно

мінятися.

На нинішній день є два основні критерії, що виділяють Grid-

системи серед інших інформаційних систем, які забезпечують

роздільний доступ до ресурсів:

1. Grid-система координує розрізнені ресурси. Ресурси не мають

загального центру управління, а Grid-система займається координацією

їх використовування, наприклад, балансуванням навантаження. Тому

проста система управління ресурсами кластера

не є системою Grid,

оскільки здійснює централізоване управління всіма вузлами цього

кластера, маючи до них повний доступ. Grid-системи мають лише

обмежений доступ до ресурсів, залежний від політики того адмі-

ністративного домена (організації-власника), до якого цей ресурс

належить.

2. Grid-систему будують на основі стандартних і відкритих

протоколів, сервісів та інтерфейсів. Не маючи стандартних протоколів,

неможливо легко і швидко під’єднати нові ресурси в Grid-систему,

розробляти нові види сервісів і т.д.

Відзначимо ще декілька властивостей, які зазвичай притаманні

Grid-системам:

− гнучкість – можливість забезпечення розділеного доступу до

будь-яких видів ресурсів;

− масштабованість – працездатність Grid-системи у разі знач-

ного збільшення або зменшення її складу;

− гнучка і могутня підсистема безпеки – стійкість до атак злов-

мисників, забезпечення конфіденційності;

− можливість контролю над ресурсами – вживання локальних і

глобальних

політик і квот;

− гарантії якості обслуговування;

− можливість одночасної, скоординованої роботи з декількома

ресурсами.

Хоча сама Grid-технологія не прив’язана до певних ресурсів,

найбільш часто реалізації Grid-систем забезпечують роботу з такими

типами ресурсів:

− обчислювальні ресурси – окремі комп’ютери, сервери,

кластери;

− ресурси зберігання даних – диски і дискові масиви, стрічки,

системи масового

зберігання даних;

− мережні ресурси;

− програмне забезпечення – яке-небудь спеціалізоване ПЗ.

Відмінність між Grid-технологією і реалізаціями Grid-систем

полягає в тому, що Grid-технологія відноситься лише до самих

загальних та універсальних аспектів, однакових для будь-якої системи

(архітектура, протоколи, інтерфейси, сервіси). Використовуючи цю

технологію і наповнюючи її конкретним змістом, можна реалізувати

ту чи іншу

Grid-систему, призначену для розв’язування того або іншого

класу прикладних задач.

Не варто змішувати Grid-технологію з технологією паралельних

обчислень. У рамках конкретної Grid-системи зазвичай можна

організувати паралельні обчислення з використанням існуючих

технологій (PVM, MPI), оскільки Grid-систему можна розглядати як

якийсь метакомп’ютер, що має безліч обчислювальних вузлів. Проте

Grid-технологія не є технологією паралельних обчислень, в

її задачі

входить лише координація використовування ресурсів.

1.3.3. Архітектура Grid-інфраструктур

Архітектура Grid визначає системні компоненти, цілі і функції цих

компонент і відображає способи взаємодії компонент один з одним.

Вона є архітектурою взаємодіючих протоколів, сервісів і інтерфейсів,

що визначають базові механізми, за допомогою яких користувачі

встановлюють з’єднання з Grid-системою, спільно використовують

обчислювальні ресурси для розв’язування різного роду задач.

Архітектура протоколів Grid розділена на

рівні (див. рис. 1.9),

компоненти кожного з них можуть використовувати можливості

компонент будь-якого з розташованих нижче рівнів. Загалом ця

архітектура задає вимоги для основних компонент технології

(протоколів, сервісів, прикладних інтерфейсів і засобів розроблення

програмних засобів), не надаючи строгий набір специфікацій,

залишаючи можливість їх розвитку в рамках прийнятої концепції

Рис. 1.9. Рівні архітектури протоколів Grid та їх відповідність

рівням архітектури протоколів Інтернет

Базовий рівень

На базовому рівні (Fabric Layer) описують служби, що безпо-

середньо працюють з ресурсами. Ресурс є одним з основних понять

архітектури Grid. Ресурси можуть бути вельми різноманітними, проте,

як вже згадувалося, можна виділити декілька основних типів (див.

рис. 1.10):

– обчислювальні ресурси;

– ресурси зберігання даних;

– інформаційні ресурси, каталоги;

– мережні ресурси.

Рис. 1.10. Ресурси Grid

Обчислювальні ресурси надають користувачеві Grid-системи

(точніше кажучи, задачі користувача) процесорні потужності.

Обчислювальними ресурсами можуть бути як кластери, так і окремі

робочі станції. При всій різноманітності архітектури будь-яка обчис-

лювальна система може розглядатися як потенційний обчислювальний

ресурс Grid-системи. Необхідною умовою для цього є наявність

спеціального програмного забезпечення, т. зв. ПЗ проміжного рівня

(middleware),

що реалізує стандартний зовнішній інтерфейс з ресурсом

і дає змогу зробити ресурс доступним для Grid-системи. Основною

характеристикою обчислювального ресурсу є продуктивність.

Ресурси пам’яті є простором для зберігання даних. Для доступу

до ресурсів пам’яті також використовують програмне забезпечення

проміжного рівня, що реалізує уніфікований інтерфейс управління і

передачі даних. Як і у разі

обчислювальних ресурсів, фізична

архітектура ресурсу пам’яті не принципова для Grid-системи, будь то

жорсткий диск на робочій станції або система масового зберігання

даних на сотні терабайт. Основною характеристикою ресурсу пам’яті

є його обсяг.

Інформаційні ресурси і каталоги є особливим видом ресурсів

пам’яті. Вони служать для зберігання і надання метаданих та інформації

про

інші ресурси Grid-системи. Інформаційні ресурси дають змогу

берегти величезний обсяг інформації про поточний стан Grid-системи

і ефективно виконувати задачі пошуку.

Мережний ресурс є зв’язуючою ланкою між розподіленими

ресурсами Grid-системи. Основною характеристикою мережного

ресурсу є швидкість передачі даних. Географічно розподілені системи

на основі такої технології здатні об’єднувати тисячі ресурсів різного

типу, незалежно від їх географічного розміщення.

Рівень зв’язку

Рівень зв’язку (Connectivity Layer) визначає комунікаційні

протоколи і протоколи аутентифікації.

Комунікаційні протоколи забезпечують обмін даними між

компонентами базового рівня.

Протоколи аутентифікації, ґрунтуючись на комунікаційних

протоколах, надають криптографічні механізми для ідентифікації та

перевірки автентичності користувачів і ресурсів.

Протоколи рівня зв’язку мають забезпечувати надійний транспорт

і маршрутизацію повідомлень, а також надання назв об’єктам мережі.

Не дивлячись на існуючі альтернативи, зараз протоколи рівня зв’язку

в Grid-системах припускають використовування тільки стека

протоколів TCP/IP, зокрема: на мережному рівні – IP і ICMP,

транспортному рівні – TCP, UDP, на прикладному рівні – HTTP, FTP,

DNS, RSVP. Враховуючи бурхливий розвиток мережних технологій, у

майбутньому рівень зв’язку, можливо, залежатиме і від інших

протоколів.

Для забезпечення надійного транспортування повідомлень в Grid-

системі мають використовуватися

рішення, що передбачають гнучкий

підхід до безпеки комунікацій (можливість контролю над рівнем

захисту, обмеження делегування прав, підтримка надійних транспортних

протоколів). На сьогоднішній день ці рішення ґрунтуються як на

існуючих стандартах безпеки, спочатку розроблених для Інтернет (SSL,

TLS), так і на нових розробках.

Ресурсний рівень

Ресурсний рівень (Resource Layer) побудований над протоколами

комунікації і аутентифікації рівня зв’язку архітектури Grid-технології.

Ресурсний рівень реалізує протоколи, що забезпечують виконання

таких функцій:

– узгодження політик безпеки використовування ресурсу;

– процедура визначення ресурсу;

– моніторинг стану ресурсу;

– контроль над ресурсом;

– облік використовування ресурсу.

Протоколи цього рівня спираються на функції базового рівня для

доступу і контролю над локальними ресурсами. На ресурсному рівні

протоколи взаємодіють з ресурсами, використовуючи уніфікований

інтерфейс і не розрізняючи архітектурні особливості конкретного

ресурсу.

Розрізняють

два основні класи протоколів ресурсного рівня:

1) інформаційні протоколи, які одержують інформацію про

структуру і стан ресурсу, наприклад, про його конфігурацію, поточне

завантаження, політику використовування;

2) протоколи управління, які використовуються для узгоджен-

ня доступу до розподілених ресурсів, визначаючи вимоги і допустимі

дії відносно ресурсу (наприклад, підтримка резервування, можливість

створення процесів, доступ до даних).

Протоколи управління мають

перевіряти відповідність запрошуваних дій політиці розділення ресурсу,

включаючи облік і можливу оплату. Вони можуть підтримувати функції

моніторингу статусу й управління операціями.

Список вимог до функціональності протоколів ресурсного рівня

близький до списку для базового рівня архітектури Grid. Додалася

лише вимога єдиної семантики для різних операцій з підтримкою

системи повідомлення про помилки.

Колективний рівень

Колективний рівень (Collective Layer) відповідає за глобальну

інтеграцію різних наборів ресурсів, на відміну від ресурсного рівня,

сфокусованого на роботі з окремо взятими ресурсами. В колективному

рівні розрізняють загальні і специфічні (для додатків) протоколи. До

загальних протоколів відносяться, в першу чергу, протоколи виявлення

і виділення ресурсів, системи моніторингу і авторизації співтовариств.

Специфічні протоколи створюються для різних

додатків Grid (наприк-

лад, протокол архівування розподілених даних або протоколи управління

задачами збереження стану тощо).

100

Компоненти колективного рівня пропонують величезну різнома-

нітність методів спільного використовування ресурсів. Нижче приведені

функції і сервіси, реалізовані в протоколах даного рівня:

− сервіси каталогів дають змогу віртуальним організаціям знахо-

дити вільні ресурси, виконувати запити за назвами й атрибутами ресур-

сів, таким як тип і завантаження;

– сервіси спільного виділення, планування і розподіли

ресурсів

забезпечують виділення одного або більш ресурсів для певної мети, а

також планування виконуваних на ресурсах задач;

– сервіси моніторингу і діагностики відстежують аварії, атаки і

перевантаження;

– сервіси дублювання (реплікації) даних координують використо-

вування ресурсів пам’яті в рамках віртуальних організацій, забезпеч-

уючи підвищення швидкості доступу до даних відповідно до вибраних

метрик, такими

як час відповіді, надійність, вартість тощо;

– сервіси управління робочим завантаженням застосовуються

для опису й управління багатокроковими, асинхронними, багатоком-

понентними завданнями;

– служби авторизації співтовариств сприяють поліпшенню правил

доступу до ресурсів, що розділяються, а також визначають можливості

використовування ресурсів співтовариства. Подібні служби дають

змогу формувати політики доступу на основі інформації про ресурси,

протоколи

управління ресурсами і протоколи безпеки зв’язуючого рівня;

– служби обліку й оплати забезпечують збір інформації про

використовування ресурсів для контролю обігу користувачів;

– сервіси координації підтримують обмін інформацією в потен-

ційно великому співтоваристві користувачів.

Прикладний рівень

Прикладний рівень (Application Layer) описує призначені для

користувача додатки, що працюють в середовищі віртуальної

організації. Додатки функціонують, використовуючи сервіси, визначені

на нижчих рівнях. На кожному з рівнів є певні протоколи, що

забезпечують доступ до необхідних служб, а також прикладні

програмні інтерфейси (Application Programming Interface – API), що

відповідають цим протоколам.

101

Для полегшення роботи з прикладними програмними

інтерфейсами користувачам надаються набори інструментальних

засобів для розроблення програмного забезпечення (Software Devel-

opment Kit – SDK). Набори інструментальних засобів високого рівня

можуть забезпечувати функціональність з одночасним використо-

вуванням декількох протоколів, а також комбінувати операції протоколів

з додатковими викликами прикладних програмних інтерфейсів нижнього

рівня.

Звернемо увагу, що додатки на практиці можуть викликатися

через досить

складні оболонки і бібліотеки. Ці оболонки самі можуть

визначати протоколи, сервіси і прикладні програмні інтерфейси, проте

подібні надбудови не відносяться до фундаментальних протоколів і

сервісів, необхідних для побудови Grid-систем.

1.3.4. Поняття про віртуальну організацію

Інфраструктура Grid заснована на наданні ресурсів в загальне

користування, з одного боку, і на використовуванні публічно доступних

ресурсів, з іншою. В цьому плані ключове поняття інфраструктури Grid

– віртуальна організація, в якій кооперуються як споживачі, так і

власники ресурсів. Мотиви кооперації можуть бути різними. В існуючих

Grid-системах віртуальна організація є об’єднанням фахівців з деякої

прикладної області, які об’єднуються для досягнення загальної мети.

Будь-яка віртуальна організація має у своєму розпорядженні певну

кількість ресурсів, які надані зареєстрованими у ній власниками (деякі

ресурси можуть одночасно належати декільком віртуальним

організаціям). Кожна віртуальна організація самостійно встановлює

правила роботи для своїх учасників, виходячи з дотримання балансу

між потребами користувачів і наявним

обсягом ресурсів, тому

користувач повинен обґрунтувати своє бажання працювати з Grid-

системою і отримати згоду керівних органів віртуальної організації.

Grid-система є середовищем колективного комп’ютинга, в якому

кожний ресурс має власника, а доступ до ресурсів відкритий у режимі

розподіленого часу і простору безлічі користувачів, що входять у

віртуальну організацію. Віртуальна організація може утворюватися

динамічно

і має обмежений час існування.

102

Отже, можна визначити Grid-систему як просторово розподілене

операційне середовище з гнучким, безпечним і скоординованим

розділенням ресурсів для виконання додатків в рамках певних

віртуальних організацій.

До теперішнього часу існує множина віртуальних організацій, що

входять в різні Grid-системи. Прикладами віртуальних організацій,

діючих у рамках проекту LCG-2 (Grid для оброблення даних з

прискорювача LHC, що будується в CERN), є віртуальні

організації

експериментів, які планується проводити на цьому прискорювачі: AT-

LAS, CMS, Alice, LHCb.

1.3.5. Розподіл ресурсів у Grid-структурах

Ефективний розподіл ресурсів та їх координація є основними

завданнями системи Grid, і для їх вирішення використовується

планувальник (брокер ресурсів). Користуючись інформацією про стан

Grid-системи, планувальник визначає відповідні ресурси для кожної

конкретної задачі і резервує їх для її виконання. Під час виконання задача

може запитати у планувальника додаткові ресурси або звільнити

надмірні. Після завершення задачі

всі відведені для неї обчислювальні

ресурси звільняються, а ресурси пам’яті можуть бути використані для

зберігання результатів роботи.

Важливою властивістю систем Grid є те, що користувачу не

потрібно знати про фізичний стан ресурсів, відведених його задачі.

Вся робота по управлінню, перерозподілу й оптимізації використовування

ресурсів лягає на планувальник і виконується непомітно для

користувача. Для

користувача створюється ілюзія роботи в єдиному

інформаційному просторі, що володіє величезними обчислювальними

потужностями і обсягом пам’яті.

Grid є найскладнішим інформаційним середовищем, коли-небудь

створюваним людиною. Для системи такої складності дуже важлива

проблема забезпечення надійного функціонування і відновлення під

час збоїв. Людина не здатна устежити за станом тисяч різних ресурсів,

що входять в Grid-систему

, і з цієї причини задача контролю над помил-

ками покладається на систему моніторингу, яка стежить за станом

окремих ресурсів. Дані про стан заносяться в інформаційні ресурси,