Юринець В.Є., Юринець Р.В. Автоматизовані інформаційні системи. Електронний посібник

Подождите немного. Документ загружается.

153

1.4.9. Апаратний комплекс зберігання даних

Можливості побудови апаратної складової системи зберігання

даних дуже великі. На світовому ринку сьогодні представлено

різноманітні типи накопичувачів даних: дискові і RAID-масиви, JBOD,

стримери і стрічкові бібліотеки, оптичні носії, DVD-бібліотеки. Крім

того, наявні багатоваріантні можливості швидкісних мережних з’єднань

між системами зберігання даних і локальними мережами підприємств.

Якщо систему зберігання даних засновано на внесенні сховищ

до

локальної мережі підприємства, то в цьому випадку використовуються

різні протоколи з’єднань поверх Ethernet: CIFS, NFS, HTTP, FTP, які є

стандартні, а для транспортування масивів даних – транспортні

протоколи TCP/IP.

RAID-масиви (Redundant Array Independent Disks). RAID є

з’єднаним масивом дискових накопичувачів, керованим інтелек-

туальною підсистемою. Перевагою дискових масивів є консолідація

збереженої інформації, тобто такий розподіл архівів даних, у якому наявні

місткості використовуються найефективніше

Усі представлені на ринку масиви можна розподілити на дві

категорії: логічні і фізичні. Для логічних масивів збережена інформація

розподіляється за наявними потужностями зберігання за допомогою

програмного забезпечення, а для фізичних масивів передбачено

наявність інтелектуального дискового контролера. Для систем

зберігання з підвищеними вимогами до швидкості оброблення даних і

відмовостійкості, зазвичай, використовується інтерфейс SCSI, а для

спрощених

конструкцій масивів використовується IDE-інтерфейс.

Особливістю організації RAID-масивів є розподіл частин одного і того

ж файла на декілька дисків масиву – Strimming, що дає змогу підвищити

надійність зберігання, а також суттєво збільшити швидкість роботи з

даними. У деяких конфігураціях RAID-масивів передбачено

можливість “гарячої заміни” пошкоджених дисків, тобто, не перери-

ваючи роботи всього дискового масиву, ця

ж технологія дає змогу

уникнути втрати даних при пошкодженнях дисків. У масивах RAID

передбачено також корекцію помилок за допомогою кодів ЕСC (Error

Correction Code). Максимальна гнучкість роботи з потоками інформації

досягається за рахунок використовування спеціальних дискових RAID-

154

контролерів, використовування яких дає можливість значно підвищити

продуктивність системи.

Програмне забезпечення, що використовується для управління

масивами, інтегрується в загальну інформаційну систему підприємства.

Завдання, вирішення яких забезпечує програмне забезпечення RAID-

масивів, це, передусім, стійкість роботи системи зберігання, наприклад,

вибір альтернативного шляху передачі даних і прийняття рішень у разі

відмови серверу або мейнфрейм-системи.

Стрічкові

накопичувачі і бібліотеки. Стрічкові накопичувачі

привабливі, передусім, невисокою ціною і при цьому мають значну

місткість для зберігання даних (2-8 ГБ і більше для 4 мм і 8 мм стрічок

DAT). Крім того, автономні стрічкові накопичувачі можуть об’єдну-

ватися у своєрідні “масиви”, т. зв. стрічкові бібліотеки, сумарна

місткість яких оптимізована для зберігання значних обсягів корпо-

ративної

інформації. Роботизовані стрічкові бібліотеки мають прак-

тично ті ж можливості, що і дискові масиви: консолідація збережених

даних, розподіл прав доступу між серверами. Стрічкові бібліотеки

відрізняються високою надійністю, високою швидкодією і можливістю

розширення.

Система зберігання даних може використовувати бібліотеки як

ресурс загального доступу. Для цього в бібліотеці для кожного серверу

виділяється окремий накопичувач. Варто

зауважити, що такий підхід

виявляється ефективним тільки при малому обсязі збережених даних.

При нарощуванні кількості серверів необхідно використовувати принцип

надмірності даних, широко вживаний у дискових масивах. Використо-

вування цього принципу для консолідації даних системи зберігання в

стрічкових бібліотеках досягається при динамічному розподілі

накопичувачів між серверами системи. Єдиною вимогою є відповід-

ність програмного й

апаратного забезпечення бібліотек стандартам

обладнання і програмного забезпечення, що використовується в системі

зберігання даних. Для динамічного розділення накопичувачів існує низка

фірмових рішень різних виробників апаратного забезпечення.

Оптичні носії. Однією з технологій зберігання даних є запис на

оптичні носії – DVD і CD диски. Роботизована бібліотека є масивом

DVD або CD дисків, розміщених в окремому корпусі, сумарна місткість

155

бібліотеки вимірюється десятками терабайт. Крім дискових масивів,

у корпусі бібліотеки розташовано приводи, що забезпечують запис і

зчитування інформації. Кількість приводів може бути різною залежно

від конкретної моделі. Бібліотеки мають можливість під’єднання

додаткових дисків, що зберігаються зовні корпусу. Під’єднання

додаткових дисків здійснюється за допомогою mail-слоту або

спеціальних магазинів на декілька десятків дисків.

Роботизована бібліотека управляється спеціальним програмним

забезпеченням, яке може бути подане як базове для невеликих масивів

даних, так і програмним забезпеченням для ієрархічного управління

сховищами (Hierarchical Storage Management, HSM). Основними

функціями програмного забезпечення роботизованих бібліотек є:

управління апаратними засобами, зокрема, для виконання операцій

читання і запису, організація кешування даних, а також організація й

управління віртуальною файловою системою бібліотеки. Управляюче

програмне забезпечення дає змогу подати бібліотеку в складі системи

у вигляді одного логічного диску величезної місткості.

У рамках концепції ієрархічного управління сховищами

здійснюється перенесення інформації з RAID-масивів в DVD-

бібліотеки, програмному забезпеченню задаються певні рамки,

встановлювані адміністратором системи, де корпоративним даним

привласнюється певний пріоритет, визначається актуальність і частота

використовуваної інформації.

1.4.10. Відмовостійкі системи зберігання даних

Разом із серверним комплексом система зберігання даних є

головною складовою частиною обчислювального комплексу, а тому

варто подумати і про її відмовостійкість. Передусім, необхідно досягти

оптимального співвідношення продуктивності, доступності (надійного

зберігання і відмовостійкості) і сукупної вартості володіння за умови

максимальної відповідності вимогам замовника.

Розглянемо способи підвищення відмовостійкості системи збері-

гання інформації у разі збоїв

технічного і логічного характерів. Реалізація

кожного з них по-своєму впливає на продуктивність і вартість усього

комплексу, а також може спричинити за собою зміни у його структурі.

156

Спектр методів підвищення відмовостійкості систем зберігання

широкий: це і дублювання компонентів обладнання, і вибір рівня RAID,

і розміщення даних з погляду файлової системи, і забезпечення

надійності транспорту для передачі даних, і вбудовані засоби програм.

Здебільшого, збої технічного характеру відбуваються через

порушення функціонування якої-небудь компоненти комплексу

опрацювання даних. Незважаючи на найретельніше тестування

обладнання, завжди

є вірогідність виходу його з ладу. Збої логічного

характеру трапляються через порушення цілісності інформації

внаслідок помилок системного програмного забезпечення або через

неправильні дії персоналу.

Ланцюжок з транспортування і зберігання даних подано на

рис. 1.17, і далі розглянемо, як можна знизити ризики відмови на

кожному етапі цього процесу.

Підвищення відмовостійкості дискових масивів може бути досяг-

нуте повним або частковим дублюванням компонентів обладнання.

За останній час жодних революційних новацій у цій сфері не з’явилося,

а саме дублювання компонентів застосовується практично у всіх типах

обладнання IТ. Природно, схожі рішення пропонують усі виробники

дискових масивів, проте повне дублювання (системи, де дублюються

усі компоненти) реалізовано лише у деяких продуктах, тому

до їх

вибору потрібно підходити вкрай уважно.

Системи зберігання даних частково є аналогами обчислювальних

систем, тобто масиви великої місткості мають не лише “полиці” з

дисками, а й безліч інших компонентів, зокрема:

— систему введення-виведення, яка, у свою чергу, може містити

як порти (SCSI, SSA, FC, FCIP, iSCSI тощо), так і інтелектуальну

складову, тобто процесори і пам’ять для

управління продуктивністю

функціонування системи, повноваженнями доступу до даних з погляду,

наприклад, комутації Fibre Channel, функціями взаємодії між масивами

тощо;

— дискові контролери, або, як їх часто називають, контролери

RAID; вони можуть вміщувати більше одного процесора і чималу

кількість пам’яті для кешування під час запису і (або) читання, а також

канали доступу до дисків;

— внутрішні

комутаційні компоненти.

157

Очевидно, що чим більше з вище перелічених компонентів

продубльовано, тим більша відмовостійкість самого масиву як апарат-

ної складової системи зберігання інформації. Вплив дублювання різних

компонентів обчислювальної системи на вартість масиву різний.

Наприклад, дублювання блоків живлення не спричинить її різкого збіль-

шення, проте дублювання контролерів RAID або, скажімо, внутрішніх

комутаційних компонентів помітно вплине на

ціну в напрямку її

збільшення. Тому завдання підвищення відмовостійкості часто прості-

ше і дешевше розв’язуються встановленням декількох незалежних

масивів, або засобами операційної системи, або спеціалізованого

програмного забезпечення.

У масивах старшого класу всі перелічені компоненти дублюють-

ся, тому їх функціонування не залежить один від одного з погляду

відмовостійкості (тобто у разі відмови, наприклад

, процесора або блоку

Рис.1.17. Ланцюжок із транспортування і зберігання даних. Підвищення

відмовостійкості масивів

158

пам’яті, пакети даних прямують на інший процесор або блок пам’яті

всередині масиву).

У масивах середнього і молодшого класів ці компоненти з’єднані

апаратно в один модуль (і введення-виведення, і контролер RAID). У

разі відмови будь-якої його частини, наприклад, модуля пам’яті або

порту введення-виведення, блок цілком буде виведений з

експлуатації,

і відмовостійкість дискового масиву відразу різко знизиться, оскільки

всі його компоненти виявляться непродубльованими.

Зазначимо, що дублювання будь-яких компонентів не впливає на

продуктивність систем зберігання інформації.

“Внутрішній функціонал” масивів. Окрім підвищення

відмовостійкості шляхом організації дискових груп (RAID-5, RAID-10

тощо), тобто за рахунок надмірності, у деяких систем зберігання є так

звані “внутрішні можливості”.

У різних виробників вони називаються

по-різному, але їх можна звести до нижченаведеної класифікації.

Миттєва копія (Cloning). У цьому випадку принцип роботи

схожий на тиражування, тобто якоїсь миті часу є дві синхронізовані

ділянки даних, потім після зміни ориґінальної ділянки всередині масиву

створюється журнал транзакцій, відповідно до якого вносяться зміни

до допоміжної ділянки, чим досягається

ідентичність збереженої інфор-

мації. Зв’язок між двома ділянками можна розірвати коли завгодно і

отримати незалежну копію. Правда, у цьому випадку вже не можна

гарантувати узгодженості даних. Наприклад, у базі даних Oracle не

всі дані відразу розміщуються на диску, але замість цього можна

працювати з журналами (redolog) або перевести базу даних у стан,

коли

дані примусово записуються на диски. У цьому випадку отри-

мують копію даних, яку можна помістити на стрічкові пристрої або

зберегти в іншому масиві. Її ж можна використовувати і у разі помилки

технічного характеру. Але це вже, радше, стосується доступності і

збереження даних.

Миттєвий знімок (SnapShot). Ідея практично ідентична

миттєвої копії, тільки допоміжна ділянка,

куди проводиться дублювання

інформації, відсутня, а натомість записуються зміни, що відбулися з

якоїсь миті. Завдяки цьому, з одного боку, отримують суттєву економію

місця для розміщення інформації, а з іншого – можливість повернення

159

до стану, який відповідає тій миті, коли проводилася зйомка. Це дає

змогу скорегувати логічні помилки, якщо такі виникли в період після

виконання одного зі знімків. Метод понад усе підходить для захисту

від збою логічного характеру, оскільки при апаратній несправності

інформацію, зазвичай, буде втрачено.

Віддалена синхронізація даних (Remote Mirror). Засобами

масиву без втручання персоналу і незалежно

від серверів дані постійно

пересилаються на масив, що стоїть поруч, або віддалений масив,

наприклад, через FICON або Fibre Channel. У результаті можна завжди

мати актуальну копію даних у іншому місці, а у разі повної відмови

одного масиву з’являється можливість швидко перевести сервери на

роботу з тими ж даними, що знаходяться на іншому масиві (масивах).

Рішення працює за тим же принципом, що і кластер високої готовності

у серверній технології. Питання про узгодженість даних частково

розв’язується регламентами і процедурами з урахуванням конкретної

програми і способу організації самої файлової системи.

Зауважимо, що організація дискових груп RAID5, RAID10 тощо

потребує додаткових витрат. При цьому, наприклад, застосування

RAID5 призведе до суттєвого зниження продуктивності системи

до

недопустимого для підтримуваних програм рівня у зв’язку з додат-

ковими обчисленнями (наприклад, у системах білингу з великим

числом абонентів).

Відмовостійкий транспорт. У будь-яких типах систем збері-

гання даних існує набір компонентів, який забезпечує передання даних

між дисками масивів і серверним апаратним забезпеченням. До

транспортних засобів введення-виведення, зазвичай, належать

кабелі

(SCSI, Fibre Channel тощо), оптичні комутатори та інше обладнання,

необхідне для передання даних у рамках існуючої системи введення-

виведення. Відмінності транспортних засобів залежно від типу системи

зберігання будуть розглянуті далі.

Direct Attach Storage (DAS). У напряму під’єднуваних до

серверів системах зберігання транспортування інформації реалізується

за такою схемою: адаптер шини (Host Bus Adapter, HBA)

→

з’єднувальний кабель

→

введення-виведення пристрою зберігання

інформації. У цьому випадку можливе дублювання всього інфор-

160

маційного забезпечення, тобто встановлення другого адаптера і

використовування одного масиву зберігання даних з дубльованим

модулем введення-виведення даних або двох масивів, між якими

необхідно синхронізувати дані, наприклад, за допомогою спеціа-

лізованого програмного забезпечення.

Network Attach Storage (NAS). У спеціалізованих файлових

серверах IP можна задіювати засоби мереж IP для підвищення відмо-

востійкості транспорту і засоби масиву для надмірного зберігання

даних. Перевага рішення у простоті управління і застосуванні вже

наявної структури мереж IP, що не вимагає додаткових витрат. Проте

недоліками є низька відмовостійкість самого транспорту і низька ж

швидкість (порівняно з SAN).

Storage Area Network (SAN). Відмовостійкість транспорту-

вання інформації можна підвищити у декілька способів. Найпоши-

реніший — побудова двох повністю незалежних транспортних контурів

з комутаторами, кабелями і незалежним

електричним живленням.

Інший спосіб полягає у встановленні комутаторів, відмовостійкість яких

забезпечується на рівні електричного обладнання (наявністю двох

внутрішніх шин для комутації незалежних модулів введення-виведення,

роздільні контури електричного живлення тощо).

Fibre Channel. Вищесказане справедливе і при використанні Fibre

Channel як транспортний протокол для передачі даних, але існують

обмеження на протяжність такої мережі. Рішення на Fibre Channel

вважається класичним, проте воно досить дороге.

iSCSI. Цей відносно новий протокол розширює SCSI на мережі

IP. Порівняно з Fibre Channel, обмежень на дальність не виникає, але,

звичайно, відразу виявляються проблеми, властиві мережам IP.

Відмовостійкість реалізується тими ж засобами, що і в мережах IP.

Крім того, до недоліків треба віднести малу кількість LUN на каналі

SCSI. Обладнання або є спеціальними

шлюзами в протокол iSCSI, або

повністю сумісне з iSCSI, починаючи від карт і закінчуючи масивами.

Можна відзначити, що HBA з підтримкою iSCSI поки що далеке від

досконалості, оскільки використовування програмно реалізованих

драйверів для мережних адаптерів (“програмні HBA”) призводить до

161

помітного зниження продуктивності серверів і низької продуктивності

введення-виведення загалом, а апаратні HBA ще недостатньо широко

представлені на ринку.

FCIP (Fibre Channel поверх IP). У разі FCIP відбувається

інкапсуляція протоколу Fibre Channel в IP. Відповідно, відмовостійкість

повинна забезпечуватися як на ділянці Fibre Channel, так і далі на FCIP,

але вже засобами мереж IP. Цей транспорт також дає змогу уникнути

обмеження на віддаленість вузлів. Як і

в рішеннях для iSCSI, існують

спеціалізовані пристрої – маршрутизатори/комутатори для трансляції

Fibre Channel в FCIP і назад.

Отже, підвищення відмовостійкості транспортування інформації

спричиняє помітне зростання вартості обладнання і обслуговування, а

також додаткові витрати на системи моніторингу й управління транс-

портними засобами. Крім того, виникає потреба у кваліфікованому

обслуговуючому персоналі.

Разом з тим, заходи із забезпечення відмовостійкості практично

не

позначаються на загальній продуктивності системи, а у разі використовування

комутаторів директорського класу можливе навіть її поліпшення.

Відмовостійкість засобами ОС. Деякі проблеми через збій

обладнання можуть бути вирішені на рівні операційної системи або

спеціалізованого програмного забезпечення. Програмними рішеннями

підвищення відмовостійкості часто намагаються замінити дороге

апаратне дублювання – в результаті рішення вдається значно

здешевити, але знижується

продуктивність, з’являються приховані

витрати на адміністрування й підтримку.

Засоби ОС. Протоколювання файлової системи дає можливість

забезпечити узгодженість даних при збоях у роботі масиву або каналів

зв’язку. Практично всі файлові системи мають цю функцію, проте у разі її

застосування для підвищення надійності продуктивність роботи з самою

файловою системою знижується. Для різних

файлових систем і виконуваних

завдань втрати продуктивності складають у середньому 5–10 %.

Засоби програм. Програми в цьому контексті треба розуміти

двояко. Передусім, це засоби забезпечення високої доступності (High

Availability) – програмне забезпечення, що надає доступ до одного і

162

того ж ресурсу зберігання даних за допомогою використовування різних

фізичних шляхів. Таке програмне забезпечення випускають як

незалежні розробники, так і всі виробники обчислювального

обладнання. У багатьох операційних системах подібні засоби вже

інтегровані. Вони забезпечують безвідмовність транспорту на всьому

шляху від серверу до диску (починаючи від адаптерів, комутаційних

кабелів, комутаційного обладнання, введення-виведення масиву

зберігання

даних, контролера RAID і закінчуючи внутрішньою

розводкою від контролера RAID до самих дисків) тільки за наявності

працездатного аналогічного ланцюжка. Більшість з них вміє

організовувати віртуальні масиви RAID з надмірністю запису, частини

якого фізично знаходяться на різних масивах.

При іншому трактуванні – це засоби програм, які уміють

організовувати запис даних на різні носії (і усередині одного масиву, і

на

різні дискові масиви).

Використовування програмних або змішаних рішень для

підвищення відмовостійкості системи дає змогу значно економити

засоби як на початковій стадії – купівлі, так і на подальшій – управлінні

й обслуговуванні. Треба врахувати, що при цьому буде задіяно

обчислювальні ресурси серверів, тобто потрібні додаткові зміни у

серверному комплексі – підвищення продуктивності, наприклад,

шляхом додавання процесорної потужності

, або, якщо можливо,

виділення окремих серверів під ці завдання.

Під час підвищення відмовостійкості важливо опрацьовувати

рішення на кожній стадії і кожному рівні переміщення, розміщення та

зберігання даних. Не завжди найдорожчий варіант забезпечує

вирішення назрілих проблем, іноді він ще й додає нових. Будь-який

керівник служби ІТ ставить перед собою головну мету – побудувати

високопродуктивну

обчислювальну систему з високим ступенем

відмовостійкості і при цьому знизити як закупівельну, так і експлуа-

таційну вартість. У ході проектування та побудови збалансованого

комплексу, залучення компаній з досвідом інтеграційних рішень можна

уникнути зайвих витрат грошей і часу. Компроміс між простотою

рішення, продуктивністю і відмовостійкістю необхідно шукати на стадії

проектування та розроблення, постійно корегувати

дії, виходячи з

вартості володіння і показників продуктивності.