Юринець В.Є., Юринець Р.В. Автоматизовані інформаційні системи. Електронний посібник

Подождите немного. Документ загружается.

663

очікується стійке зростання надходжень від реалізації програмного

забезпечення, призначеного для вирішення інтеграційних завдань: так,

2001 р. ця сума становила 4.3 млрд. доларів, а 2006 р. вона має зрости

до 8.2 млрдюочікується стійке зростання надходжень від реалізації

програмного забезпечення, призначеного для вирішення інтеграційних

завдань: так, 2001 р. ця сума становила 4.3 млрд. доларів, а 2006 р.

вона має зрости до 8.2

млрд. доларів.

4.7.21. Інтеграція корпоративної інформації

Зовсім недавно з’явився новий тип інтеграції – інтеграція корпо-

ративної інформації (Enterprise information integration, EII). Як вважає

низка аналітиків, EII – це окремий та особливий вид інтеграції, якщо

його порівнювати з інтеграцією програм.

EII – це інтеграція даних з багаточисельних систем в уніфіковане,

злагоджене і точне подання, яке призначене для вивчення і оброблення

даних. Дані, які подаються користувачеві, агрегуються, реструкту

руються і, якщо необхідно, забезпечуються новими мітками.

Концепція інтеграції даних існує давно. Інтеграція даних – це

видобування, перетворення і завантаження (extraction, transformation,

loading, ETL) даних з різних систем у єдиний склад даних, призначений

для оброблення й аналізу (підготовки звітності). Сховища та вітрини

даних є такими складами даних, а інструменти ETL – це компоненти

“інтеграції даних”.

Необхідною умовою здійснення

такої інтеграції є проведення

досконалого аналізу, по-перше, задіяних систем і даних з метою

визначення релевантних даних, що підлягають процедурам видобу-

вання і перетворення з подальшим обов’язковим “очищенням” цих

даних, а, по-друге, цільових структур, в які завантажуватимуться ці

дані. Підготовка звітності здійснюється за допомогою аналітичних

засобів, які дають змогу щоразу по-

новому поглянути на зібрані дані,

тобто допомагають створювати інформацію, необхідну для прийняття

рішень.

Інтеграція даних, передусім, задіяна в обробленні й аналізі

історичних даних з метою визначення тенденцій, які не можуть бути

встановлені яким-небудь іншим способом, або використовується для

664

підтримки запитів “що – якщо”. Для цього змінюється низка величин

для прогнозування поки що невідомих можливостей. Це дуже важливий

тип інтеграції, орієнтований, в основному, на осіб, відповідальних за

доларів.

4.7.21. Інтеграція корпоративної інформації

Зовсім недавно з’явився новий тип інтеграції – інтеграція корпо-

ративної інформації (Enterprise information integration, EII). Як вважає

низка аналітиків, EII – це окремий та особливий вид інтеграції, якщо

його порівнювати з інтеграцією програм.

EII – це інтеграція даних з багаточисельних систем в уніфіковане,

злагоджене і точне подання, яке призначене для вивчення і оброблення

даних. Дані, які подаються користувачеві, агрегуються, реструкту

руються і, якщо необхідно, забезпечуються новими мітками.

Концепція інтеграції даних існує давно. Інтеграція даних – це

видобування, перетворення і завантаження (extraction, transformation,

loading, ETL) даних з різних систем у єдиний склад даних, призначений

для оброблення й аналізу (підготовки звітності). Сховища та вітрини

даних є такими складами даних, а інструменти ETL – це компоненти

“інтеграції даних”.

Необхідною умовою здійснення

такої інтеграції є проведення

досконалого аналізу, по-перше, задіяних систем і даних з метою визна-

чення релевантних даних, що підлягають процедурам видобування і

перетворення з подальшим обов’язковим “очищенням” цих даних, а,

по-друге, цільових структур, в які завантажуватимуться ці дані.

Підготовка звітності здійснюється за допомогою аналітичних засобів,

які дають змогу щоразу

по-новому поглянути на зібрані дані, тобто

допомагають створювати інформацію, необхідну для прийняття рішень.

Інтеграція даних, передусім, задіяна в обробленні й аналізі

історичних даних з метою визначення тенденцій, які не можуть бути

встановлені яким-небудь іншим способом, або використовується для

підтримки запитів “що – якщо”. Для цього змінюється низка величин

для прогнозування поки що

невідомих можливостей. Це дуже важливий

тип інтеграції, орієнтований, в основному, на осіб, відповідальних за

прийняття рішень.

665

Інтеграція програм, з іншого боку, сфокусована на інтеграції даних

різних програм або систем. Тільки-но дані в одній системі змінюються,

ця зміна передається в інші дані системи – зазвичай, за допомогою

асинхронного передання повідомлень. Кілька років тому виник термін

EAI (інтеграція корпоративних програм), що означає інтеграційну

платформу, яка складається з системи передання повідомлень, брокера

для

маршрутизації і трансформації, а також набору адаптерів, які

спрощують взаємодію з програмами і даними з різних систем.

Інтеграція корпоративних програм актуальна донині, і особливо

для корпоративних користувачів. Річ у тому, що для більшості органі-

зацій підтримка в синхронізованому стані даних з багатьох гетеро-

генних систем, як і раніше, є серйозним завданням.

Саме тому EAI і

залишається найважливішим типом інтеграції. Інтеграція програм, хоча

і необхідна для здійснення бізнес-функцій, в основному, є справою

корпоративних IT-відділів, обов’язком яких є підтримка цих різних

корпоративних систем у злагодженому один з одним стані.

Отже, під інтеграцією інформації розуміють інтеграцію даних, що

знаходяться в багаточисельних системах, і їх подання в

уніфікованому,

злагодженому і точному вигляді, яке призначене для вивчення й

опрацювання даних. Така інтеграція призначена винятково для кінцевих

користувачів, яким для виконання поставлених перед ними завдань

необхідно працювати з багаточисельними системами.

Під час отримання уніфікованого подання даних, що вико-

ристовуються в різних системах, потрібно враховувати унікальний набір

вимог і обмежень. По-перше, дані

мають бути доступні в реальному

часі, тобто йдеться про звернення до системи напряму, а не до заста-

рілих даних з раніше отриманої вибірки. По-друге, семантика або

значення даних мають бути визначеними в системах – це узгодженість,

про яку згадувалося. Залежно від системи, дані можуть подаватися в

різних форматах і з різними мітками

, які найбільш доречні з огляду їх

використовування, і тому для того, щоб дані були придатними,

користувачеві доведеться їх співвідносити. Отже, дані, що дублюються,

мають бути вилучені, достовірність даних повинна бути перевірена, мітки

приведені у відповідність, а значення переформатовані тощо – все це,

здебільшого, виконується за першої необхідності вручну кінцевим

користувачем.

666

Технологія EII використовує розподілений запит для збору та інтеграції

інформації з різних джерел. Зазвичай такий запит називають з’єднаним,

або федеральним (federated). У цьому випадку запити розподіляються за

джерелами даних, а потім результати їх виконання приєднуються один до

одного або об’єднуються. Зіставляючи EII з іншими інтеграційними

технологіями, треба підкреслити, що EII дещо відрізняється від інших

підходів.

Так, EAI здебільшого передає повідомлення від одного додатку

до іншого за допомогою концентратора (hub) або шини (bus). ETL

використовує фізичне переміщення даних з одного місця в інше, створюючи

при цьому в складах даних надмірні копії даних. Переважно ці копійовані

дані є підсумковими даними, і в цьому випадку детальні дані не доступні.

У своїй основі і EAI, і ETL –

це технології активного доставлення, або

“проштовхування” (push). EII же є технологією видобування інформації

(pull), при якій з’єднаний запит знаходить дані, необхідні для призначеного

для користувача програми, і вставляє їх у подання з призначеним для

користувача контекстом.

Інтеграція інформації починається зі сервісно-орієнтованої

архітектури (service-oriented architecture, SOA). Завдяки цьому

забезпечується універсальний механізм доступу до всіх систем за

допомогою Web-сервісів,

а також універсальне подання даних у форматі

XML. Це також дає змогу звертатися не лише до даних, що “зручно”

зберігаються в базах даних, а й у комерційних і замовлених програмах,

Web-контенті, документах, малюнках тощо. Використання SOA за

основу підтримує інтеграцію і розкриття інформації зі структурованих,

транзакційних систем, а також з неструктурованих, заснованих на

контенті систем (див. табл. 4.1).

Таблиця 4.1. Приклад інтеграції даних, інтеграції програм, інтеграції

інформації

667

EII створює шар абстракції між програмами, які запрошують

інформацію, і вихідними системами. Цей шар абстракції винятково

важливий для SOA. Він дає змогу подати доступ до даних у вигляді

керованого сервісу. Отже, EII мінімізує вплив змін на вихідні системи

і, отже, максимізує “активність” бізнесу. Доступ до різних наборів

агрегованих даних може бути поданий як сервіс у SOA.

Технологія

EII значно відрізняється від інших типів інтеграції.

Можливість агрегувати дані з різних прикладних систем у реальному

часі потребує наявності спеціалізованої технології, включаючи

кешування, індексацію і/або оптимізацію розподілених запитів, які не

застосовуються в інших інтеграційних рішеннях. Ні інтеграція корпо-

ративних програм, ні управління бізнес-процесами, не дають змоги

агрегувати розподілені джерела даних як

єдину базу даних або

створювати різні віртуальні подання. Проте, така можливість – винят-

ково корисний і необхідний сервіс для всіх стилів інтеграції, включаючи

компонентні програми (composite арplication) і SOA. І тому, хоча деякі

аналітики поки що не визнають EII за унікальний клас інтеграції, їй,

безумовно, призначено стати більш важливим компонентом архітек-

тури корпоративної інтеграції.

Технологія EII стрімко

розвивається – це сегмент ринку, що

швидко зростає. За оцінкою авторитетного ресурсу ebizQ, вже зараз

близько 58 постачальників пропонують EII-рішення.

Як відомо, традиційні інструменти ETL спочатку створювали для

проектів сховищ даних і розробляли для фізичного переміщення даних

у пакетах, а не для забезпечення віртуального представлення

агрегованих даних, до яких можна звертатися в режимі реального

масштабу часу. Проте, сьогодні

багато хто з постачальників модер-

нізує свої продукти, включаючи в них підтримку доступу до даних у

реальному часі, і позиціонують ці інструменти як EII-рішення.

Проте, ринок EII поки що тільки-но зароджується. Основне при-

значення цих інструментів – отримати доступ у реальному часі до

інформації, що знаходиться в різних інформаційних системах.

Кешування, індексація

та оптимізація розподілених запитів є основними,

поки що незапатентованими технологіями, за допомогою яких ці

інструменти можуть забезпечити видобування інформації в реальному

часі. XML і Web-сервіси швидко перетворюються на стандарти, на

668

які спираються ці продукти. Використовування стандартів може дати

можливість цим технологіям стати платформами управління й інтеграції

корпоративної інформації.

4.7.22. Технологія корпоративної сервісної шини

Сьогодні спостерігається посилення попиту на інтеграційні

технології. І якщо раніше розгортання продуктів EAI було пов’язане з

досягненням стратегічної мети і, отже, окуповувалося в довгостроковій

перспективі, завдання, з якими зараз доводиться зіштовхуватися ком-

паніям, носять тактичний характер і вимагають нових підходів. “Су-

часні бізнес-реалії” привернули увагу до галузей, в яких постачальники

EAI традиційно

слабкі – до трансформації, програмної обробки,

орієнтованої на розробників (наприклад, на Java) та інтеграції до

зовнішніх технологій. Усе це і “підготувало сприятливий ґрунт” для

появи нової категорії програмних продуктів – технології корпора-

тивної сервісної шини (Enterprise Integration Bus, ESB).

Аналітики Gartner визначають ESB як новий тип програмного

забезпечення проміжного рівня (middleware), який об’єднує функціо-

нальні можливості інших, уже існуючих, типів проміжного

забезпечення.

Корпоративна сервісна шина підтримує Web-сервіси, реалізовуючи

протокол SOAP (Simple Object Access Protocol, Простий протокол

доступу до об’єктів) і використовуючи мову WSDL (Web Services

Description Language, Мова опису Web -сервісів) і специфікацію UDDI

(Universal Description, Discovery and Integration, Універсальний опис,

виявлення та інтеграція). Багато корпоративних сервісних шин також

підтримують інші стилі обміну інформацією, включаючи гарантоване

доставлення і “публікацію і підписку” (publish and subscribe). Сервіси,

що надаються цими шинами, володіють “доданою вартістю

”, якої

немає міжплатформне забезпечення, призначене для спрощеного

обміну повідомленнями, – вони забезпечують перевірку повідомлень,

трансформацію, маршрутизацію на основі вмісту, безпеку, виявлення

сервісів для сервіс-орієнтованої архітектури, балансування наванта-

ження і реєстрацію. Деякі сервіси вбудовані в основу шини, інші –

виконуються в модулях розширення (plug-in). Крім того, шини підтри-

мують мову XML та інші формати повідомлень.

669

Корпоративна сервісна шина приваблива своєю відносною

дешевизною. Продукти ESB, зазвичай, позиціонуються як доступні за

ціною, або як “бюджетні” рішення.

Звичайне програмне забезпечення проміжного рівня вже не може

підтримувати нові програми, які використовують сервіс-орієнтовану

(Service Oriented Architecture, SOA) і керовану подіями архітектури

(Event Driven Architecture, EDA), Web-сервіси і управління бізнес-

процесами. Це і є основною причиною, чому архітектори і менеджери

інформаційних систем

повинні відправляти свою корпоративну інформа-

ційну інфраструктуру за допомогою ESB.

Провідні аналітики Gartner виділяють групи постачальників ESB.

До першої групи належать продукти ESB, які позиціонуються як “бюд-

жетні інтеграційні рішення”, оптимально придатні для підтримки компо-

зитних програм і SOA. Друга група – це продукти, призначені для ринку

Web-сервісів, і нарешті, останні – це програмні засоби, що

забезпечують підтримку

EDA.

У низці компаній ESB трактують не як категорію продуктів, а як

архітектуру. Наприклад, в IBM корпоративну сервісну шину вважають

“архітектурною моделлю” (architectural pattern).

Аналітики Forrester Research розглядають ESB як “шар проміж-

ного програмного забезпечення, за допомогою якого можна отримати

доступ до набору основних (багато разів використовуваних) бізнес-

сервісів”. SOA дає можливість подати велику частину функціональності

як “сервіс” у корпоративній сервісній

шині, яка переправляє, перетворює

і перевіряє вхідні і вихідні дані у форматі XML, отримувані з цих сервісів.

За допомогою корпоративної сервісної шини може бути реалі-

зовано такі функції (причому без спеціального кодування і конфігу-

рування):

♦

Під час потокового передання документів гарантується, що

XML-документи обробляються з надходженням кожного елемента,

тобто забезпечується низький час очікування. Цей підхід дає

можливість обробляти великі повідомлення так само продуктивно, як

і невеликі.

♦

Вибіркове оброблення, при якому досягається неабияке підви-

щення продуктивності завдяки тому, що обробляються лише релевантні

фрагменти, а не весь XML-документ.

670

♦

Багатониткове оброблення, при якому процесор керує вибу-

довуванням послідовних кроків по каналу, паралельним виконанням

окремих кроків і вирівнюванням навантаження від ідентичних кроків

при обробленні декількох фрагментів XML.

♦

Єдине сканування, при якому замість декількох повторюваних

прочитань структури одного і того ж документа із самого початку за

одну передачу витягуються всі необхідні фрагменти.

ESB є базисом для інтеграції, забезпечує гнучке і налаштовуване

середовище, яке дає змогу плідно, успішно і планомірно реалізовувати

інтеграційні проекти.

Останніми роками концепція ESB отримала широке визнання, що

призвело до зростання

популярності постачальників ESB-рішень, які

недавно з’явилися. Надалі потрібно чекати загострення конкуренції

між давно присутніми на ринку постачальниками, які не захочуть просто

так розлучатися зі своєю часткою ринку – в результаті, вже сьогодні

ці компанії пропонують ESB-рішення.

4.8. ЗАСОБИ BUSINESS INTELLIGENCE

Сьогодні майже будь-яке підприємство володіє чималим обсягом

накопичених даних. Корпоративна база даних сучасного підприємства,

зазвичай, містить набір таблиць, які зберігають записи про ті чи інші

факти або об’єкти. Сукупність великої кількості таких записів, накопи-

чених за декілька років, може стати джерелом додаткової інформації,

а саме відомостей про закономірності, тенденції або

взаємозв’язки

між якими-небудь даними.

Приклади подібної інформації – відомості про те, як залежать

продажі певного товару від дня тижня, часу доби, регіону; яка категорія

клієнтів найчастіше вчасно не віддає наданого кредиту тощо. Саме

тому до складу сучасних бізнес-рішень зазвичай включають не лише

засоби введення і редагування даних, а й інструменти їх

аналізу і

подання в зручному для сприйняття вигляді, що дає можливість

приймати обґрунтовані бізнес-рішення. Ці інструменти зараз називають

загальним терміном – засоби Business Intelligence (BI).

До сучасних засобів BI належать генератори звітів, засоби

671

аналітичної обробки даних, засоби розробки BI-рішень, і їх складові

частини (BI Platforms) і так звані Enterprise BI Suites – інтегровані

набори аналітичних програм.

4.8.1. Засоби створення звітів

Звіт – це документ, вміст якого динамічно формується на основі

інформації, що міститься в базі даних. Нині на ринку ПЗ представлено

декілька програмних продуктів, що належать до категорії засобів

підготовки звітів, причому на основі багатьох з них можна створювати

власні рішення. Зазвичай, такі засоби підтримують усі популярні

механізми доступу до даних, сумісні з широким

спектром СУБД,

містять засоби ділової графіки, інтегруються з офісними програмами,

дають змогу публікувати звіти в Інтернеті.

Безумовний лідер ринку засобів створення звітів – продукт Crys-

tal Reports (з грудня 2003 р. він належить компанії Business Objects).

Цей продукт поставляється як окремо, так і у складі різних прикладних

пакетів програм інших виробників, починаючи зі засобів розроблення

програм і завершуючи

геоінформаційними автоматизованими

системами. Крім того, компанія Crystal Decisions створила низку

серверних продуктів, таких, як Report Application Server, які дають

змогу забезпечувати звітами великі підприємства або їх підрозділи.

Крім Crystal Reports, є ще декілька менш популярних продуктів

подібного класу (наприклад, Rave Reports компанії Nevrona), а також

генератори звітів, які містять бібліотеки класів або компонентів, що

призначені для використовування всередині програм.

Нерідко як засоби створення звітів

застосовують офісні програми

(зокрема, Microsoft Office). Ці продукти, зазвичай, володіють розви-

нутими засобами управління друком документів, нерідко забезпечують

доступ до даних за допомогою якого-небудь з універсальних механізмів

доступу.

Відзначимо, що створення звітів – не єдиний спосіб отримати

користь з даних, накопичених у процесі функціонування компанії.

Прийняття управлінських рішень, особливо в галузі стратегічного

планування, нерідко

вимагає додаткового аналітичного оброблення

даних і, можливо, створення аналітичних звітів на основі результатів

672

цього оброблення.

4.8.2. OLAP-засоби

Інформаційні системи масштабу підприємства, зазвичай, містять

програми, які називають системами підтримки прийняття рішень. Вони

застосовуються менеджерами вищої ланки і призначені для комплекс-

ного багатовимірного аналізу даних. У таких програмах, зазвичай, є

засоби для того, щоб надати користувачеві агрегатні дані для різних

вибірок з вихідного набору в зручному для сприйняття й аналізу вигляді.

Найчастіше

такі агрегатні функції утворюють багатовимірний набір

даних, т. зв. куб, осі якого містять параметри, а комірки – залежні від

них агрегатні дані. Вздовж кожної осі дані можуть бути організовані в

ієрархії, що відображають різні рівні їх деталізації.

Технологія комплексного багатовимірного аналізу даних отримала

назву OLAP (On-Line Analytical Processing). Концепція OLAP була

описана 1993 р. Е. Ф. Коддом, відомим дослідником баз

даних й

автором реляційної моделі даних. Нині підтримка OLAP реалізована в

багатьох СУБД та інших інструментах, будучи оптимальним рішенням

для великого класу програм, де користувачі зіштовхуються з багато-

вимірними даними.

Відзначимо, що багатовимірний аналіз даних може здійснюватися

як у клієнтській програмі, так і на сервері баз даних. Ус і виробники

провідних серверних СУБД (IBM, Informix, Microsoft, Oracle, Sybase)

випускають серверні

засоби для такого аналізу, а останнім часом стало

популярним поставляти подібні засоби у складі СУБД – цю традицію

створила компанія Microsoft, включивши кілька років тому OLAP-

засоби до складу Microsoft SQL Server 7.0.

Настільні OLAP-засоби. Настільні OLAP-засоби – це програ-

ми, які виконують багатовимірний аналіз даних, що містяться в певній

СУБД, і обчислення агрегатних даних усередині свого адресного прос-

тору. Якщо вихідні дані містяться в настільній СУБД, то агрегатні дані

обчислюються безпосередньо самим OLAP-засобом; якщо ж дже-

рело вихідних даних – серверна СУБД, то багато з клієнтських OLAP-

засобів використовує для обчислення можливості сервера баз даних.

OLAP-функціональність часто реалізується в продуктах, призна-