Комар Ф.В. Разработка математического и программного обеспечения для автоматизированного отождествления объектов схем баз данных
Подождите немного. Документ загружается.
Рис. 5. Общая структура классов библиотеки
Схемы рассматриваемых баз данных описываются в библиотеке классом
dSchema. Сущности представляются в виде классов dEntity, атрибуты отношений
в виде классов dAttribute. Строковые шаблоны описываются классом dPattern,
который в свою очередь является классом, содержащим дерево символов,
представленных классом dSymbol. Класс dGA реализует генетический алгоритм
построения обобщенной характеристики атрибутов в виде множества строковых
шаблонов. Значение численной оценки значимости шаблонов представлены в
виде класса dFitness. Загрузка, анализ данных, а также построение внутреннего
представления рассматриваемых схем баз данных осуществляется с
использованием класса dLoader.
Общая структура разработанного специального программного обеспечения
«СхемИнтегратор» представлена на рис. 6.
9
Рис. 6. Структура специального программного обеспечения
«СхемИнтегратор»
Модуль построения внутреннего представления использует интерфейс
dLoader, что позволяет в момент исполнения программы применять различные
реализации данного интерфейса. Это дает возможность использовать различные
форматы рассматриваемых схем баз данных. Библиотека содержит реализации
интерфейса dLoader для доступа к базам данных по протоколу jdbc, к базам
данных в формате xml-файлов, а также для доступа к структурированным csv-
файлам. Для расширения списка поддерживаемых форматов баз данных
необходимо создать новый класс, реализующий интерфейс dLoader. Модуль
построения внутреннего представления основан на использовании классов
библиотеки dAttribute, dEntity, dSchema.
В основе модуля построения обобщенной характеристики лежит класс dGA.
С помощью реализованного в этом классе генетического алгоритма строится
обобщенная характеристика атрибутов сущностей схем баз данных.
Модуль построения отождествления объектов схем баз данных основан на
использовании класса dIntegrator, который позволяет строить отождествление
объектов схем баз данных.
Модуль представления полученных результатов позволяет выводить
полученные результаты в форме удобной пользователю. Результатом работы
разработанного специального программного обеспечения является файл с
указанием отождествлений объектов рассматриваемых схем баз данных.
Программное обеспечение разрабатывалось на языке Java, полностью
соответствует стандартам Java SE и распространяется в виде скомпилированного
war-файла. Для работы скомпилированного war-файла необходим web-сервер.
Модуль построения обобщенной
характеристики объектов схем
баз данных
Модуль построения внутреннего
представления рассматриваемых
схем баз данных
Модуль построения
отождествления объектов схем
баз данных
Модуль представления
полученных результатов
Выбор стратегии
отождествления
Входные данные
Выходные
данные
Параметры
генетического
алгоритма
10
Процесс установки и запуска скомпилированного war-файла включает
стандартную процедуру, которая зависит от выбранного web-сервера. Апробация
разработанного программного обеспечения проводилась на сервере Linux,
использовался java web-сервер Tomcat. Доступ к интерфейсу программного
обеспечения осуществляется по HTTP протоколу с использованием web-браузера
Mozilla. Схема взаимодействия программного обеспечения, эксперта и баз
данных, требующих интеграции, представлена на рис. 7.
Рис. 7. Схема внешних взаимодействий программного обеспечения
«СхемИнтегратор»
Архитектура разработанного программного обеспечения укладывается в
стандарт MVC. Модель данных приложения, пользовательский интерфейс и
управляющая логика разделены на три отдельных компонента, так, что
модификация одного из компонентов оказывает минимальное воздействие на
другие компоненты. Компонент модель предоставляет результаты вычислений, а
также реагирует на запросы, изменяя свое состояние. Компонент контроллер
интерпретирует данные, введенные пользователем, и информирует компонент
модель о необходимости соответствующей реакции. Компонент представление
отвечает за взаимодействие пользователя с системой.
Взаимодействие эксперта с web-сервером происходит посредством
интерфейса, разработанного с использованием JSP страниц и языка разметки
HTML. Пользовательский ввод отправляется на сервер через вызововы метода
GET протокола HTTP. Рассмотрим jsp страницы, которые предоставляют
основную функциональность разработанного программного обеспечения.
Страница load_jdbc_db.jsp позволяет вводить параметры для доступа к
базам данных по протоколу jdbc (путь к базе данных, логин и пароль). Страница
Сервер БД
СУБД PostgreSQL
БД
БД
БД
Linux cервер
web сервер
СхемИнтегратор
Эксперт
web браузер
Сервер БД
СУБД Oracle
БД
БД
Сервер БД
СУБД MySQL
БД
БД
БД
HTTP
JDBC
JDBC
JDBC
11
load_xml_db.jsp позволяет загрузить на сервер файлы баз данных в формате xml.
Структура файлов формата xml описана с использованием языка XSD. Данная
технология позволяет легко расширять и изменять структуру входных данных.
Страница load_csv_db.jsp позволяет загрузить на сервер файлы баз данных в
формате структурированных файлов csv. Структура файлов csv может быть
изменена только в случае разработки новых классов, реализующих интерфейс
dLoader.
Страница db_structure.jsp позволяет построить визуальное представление
рассматриваемых схем баз данных. Страница similarity.jsp позволяет
пользователю просматривать численные значения сходства объектов
рассматриваемых схем баз данных. Пользователь также имеет возможность
экспортировать данные значения в формат csv, что позволяет использовать для
анализа результатов многие известные программные средства. Страница match.jsp
демонстрирует пользователю найденные отождествления объектов и позволяет
сохранить полученные результаты в текстовом файле.
Вывод результатов по желанию эксперта может осуществляться или в виде
загружаемых на локальный компьютер эксперта текстовых файлов, или в виде
интерактивных HTML страниц.
Четвертая глава посвящена анализу результатов реализации и внедрения
разработанных методов и алгоритмов.
Предварительный анализ разработанного метода отождествления объектов
схем баз данных проводился на специально спроектированных тестовых задачах.
Было построено 20 тестовых схем баз данных, между которыми проводилось
отождествление. Для анализа результатов были использованы количественные
оценки качества
P
,
R
,
MeasureF
и
Overall
. Данные оценки были рассчитаны
для каждой тестовой задачи и усреднены. Сравнительный анализ с
существующими методами отождествления проводился относительно методов
Similarity Flooding и COMA. Обобщенные значения численных оценок качества
отождествления представлены на рис. 8.
Рис. 8. Усредненные значения численных оценок
Усредненное значение всех численных оценок разработанного метода
превосходит те же оценки для методов Similarity Flooding и COMA. Так в среднем
12
качество отождествления относительно оценки
P
разработанного метода по
сравнению с методом Similarity Flooding увеличилось на 9,3%, по сравнению с
методом COMA на 6,7%. Относительно оценки
R
качество отождествления с
использованием разработанного метода по сравнению с методом Similarity
Flooding выше на 14,39%, по сравнению с методом COMA на 10,57%.
Относительно оценки
MeasureF
качество отождествления с использованием
разработанного метода по сравнению с методом Similarity Flooding выше на
12,58%, по сравнению с методом COMA на 9,38%. Относительно оценки
Overall
качество отождествления с использованием разработанного метода по сравнению
с методом Similarity Flooding выше на 50,63%, по сравнению с методом COMA на
51,77%.
Далее в работе рассматривается применение разработанного специального
программного обеспечения при реализации проекта интеграции распределенных
информационных систем филиалов производственного холдинга ООО «Продо
Менеджмент». Производственный холдинг ООО «Продо Менеджмент» по роду
своей деятельности обладает широким спектром исходной информации,
подлежащей анализу и мониторингу. Источниками информации служат
множественные учетные системы предприятий холдинга «ПРОДО» (1С, Navision,
Экософт). Целью проекта является создание единого информационного
хранилища документов и подсистемы поиска по реквизитам. В рамки проекта
включены следующие предприятия холдинга: ЦО ПДК, Клинский филиала ПДК,
Ростовский филиал ПДК, Нижегородский филиал ПДК, Тольяттинский филиал
ПДК, Башкирский филиал ПДК, Пермский филиал ПДК, Тюменский филиал
ПДК, Омский филиал ПДК.
Для каждой задачи экспертом было сформировано эталонное
отождествление, которое и сравнивалось с результатами автоматически
построенного отождествления. При анализе результатов для каждой из 8-ми задач
были рассчитаны количественные оценки качества
MeasureF
и
Overall
, также
были рассчитаны средние значения по всем задачам.
Значения численной оценки качества отождествления
MeasureF
представлены на рис. 9.
Рис. 9. Значение численной оценки
MeasureF
13
Значения численной оценки качества отождествления
Overall
представлены
на рис. 10.
Рис. 10. Значение численной оценки
Overall
Усредненные значения численных характеристик качества отождествления
представлены на рис. 11.
Рис. 11. Усредненные значения численных характеристик качества
отождествления
Усредненные значения численных оценок качества, полученные на
практических задачах, незначительно отличаются от численных оценок качества,
полученных на тестовых задачах.
Таким образом, разработанное специальное программное обеспечение
позволило автоматизировать процесс отождествления объектов схем баз данных
при реализации проекта интеграции информационных систем производственного
холдинга.
В заключении приведены основные результаты диссертационной работы,
указаны перспективные направления дальнейших исследований.
В приложении приведены акты внедрения результатов исследования.
14
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
1. Разработан метод формального описания синтаксических особенностей
значений атрибутов сущностей схем баз данных, основанный на использовании в
качестве обобщенной характеристики строковых шаблонов.
2. Предложена функция численной оценки значимости строковых
шаблонов, которая позволяет свести задачу построения обобщенной
характеристики строковых атрибутов к оптимизационной задаче.
3. Предложена функция численной оценки сходства объектов схем баз
данных, отличающаяся использованием в качестве обобщенной характеристики
объектов множества строковых шаблонов. Использование множества строковых
шаблонов позволяет оценивать сходство составных атрибутов.
4. Разработан алгоритм отождествления объектов схем баз данных,
позволяющий строить отождествления составных атрибутов и отличающийся
применением численной оценки сходства объектов схем баз данных на основе
множества строковых шаблонов.
5. На основе предложенных методов и алгоритмов разработана библиотека
классов, позволяющая рассчитывать численную оценку сходства, а также строить
отождествления объектов схем баз данных.
6. Разработано и внедрено в ООО «Л-Ком» специальное программное
обеспечение «СхемИнтегратор», основанное на предложенных методах и
алгоритмах.
7. Разработанное программное обеспечение прошло апробацию при
реализации проекта интеграции информационных систем предприятий холдинга
ООО «ПРОДО Менеджмент», а также при реализации проекта интеграции
информационных систем ООО «Дойче банк».
Основные результаты диссертации опубликованы в следующих работах:
Публикации в изданиях, рекомендованных ВАК РФ
1. Комар Ф.В. Метод интегрирования схем данных на основе
семантического описания атрибутов / Ф.В. Комар, А.К. Погодаев // Программные
продукты и системы. 2008. № 1(81). С. 53-56.
2. Погодаев А.К. Автоматизированный метод отождествления объектов
схем баз данных / А.К. Погодаев, Ф.В. Комар // Системы управления и
информационные технологии: науч.-техн. журнал. М. 2008. №3. 1(33). С. 192-196.
Статьи и материалы конференций
3. Комар Ф.В. Разработка и апробация метода оценки семантического
сходства атрибутов реляционных баз данных / Ф.В. Комар // Естественные и
технические науки. 2007. №6 (32). С. 244-250.
4. Комар Ф.В. Решение задачи интегрирования экологических баз данных /
Ф.В. Комар, А.К. Погодаев // Проблемы экологии и экологической безопасности
Центрального Черноземья Российской Федерации: материалы XI Междунар.
науч.-практ. конф. Липецк, 2007. С. 36-39.
5. Комар Ф.В. Система поддержки принятия решений для
автоматизированного отождествления объектов схем данных / Ф.В. Комар, А.К.
15
Погодаев // Управление большими системами: сб. науч. тр. Липецк, 2008. Т. 2. С.
65-70.
6. Комар Ф.В. Алгоритм решения задачи поиска строковых шаблонов для
семантической характеристики атрибутов баз данных / Ф.В. Комар, А.К. Погодаев
// Современные проблемы информатизации в проектировании и информационных
системах: сб. науч. тр. Воронеж, 2008. Вып. 13. С. 478-482.
7. Комар Ф.В. Множество строковых шаблонов как семантическая
характеристика атрибутов реляционных баз данных / Ф.В. Комар, А.К. Погодаев //
Современные проблемы информатизации в анализе и синтезе программных и
телекоммуникационных систем: сб. науч. тр. Воронеж, 2008. Вып. 13. С. 355-358.
8. Комар Ф.В. Разработка метода оценки семантического сходства
объектов реляционных баз данных / Ф.В. Комар, А.К. Погодаев // Современные
проблемы информатизации в анализе и синтезе программных и
телекоммуникационных систем: сб. науч. тр. Воронеж, 2008. Вып. 13. С. 296-298.
9. Комар Ф.В. Алгоритм максимизации функции семантической
значимости строкового шаблона / Ф.В. Комар // Успехи современного
естествознания. 2008. № 3. С. 52-54.
10. Комар Ф.В. Оценка адекватности методов интегрирования схем
данных / Ф.В. Комар // Успехи современного естествознания. 2008. № 3. С. 54-56.
11. Комар Ф.В. Разработка метода описания семантики атрибутов
реляционных баз данных / Ф.В. Комар // Успехи современного естествознания. –
2008. № 3. С. 56-59.
12. Комар Ф.В. Мера сходства объектов схем данных на базе строковых
шаблонов / Ф.В. Комар // Информационные технологии моделирования и
управления. 2007. № 9 (43). С. 1070-1076.
13. Комар Ф.В. Метод описания семантики объектов схем данных / Ф.В.
Комар // Теоретические и прикладные вопросы современных информационных
технологий: материалы IX Всерос. науч.-техн. конф. Улан-Удэ, 2008. Ч. I. С. 92-
95.
14. СхемИнтегратор / А. К. Погодаев, Ф. В. Комар. – М.: ОФАП ГКЦИТ,
2008. Рег. № 50200801926 от 24.09.2008.
Подписано в печать 03.07.2009.
Формат 60х84/16. Бумага для множительных аппаратов.
Усл. печ. л. 1,0. Тираж 100 экз. Заказ № ____
ГОУ ВПО «Воронежский государственный технический университет»
394026 Воронеж, Московский просп., 14
16