Затонский А.В. Пособие по полному жизненному циклу информационных систем
Подождите немного. Документ загружается.
111
Data mining выполняется путем тщательного исследования данных с
использованием технологий распознавания шаблонов, статистических и
математических методов. Итогом разведки данных может стать:
• представление об объекте или процессе, интуитивно понятное
специалисту в данной области;
• модель, позволяющая предсказать результат определенных ситуаций с
помощью исторических или субъективных данных;
• выявление важных, в том числе неизвестных ранее объективных
тенденций.
Традиционные методы анализа данных (статистические методы) и OLAP
в основном ориентированы на проверку заранее сформулированных гипотез
(verification-driven data mining) и на "грубый" разведочный анализ,
составляющий основу оперативной
аналитической обработки данных (OnLine Analytical Processing, OLAP), в
то время как одно из основных положений Data Mining - поиск неочевидных
закономерностей. Инструменты Data Mining могут находить такие
закономерности самостоятельно и также самостоятельно строить гипотезы о
взаимосвязях. Поскольку именно формулировка гипотезы относительно
зависимостей является самой сложной задачей, преимущество Data Mining по
сравнению с другими методами анализа является очевидным.
Большинство статистических методов для выявления взаимосвязей в
данных используют концепцию усреднения по выборке, приводящую к
операциям над несуществующими величинами, тогда как Data Mining
оперирует реальными значениями.
OLAP больше подходит для понимания ретроспективных данных, Data
Mining опирается на ретроспективные данные для получения ответов на
вопросы о будущем.
Основная особенность Data Mining – это сочетание широкого
математического инструментария (от классического статистического анализа
до новых кибернетических методов) и последних достижений в сфере
информационных технологий. В технологии Data Mining гармонично
объединились строго формализованные методы и методы неформального
анализа, т.е. количественный и качественный анализ данных. К методам и
алгоритмам Data Mining относятся следующие: искусственные нейронные сети,
деревья решений, символьные правила, методы ближайшего соседа и k-
ближайшего соседа, метод опорных векторов, байесовские сети, линейная
регрессия, корреляционно-регрессионный анализ; иерархические методы
кластерного анализа, неиерархические методы кластерного анализа, в том
числе алгоритмы k-средних и k-медианы; методы поиска ассоциативных
правил, в том числе алгоритм Apriori; метод ограниченного перебора,
эволюционное программирование и генетические алгоритмы, разнообразные
методы визуализации данных и множество других методов.
Большинство аналитических методов, используемые в технологии Data
Mining – это известные математические алгоритмы и методы. Новым в их
применении является возможность их использования при решении тех или
112
иных конкретных проблем, обусловленная появившимися возможностями
технических и программных средств. Следует отметить, что большинство
методов Data Mining были разработаны в рамках теории искусственного
интеллекта.
Data Mining может состоять из двух или трех стадий:
Стадия 1. Выявление закономерностей (свободный поиск).
На стадии свободного поиска осуществляется исследование набора
данных с целью поиска скрытых закономерностей. Предварительные гипотезы
относительно вида закономерностей здесь не определяются.
Свободный поиск представлен такими действиями:
• выявление закономерностей условной логики (conditional logic);
• выявление закономерностей ассоциативной логики (associations and
affinities);
• выявление трендов и колебаний (trends and variations).
Описанные действия, в рамках стадии свободного поиска, выполняются
при помощи:
• индукции правил условной логики (задачи классификации и
кластеризации, описание в компактной форме близких или схожих групп
объектов);
• индукции правил ассоциативной логики (задачи ассоциации и
последовательности и извлекаемая при их помощи информация);
• определения трендов и колебаний (исходный этап задачи
прогнозирования).
На стадии свободного поиска также должна осуществляться валидация
закономерностей, т.е. проверка их достоверности на части данных, которые не
принимали участие в формировании закономерностей. Такой прием разделения
данных на обучающее и проверочное множество часто используется в методах
нейронных сетей и деревьев решений.
Стадия 2. Использование выявленных закономерностей для предсказания
неизвестных значений (прогностическое моделирование).
Прогностическое моделирование использует результаты работы первой
стадии. Здесь обнаруженные закономерности используются непосредственно
для прогнозирования. Прогностическое моделирование включает такие
Действия:
• предсказание неизвестных значений (outcome prediction);
• прогнозирование развития процессов (forecasting).
В процессе прогностического моделирования решаются задачи
классификации и прогнозирования. При решении задачи классификации
результаты работы первой стадии (индукции правил) используются для
отнесения нового объекта, с определенной уверенностью, к одному из
известных, предопределенных классов на основании известных значений.
При решении задачи прогнозирования результаты первой стадии
(определение тренда или колебаний) используются для предсказания
113
неизвестных (пропущенных или же будущих) значений целевой переменной
(переменных).
Закономерности, полученные на этой стадии, формируются от общего к
частному и единичному. Здесь мы получаем новое знание о некотором объекте
или же группе объектов на основании:
• знания класса, к которому принадлежат исследуемые объекты;
• знание общего правила, действующего в пределах данного класса
объектов.
Следует отметить, что полученные закономерности, а точнее, их
конструкции, могут быть прозрачными, т.е. допускающими толкование
аналитика (рассмотренные выше правила), и непрозрачными, так называемыми
«черными ящиками». Типичный пример последней конструкции – нейронная
сеть.
В дополнение к этим стадиям иногда вводят стадию валидации,
следующую за стадией свободного поиска. Цель валидации – проверка
достоверности найденных закономерностей. Однако можно считать валидацию
частью первой стадии, поскольку в реализации многих методов, в частности,
нейронных сетей и деревьев решений, предусмотрено деление общего
множества данных на обучающее и проверочное, и последнее позволяет
проверять достоверность полученных результатов.
Стадия 3. Анализ исключений – стадия предназначена для выявления и
объяснения аномалий, найденных в закономерностях.
Действие, выполняемое на этой стадии – выявление отклонений
(deviation detection). Для выявления отклонений необходимо определить норму,
которая рассчитывается на стадии свободного поиска.
Все методы Data Mining подразделяются на две большие группы по
принципу работы с исходными обучающими данными. В этой классификации
верхний уровень определяется на основании того, сохраняются ли данные
после Data Mining либо они дистиллируются для последующего использования.
1. Непосредственное использование данных, или сохранение данных. В
этом случае исходные данные хранятся в явном детализированном виде и
непосредственно используются на стадиях прогностического моделирования
и/или анализа исключений. Проблема этой группы методов - при их
использовании могут возникнуть сложности анализа сверхбольших баз данных.
Методы этой группы: кластерный анализ, метод ближайшего соседа, метод k-
ближайшего соседа, рассуждение по аналогии.
2. Выявление и использование формализованных закономерностей, или
дистилляция шаблонов. При технологии дистилляции шаблонов один образец
(шаблон) информации извлекается из исходных данных и преобразуется в
некие формальные конструкции, вид которых зависит от используемого метода
Data Mining. Этот процесс выполняется на стадии свободного поиска, у первой
же группы методов данная стадия в принципе отсутствует. На стадиях
прогностического моделирования и анализа исключений используются
результаты стадии свободного поиска, они значительно компактнее самих баз
данных. Напомним, что конструкции этих моделей могут быть трактуемыми
114
аналитиком либо нетрактуемыми («черными ящиками»). Методы этой группы:
логические методы; методы визуализации; методы кросс-табуляции; методы,
основанные на уравнениях.
Логические методы, или методы логической индукции, включают:
нечеткие запросы и анализы; символьные правила; деревья решений;
генетические алгоритмы. Методы этой группы являются, пожалуй, наиболее
интерпретируемыми – они оформляют найденные закономерности, в
большинстве случаев, в достаточно прозрачном виде с точки зрения
пользователя. Полученные правила могут включать непрерывные и дискретные
переменные. Следует заметить, что деревья решений могут быть легко
преобразованы в наборы символьных правил путем генерации одного правила
по пути от корня дерева до его терминальной вершины. Деревья решений и
правила фактически являются разными способами решения одной задачи и
отличаются лишь по своим возможностям. Кроме того, реализация правил
осуществляется более медленными алгоритмами, чем индукция деревьев
решений.
Методы кросс-табуляции: агенты, баесовские (доверительные) сети,
кросс-табличная визуализация. Последний метод не совсем отвечает одному из
свойств Data Mining – самостоятельному поиску закономерностей
аналитической системой. Однако предоставление информации в виде кросс-
таблиц обеспечивает реализацию основной задачи Data Mining – поиск
шаблонов, поэтому этот метод можно также считать одним из методов Data
Mining.
Методы на основе уравнений. Методы этой группы выражают
выявленные закономерности в виде математических выражений - уравнений.
Следовательно, они могут работать лишь с численными переменными, и
переменные других типов должны быть закодированы соответствующим
образом. Это несколько ограничивает применение методов данной группы, тем
не менее они широко используются при решении различных задач, особенно
задач прогнозирования. Основные методы данной группы: статистические
методы и нейронные сети
Статистические методы наиболее часто применяются для решения
задач прогнозирования. Существует множество методов статистического
анализа данных, среди них, например, корреляционно-регрессионный анализ,
корреляция рядов динамики, выявление тенденций динамических рядов,
гармонический анализ.
DSS (Decision Support System) – система поддержки принятия
решений
DSS позволяет руководителю предприятия в режиме реального времени
анализировать состояние тех или иных бизнес-процессов. Решение этой задачи
обеспечивают технологии, используемые в большинстве DSS-систем [64]:
например, многомерные кубы OLAP (отражающие взаимозависимость не двух,
а сразу нескольких параметров) или позаимствованная в ситуационных
комнатах Пентагона технология «семафоров» (которые заранее
115
«сигнализируют» пользователю о том, что определенные параметры
приближаются к критическим значениям). Некоторые DSS-модули построены
на принципах нейронных сетей, используют другие революционные
технологии. Однако любая DSS-программа это, по сути, надстройка к
действующей системе автоматизации предприятия, из которой извлекаются
цифры для анализа. И эффективность работы DSS-модуля напрямую зависит от
глубины и масштабов автоматизации предприятия. Чем больше служб и
подразделений подключено к единой информационной системе, тем точнее
модуль поддержки принятия решений будет отражать реальное экономическое
состояние предприятия.
ЕАМ (Enterprise Asset Management) – управление основными
производственными фондами.
Системы управления основными фондами (EAM) – это системы
управления всем жизненным циклом оборудования, начиная с проектирования,
изготовления, монтажа и сборки и, далее, последующего обслуживания,
сервисных и профилактических работ, модернизации, реконструкции и
списания [12].
Методология EAM дает возможность за счет применения
информационных технологий, не прибегая к закупкам нового оборудования,
увеличить производственную мощность предприятия. EAM-системы, как
правило, входят в состав комплексных корпоративных информационных
систем и позволяют:
• снизить производственные издержки и стоимость владения основными
производственными фондами;
• повысить их окупаемость;
• увеличить эффективность планирования ремонтов;
• обеспечить эффективность и безопасность производства.
По сути, задача EAM-системы – помочь руководству предприятия найти
оптимальное соотношение между затратами на модернизацию и ремонт
производственных фондов и потерями, которые может вызвать внеплановая
остановка производства.
ECM
Системы управления информацией (ECM/SES) – это гибкий комплект
приложений для управления информационными ресурсами предприятия,
усовершенствования бизнес процессов, оптимизации процесса передачи знаний
и коллективной работы в масштабах крупного предприятия. Технологии
управления информацией обеспечивают 360о-ный обзор деловых операций
предприятия и предоставляют возможность поддерживать бизнес процессы в
любое время и из любого места виртуальной среды рабочего пространства.
EMI
Системы интеллектуального производства (EMI – enterprise manufacturing
intelligence) это системы сбора и визуального отображения информации с
116
любого уровня управления, включая информацию о работе производственного
оборудования, для последующего анализа и построения различных форм
отчетности.
ERP
ERP (Enterprise Resource Planning) – планирование ресурсов предприятия,
необходимых для осуществления продаж, производства, закупок и учета в
процессе выполнения клиентских заказов.
Концепция ERP была предложена консалтинговой компанией
GartnerGroup в начале 1990-х годов [14]. Ее разработка была вызвана
потребностью предприятий в координации работы различных подразделений и
служб.
Сегодня концепция ERP поддерживается большинством КИС,
разработанных крупными мировыми производителями ПО. В отличие от
систем предыдущего поколения, основанных на концепции MRP II , ERP -
системы уделяют внимание не только производственным, но и финансовым
службам предприятия. По сути, ERP = MRP II + FRP . Последняя аббревиатура
означает системы финансового планирования ( Finance Requirements Planning).
Еще одно существенное отличие: ERP-системы рассчитаны на
управление так называемым «виртуальным предприятием» (а это может быть и
корпорация в окружении своих поставщиков, партнеров и потребителей, и
группа предприятий, временно объединенных работой над большим бизнес-
проектом, государственной программой и т.п.).
Корпоративные информационные ERP-системы строятся по модульному
принципу: один программный модуль может быть установлен, например, в
бухгалтерии, второй – на складе, третий – в плановом отделе, четвертый – в
сборочном цехе и т.д.. При этом каждый модуль полезен сам по себе, поскольку
решает конкретные задачи учета и управления, стоящие перед данным
подразделением. Однако максимальный, куммулятивный эффект предприятие
получает благодаря объединению и обработке всех информационных потоков в
одной информационной базе. Достаточно полная ERP-система, охватывающая
ключевые бизнес-процессы предприятия, позволяет:
• планировать и прогнозировать производство и продажи товаров и услуг,
потребности в материалах и мощностях;
• вести достоверный учет финансовых, материальных, кадровых ресурсов
предприятия;
• контролировать ход производственного процесса и вносить в него
необходимые коррективы;
• анализировать результаты деятельности предприятия;
• рассматривать сценарии событий по принципу «что, если?...» и
предлагать варианты решений, позволяющие с минимальным риском
улучшить те или иные показатели.
Современные версии таких систем обеспечивают планирование и
управление всеми ресурсами организации и поэтому получили название ERP-
систем (Enterprise Resource Planning). Количество настраиваемых параметров в
117
такой системе может достигать десятков и даже сотен тысяч [7]. Безусловно,
возрастает и суммарная стоимость решений, причем на первое место выходят
затраты, связанные с внедрением. Хотя многие компании, предлагающие ERP -
системы, и утверждают, что стоимость их внедрения в России равна или даже
меньше стоимости лицензий на систему, реально дело обстоит несколько
сложнее.
Во-первых, для западных компаний принята система оплаты работ
консультантов не с фиксированной ценой, а с повременной оплатой. Поэтому,
даже если какая-либо из российских фирм-интеграторов, занимающихся
внедрением ЕRР-систем, и указывает конечную стоимость внедрения, то всегда
следует иметь в виду, что может потребоваться дополнительное привлечение
консультантов.
Во-вторых, внедрение сложной системы зачастую требует проведения
реорганизации деятельности, а это значительные прямые и косвенные затраты.
В третьих, для успешной эксплуатации системы на предприятии
необходимо наличие подразделения, которое бы занималось перенастройкой
системы в соответствии с требованиями бизнеса. Сюда относится изменение
существующих моделей бизнес - процессов, а также создание новых моделей и
предварительное обучение пользователей работе "по-новому".
Преимущества ЕRР - систем заключаются в следующем:
• руководители организации и ее персонал получают инструмент,
позволяющий реально планировать и управлять производством
• ERP-системы позволяют стыковаться с CAD/CAM-системами, что
позволяет получить интегрированное решение, объединяющее
разработки, производство и поставки.
Процесс внедрения ERP-систем состоит, как правило, из следующих
этапов:
• Разработка стратегии автоматизации
• Анализ деятельности предприятия.
• Реорганизация деятельности.
• Выбор системы.
• Внедрение системы.
• Эксплуатация.
Понятие стратегии автоматизации включает в себя базовые принципы,
используемые при автоматизации предприятия. В ее состав входят следующие
компоненты:
• цели: области деятельности предприятия и последовательность,
в которой они будут автоматизированы
• способ автоматизации: по участкам, направлениям, комплексная
автоматизация
• долгосрочная техническая; политика - комплекс внутренних стандартов,
поддерживаемых на предприятии
• ограничения: финансовые, временные и т.д.
• процедура управления изменениями плана.
118
Стратегия; автоматизации в первую очередь должна соответствовать
приоритетам и стратегии (задачам) бизнеса. В понятие стратегии также должны
входить пути достижения этого соответствия. Стратегический план
автоматизации должен составляться с учетом следующих факторов:
• средний период между сменой технологий основного производства;
• среднее время жизни выпускаемых предприятием продуктов и его
модификаций;
• анонсированные долгосрочные планы поставщиков технический решений
в плане их развития;
• срок амортизации используемых систем;
• стратегический план развития предприятия, включая планы слияния и
разделения, изменение численности и номенклатуры выпускаемой
продукции;
• планируемые изменения функций персонала.
Автоматизация – один из способов достижения стратегических бизнес-
целей, а не процесс, развивающийся по своим внутренним законам [54]. Во
главе стратегии автоматизации должна лежать стратегия бизнеса предприятия:
миссия предприятия, направления и модель бизнеса. Таким образом, стратегия
автоматизации представляет собой план, согласованный по срокам и целям: со
стратегией организации.
Второй важной особенностью является степень соответствия приоритетов
автоматизации и стратегии бизнеса, а именно какие цели должны быть
достигнуты:
• снижение стоимости продукции;
• увеличение количества или ассортимента;
• сокращение цикла: разработка новых товаров и услуг – выход на рынок;
• переход от производства на склад к производству под конкретного
заказчика с учетом индивидуальных требований и т.д.
Автоматизация предприятия является инвестиционной деятельностью, и
к ней применимы все подходы, используемые при оценке эффективности
инвестиций.
К основным ограничениям, которые необходимо учитывать при выборе
стратегии автоматизации, относятся следующие:
• финансовые;
• временны?е;
• ограничения, связанные с влиянием человеческого фактора;
• технические.
Финансовые ограничения определяются величиной инвестиций, которые
предприятие способно сделать в развитие автоматизации. Этот тип
ограничений наиболее универсален, т.к. остальные три вида могут быть
частично конвертированы в финансовые. Временные ограничения обычно
связаны со следующими факторами:
• сменой технологий основного производства;
• рыночной стратегией предприятия;
119
• государственным регулированием экономики.
К ограничениям, связанным с влиянием человеческого фактора,
относятся следующие ограничения:
• корпоративная культура – отношение персонала к автоматизации;
• особенности рынка труда трудовое законодательство.
Типичные проблемы, которые возникают при разработке стратегии
автоматизации, как правило, связаны со следующими факторами:
• состояние рынка информационных технологий;
• определение эффективности инвестиций в информационные технологии;
• необходимость реорганизации деятельности предприятия при внедрении
информационных технологий.
Анализ деятельности предприятия - довольно общее понятие. В данном
разделе под анализом деятельности понимается следующее: сбор и
представление информации о деятельности предприятия в формализованном
виде, пригодном для выбора и дальнейшего внедрения автоматизированной
системы.
В зависимости от выбранной стратегии автоматизации предприятия
технологии сбора и представления информации: могут быть различными.
Итоговое представление информации на этапе анализа деятельности
играет одну из ключевых ролей во всей дальнейшей работе. Желательно, чтобы
анализ предприятия закончился построением набора моделей,
соответствующим стандартам IDEF.
Реорганизация деятельности преследует, как правило, цель повышения
эффективности деятельности предприятия в целом.
В итоге, ERP-системы в руках умелого руководителя способны сократить
сроки выпуска новой продукции, снизить управленческие издержки, сократить
себестоимость продукции, непродуктивные расходы и лишние операции,
оптимизировать управление оборотными средствами, повысить эффективность
производственного процесса в целом и увеличить число клиентов и
поставщиков. По статистике ERP -системы начинают приносить
экономический эффект уже в период от 8 месяцев до 2 лет после внедрения.
При этом обеспечивается средний рост производительности на 15–25%,
снижение складских запасов на 10–20%, сокращение сроков выполнения
заказов на 20–50%.
ERP II (Enterprise Resource & Relationship Processing)
ERP II (enterprise resource & relationship processing) – управление
внутренними ресурсами и внешними связями предприятия. Это новая
концепция ведения бизнеса, предложенная консалтинговой компанией Gartner
Group в 2000 году [3]. Необходимость в ее разработке была вызвана в первую
очередь потребностью предприятий полноценно использовать в своем бизнесе
возможности интернета.
Основные отличия систем класса ERP II от ERP-систем:
120
• выход автоматизации за пределы предприятия, «прозрачное»
взаимодействие компании с контрагентами (заказчиками, поставщиками,
банками, налоговыми органами и др.). Закрытые информационные
процессы становятся открытыми, исчезает понятие корпоративной тайны,
развивается так называемая «коллаборативная коммерция» (c-commerce) -
совместный электронный бизнес персонала предприятия, деловых
партнеров и потребителей.
• полный охват всех бизнес-процессов предприятия. Помимо
традиционной поддержки автоматизации производства, торговли и
дистрибуции, новые системы переведут на рельсы автоматизации все
остальные бизнес-функции. Если ERP-системами пользовались в
основном производственные и дистрибуторские компании, то
пользователями ERP II-систем смогут стать компании из всех секторов и
сегментов рынка.
В упрощенном виде ERP II – это усовершенствованная ERP-система, с
которой интегрированы продукты класса SCM (управление отношениями с
поставщиками) и CRM (управление отношениями с клиентами) плюс
корпоративный интернет-портал, с помощью которого будут получать всю
необходимую информацию и взаимодействовать друг с другом сотрудники
компании, ее партнеры и клиенты.
Важно понимать, что максимальный эффект от внедрения ERP II будет
достигнут, когда аналогичные системы внедрят предприятия-партнеры, когда
накопится критическая масса внедрений в отрасли. Таким образом, ERP II - это,
по большому счету, концепция автоматизации не отдельного предприятия, а
целой отрасли.
JIT (Just-In-Time) – «Точно вовремя»
Система управления материалами в производстве, альтернативная
концепции MRP. впервые реализована в 1950-х годах в Toyota Motor
Corporation. Основой JIT стала принятая в послевоенной Японии идеология
всеобщего управления качеством (Total Quality Management, TQM).
Суть концепции JIT: компоненты с предыдущей операции (или от
внешнего поставщика) доставляются именно в тот момент, когда требуются, но
не раньше [2]. При этом компоненты поставляются настолько малыми
партиями, насколько это возможно. В итоге предприятие существенно
высвобождает товарно-сырьевые запасы, сокращает складские площади и
персонал на их обслуживание. Такого результата предприятие добивается
благодаря тотальной борьбе с потерями на производстве. С точки зрения JIT
потери - любые действия и объекты предприятия, которые не повышают
потребительскую стоимость продукции, увеличивая при этом ее цену.
Потерями могут быть как складские запасы, так и лишние затраты времени,
производственный брак, избыток персонала, его неквалифицированные
действия и т.п.
Впоследствии система JIT была взята на вооружение большинством
ведущих американских и западноевропейских корпораций, действующих на