Лабоцкий В.В. Управление знаниями

Подождите немного. Документ загружается.

1. АНАЛИЗ ДАННЫХ В СИСТЕМЕ STATISTICA

 Зри в корень...

Козьма Прутков

1.1. ПОЧЕМУ ИМЕННО STATISTICA?

Современному бизнесу необходимы аналитические средства.

Потребность постоянно уменьшать издержки производства,

оптимизировать складские запасы, исследовать рынок и прогнозировать

его развитие поддерживают интерес к подобным технологиям.

Проблема заключается в том, что большая часть аналитического

инструментария рассчитана на крупные корпорации и стоит больших

денег. Как правило, это специализированные технологии,

поддерживающие работу

с огромными массивами данных и

требовательные к аппаратной платформе. Для малого и среднего бизнеса

практически ничего нет. Для данного класса предприятий можно

рекомендовать аналитический пакет Deductor. Пакет Deductor 4 состоит из

приложений:

Deductor Studio – аналитическое ядро платформы. В Deductor Studio

включен полный набор механизмов, позволяющий получить информацию

из произвольного источника данных, провести весь цикл обработки

(очистку, трансформацию данных, построение моделей), отобразить

полученные результаты наиболее удобным образом (OLAP, таблицы,

диаграммы, деревья решений...) и экспортировать результаты.

Deductor Viewer – рабочее место конечного пользователя. Программа

позволяет минимизировать требования к персоналу, т.к. все необходимые

операции выполняются автоматически при помощи подготовленных ранее

сценариев обработки, нет необходимости задумываться о способе

получения данных и

механизмах их обработки. Пользователю Deduсtor

Viewer необходимо только выбрать интересующий отчет. Совместное

использование Deductor Studio и Viewer обеспечивает решение задачи

тиражирования знаний.

Deductor Warehouse – многомерное хранилище данных,

аккумулирующее всю необходимую для анализа предметной области

информацию. Использование единого хранилища позволяет обеспечить

непротиворечивость данных и централизованное хранение и

автоматически обеспечивает всю необходимую поддержку процесса

анализа данных.

Все желающие могут опробовать бесплатную lite-версию, доступную

на сайте (

http://www.basegroup.ru/).

Более универсальный аналитический пакет представляет собой

STATISTICA, который является лидером среди программ статистической

обработки данных в среде Windows. Разработчиком Statistica является

фирма StatSoft, Inc., (США). Первая версия этой программы для DOS

вышла в 1991 году, а в 1994 году – версия для Windows. Основным

представителем американской компании в России является компания

StatSoft Russia

(//www. statsoft.ru). В 2004 г. компания StatSoft Russia объявила

о выходе русифицированной версии пакета STATISTICA 6.0.

На выставке Softtool 2004 (г. Москва) на стенде компании StatSoft

Russia была представлена линейка программных продуктов серии

STATISTICA, включая Нейронные сети, Добытчик данных и

Промышленные модули. Большой интерес вызывают новые продукты:

STATISTICA OLAP, STATISTICA Data Warehouse и WebSTATISTICA. В

рамках выставки прошли презентации, посвященные новейшим

технологиям анализа данных. Наиболее популярной стала

презентация

"Методология Data Mining", продемонстрировавшая богатые возможности

нового корпоративного продукта StatSoft – STATISTICA Data Miner,

позволяющая решать масштабные задачи, оперировать с большими

объемами данных.

Линейка STATISTICA основана на самых современных технологиях,

полностью соответствует последним достижениям в области

информационных технологий, позволяет решать самые сложные задачи в

области анализа и обработки данных, идеально подходит для применения в

любой области: маркетинге

, финансах, страховании, экономике, бизнесе,

промышленности, медицине и др.

Разумеется, аналитический пакет — это всего лишь инструмент. Сам

по себе он не гарантирует получение результата. Для того чтобы получить

пользу, им нужно уметь правильно пользоваться. Любой аналитический

инструмент требует определенных знаний в области теории вероятностей

и математической статистики.

1.2. ОСНОВНЫЕ ЭЛЕМЕНТЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ

МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ

Случайное событие – событие, которое при определенных условиях

может произойти или не произойти. События обозначаются заглавными

буквами латинского алфавита A, B, C и т.д.

Вероятностью события А называется отношение числа m

благоприятствующие этому событию исходов опыта к общему числу n

всех несовместных единственно возможных и равновозможных исходов:

AP =)(.

Как понимать P(A)=0,05? Это нужно понимать так: событие A в

"среднем" из 100 испытаний может появиться в 5 испытаниях. Много это

или мало? Все относительно, если речь идет о сдаче экзамена, где

вероятность получить неудовлетворительную оценку будет равна 0,05, то

на этот экзамен можно идти без подготовки. Однако если речь пойдет об

авиакатастрофах, то с этой вероятностью придется очень даже считаться.

Случайная величина (СВ) – величина, которая в результате опыта

может принять то или иное значение, причем неизвестно заранее, какое

именно. Обычно, случайные величины обозначаются заглавными буквами

латинского алфавита X, Y, Z и т.д., а конкретные их значения маленькими

буквами, например: x

.....y

…..z

Случайные величины могут быть дискретные (например, количество

студентов на лекции) и непрерывные (например, температура окружающей

среды или давление).

На практике нам больше приходиться иметь дело со случайными

величинами, чем со случайными событиями. Для того, чтобы все знать о

случайной величине, нужно знать закон распределения вероятностей!

Закон распределения вероятностей случайной величины (или

просто закон распределения) –

это соотношение, устанавливающее

связь между возможными значениями случайной величины и

соответствующими им вероятностями.

Закон распределения для дискретной случайной величины будет

иметь табличный вид (где

∑

p ):

… x

… p

На практике закон распределения СВ чаще всего бывает неизвестен,

так как неизвестны вероятности соответствующих значений СВ. В

качестве оценок вероятностей можно использовать относительную частоту

события

= , где n-общее количество наблюдений (значений) СВ, а n

количество наблюдений попавших в заданный интервал. Строим

гистограмму, огибающая полученной гистограммы и будет представлять

собой оценку неизвестного закона распределения СВ (статистический

закон распределения), которая нам будет говорить, что значения в

середине будут более вероятны, чем значения на концах диапазона СВ

(рис. 1.1).

Рис. 1.1

Законов распределений существует бесконечное множество в

зависимости от его формы; изучены и математически описаны несколько

десятков. Мы рассмотрим только два: равномерный и нормальный законы

распределения СВ.

Равномерный закон распределения вероятностей СВ –

распределение, в котором значения СВ имеют определенные границы,

внутри которых все значения равновероятны (рис. 1.2).

Наверное, это идеальный закон распределения, которого в жизни не

существует. Чаще всего мы имеем дело с псевдоравномерным законом.

Где они встречаются? Все алгоритмические языки

программирования C++, Fortran, Pascal и т.д. имеют встроенные функции

(подпрограммы), которые генерируют

случайные числа в диапазоне от 0 до

1 с равномерным законом распределения. Специализированные научные

калькуляторы тоже имеют "кнопку" при нажатии, на которую

моделируются (генерируются) случайные числа. Еще раньше, в старых

изданиях по статистике, случайные числа в случае необходимости брались

из таблиц Брадиса, в которых приводились значения логарифмов. В

мантиссах отбрасывались первое и

пятое десятичные разряды, а

оставшиеся трактовались как случайные числа с равномерным законом

распределения вероятностей в диапазоне от 0 до 1.

Рис. 1.2

Зачем они нужны? Дело в том, имея в распоряжении только один

набор чисел с равномерным законом распределения можно сгенерировать,

путем математических преобразований, все остальные законы

распределения, каких бы форм они бы не были. Кроме того, случайные

числа лежат в основе метода статистического моделирования (часто это

метод в иностранной литературе называют

метод Монте-Карло). Метод

Монте-Карло оказался плодотворным для решения многих математических

задач, например, для вычисления интегралов, особенно, многократных, для

решения систем дифференциальных уравнений линейных и нелинейных и

т.д. Метод с успехом используется в системах массового обслуживания, в

экономических системах, в том числе и не поддающихся математическому

описанию.

Работу

метода Монте-Карло рассмотрим на следующем примере.

Пусть нам необходимо вычислить площадь треугольника в квадрате с

единичными сторонами (рис. 1.3).

Рис. 1.3

Хорошо, если известна формула для вычисления площади

треугольника, тогда нет проблем:

5,0

== abS ,

а если бы формулы не было или она была, но очень сложная, что

потребовало бы большого объема вычислительной работы. В этом случае

выручает метод Монте-Карло. Идея его очень простая.

Сгенерируем последовательно два случайных числа от 0 до 1. Первое

будем рассматривать по оси абсцисс, а второе

по оси ординат, на

пересечении получим точку. Сгенерируем последовательно еще два числа

– получим на пересечении еще одну точку. Сгенерируем много-много пар

случайных чисел и "набросаем" много-много точек на квадрат.

Оказывается, квадрат будет равномерно заполняться случайными точками

и наша задача только подсчитать общее количество точек и количество

точек, попавших

в заданный треугольник. Площадь треугольника

определяется отношением числа точек, попавших в треугольник, к общему

количеству точек:

5,0≈=

Чем больше будут генерироваться случайных точек, а это с

использованием современной вычислительной техники не проблема, тем

это отношение будет все ближе и ближе стремиться к 0,5. Работает закон

больших чисел. На этом законе весь игровой бизнес основывается. Каждое

отдельно рассматриваемое событие, явление – случайно, а в массовом

количестве никаких случайностей не

остается – одни закономерности.

Вспомните броуновское движение, движение одной молекулы хаотично,

непредсказуемо, но когда колба заполнена огромным количеством молекул

какого-либо газа, давление на стенки сосуда постоянно и подчиняется

строгому закону Бойля-Мариотта.

Нормальный закон распределения вероятностей СВ –

распределение, в котором значения СВ имеют симметричное

распределение вероятностей ("колокольчик" рис. 1.1), а форма закона

распределения имеет вид:

)(

),(

emZ

πσ

−−

= ,

где

– математическое ожидание СВ;

– среднее квадратическое отклонение СВ.

Нормальный закон распределения вероятностей наиболее часто

встречающийся вид распределения. С ним приходится сталкиваться при

анализе погрешностей измерений, контроле технологических процессов и

режимов, а также при анализе и прогнозировании различных явлений в

экономике, социологии, демографии и других областях знаний.

Наиболее важным условием возникновения нормального

распределения является формирование признака как суммы большого

числа взаимно независимых слагаемых, ни одно из которых не

характеризуется исключительно большой по сравнению с другими

дисперсией.

Приведем пример из

жизни: довольно часто мы посещаем

продуктовые магазины и покупаем бакалейные продукты, для взвешивания

которых используются весы. Весы относятся к измерительным приборам а,

следовательно, обладают ошибкой измерения. Эта ошибка складывается из

бесконечного множества других ошибок или причин: ржавая пружина,

влажность, атмосферное давление и т.д. Закон распределения ошибки

будет нормальный. Основное

правило покупателя установить перед

взвешиванием стрелку весов на "ноль", этим самым не устраняются

причины ошибки измерения: как была пружина ржавая, так она и

останется, как была влажность, так она и будет. Но, мы передвигаем весь

закон распределения ошибки в начало координат, тем самым мы говорим,

что нулевая ошибка должна иметь самую

большую вероятность.

Для "грубой" оценки неизвестного закона распределения можно

использовать числовые характеристики СВ. Рассмотрим основные

числовые характеристики.

Математическое ожидание дискретной СВ X – сумма

произведений всех ее возможных значений на их вероятности

xpxXM

==≈=

∑∑∑

=== 111

)( .

Однако нам неизвестны вероятности значений СВ. Можно считать,

что все они одинаковые и равны 1/n . Тогда получим интересную вещь, что

оценкой математического ожидания является нечто иное, как среднее

арифметическое всех значений СВ или выборочное среднее.

Что дает нам оценка математического ожидания? Она дает нам

"среднее" местоположение неизвестного закона

распределения.

Если Вам неизвестна рыночная ситуация ориентируйтесь на

"средние" значения показателей. Это слабо, но все-таки! Лучше конечно

знать разброс относительно среднего значения или диапазон, в котором

будет находиться закон распределения, речь здесь не идет о форме или

виде закона распределения. Для этой цели воспользуемся другой числовой

характеристикой – дисперсией.

Дисперсия дискретной СВ X – сумма произведений квадратов

отклонений значений СВ от ее математического ожидания на

соответствующие вероятности

)(

)())(()( SXx

XxpXMxXD

=−=−≈−=

∑∑∑

===

Здесь поступим аналогично, заменим все вероятности на 1/n, а

математическое ожидание на выборочное среднее, получим выборочную

дисперсию S

. Зачем мы ее так обозначили – узнаете, чуть позднее. Таким

образом, выборочная дисперсия S

является оценкой неизвестной

дисперсии D(X). Как показывают строгие расчеты, в зависимости от

объема выборки (если n<30), выборочную дисперсию следует

корректировать, получаем несмещенную оценку дисперсии

S :

⎪

⎩

⎪

⎨

⎧

<=−

−

≥=−

≈

∑

нi

SXx

30n , )(

)( .

Основным недостатком дисперсии в качестве характеристики

разброса является то, что если случайная величина выражена в некоторых

единицах измерениях, то дисперсия имеет наименование, выраженное в

квадратных единицах. Для удобства представления СВ через свои

характеристики вводят понятие среднего квадратического отклонения

)(X

(с.к.о.) равного положительному арифметическому корню из

дисперсии:

)()( XDX =

Оценкой с.к.о. является выражение:

⎪

⎩

⎪

⎨

⎧

≥=

≈

30n ,

)(

нн

Правило 3σ. Если в нашем распоряжении есть две вычисленные

числовые характеристики: выборочное среднее и выборочное с.к.о. и мы

предполагаем, что закон распределения СВ будет нормальным, то в

интервал

X ± попадает 68,3% всех значений СВ X, в интервал

X 2

–

95,5%, а в интервал

X 3± – 99,7%, другими словами практически все

значения в этом случае будут находиться в заданном интервале.

Если предположение о виде закона распределения СВ отсутствует, то

вероятность отклонения любой СВ от ее математического ожидания по

абсолютной величине будет не более трех с.к.о. равна 9

8≥

Z(0,1) = 1 p = 0,682689 Z(0,1) = 2 p = 0,954500 Z(0,1) = 3 p = 0,997300

Генеральная совокупность – совокупность всех возможных

значений случайной величины.

Выборка – часть генеральной совокупности случайно отобранных

значений или элементов.

Выборка объемом более или равной 30 считается большой. Выборка

объемом менее 30 считается маленькой.

Зависимые выборки – если они представляют собой результаты,

полученные над одними и теми же элементами, до воздействия

исследуемого фактора и после воздействия.

Независимые выборки – если они представляют собой результаты,

полученные над разными элементами, до воздействия исследуемого

фактора и после воздействия.

Уровень значимости (p-level) – вероятность допустить ошибку

первого рода: отвергнуть правильную гипотезу.

Наиболее часто для решения экономических и технических задач

уровень значимости принимают равным λ=0,05 и λ=0,01, или, в процентах

5% и 1%.

Зачем он нужен этот уровень значимости и если он задается, почему

не принять λ=0. Многим из нас приходилось покупать семечки на базаре

Как проходит покупка, берем небольшую жменьку семечек и пробуем.

Зачем? А для того, чтобы изучить свойства и характеристики этой

жменьки, выдвинуть гипотезу о свойствах и характеристиках всей

генеральной совокупности (о мешке семечек). Другими словами, зная

малое, мы стараемся судить о многом, а это чревато ошибкой. Вероятность

такой ошибки мы задаем,

например, λ=0,05. А что будет, если задать λ=0.

В таком случае, чтобы не было никакого риска о свойствах и

характеристиках всей генеральной совокупности, необходимо купить весь

мешок семечек и их съесть. Тогда точно не ошибетесь! Поэтому в любом

деле должен быть компромисс.

Между экономическими явлениями различают функциональную и

стохастическую зависимости.

Функциональная зависимость – при функциональной зависимости

имеет место однозначность отображения независимой переменной x и

зависимой переменной y, т.е. соответствие имеет вид:

)(

В экономике примером функциональной зависимости может служить

формула сложных процентов. Все экономические модели функционально

зависимы!

Стохастическая зависимость – каждому фиксированному значению

аргумента соответствует определенный закон распределения функции и,

наоборот, заданному значению зависимой переменной соответствует

закон распределения объясняющей переменной. Стохастическая

зависимость включает в себя случайный фактор:

)(

y .

В экономике модели такого плана называют эконометрическими.

Частным случаем стохастической зависимости является корреляционная

зависимость, когда закон распределения для каждого фиксированного

значения x, не меняется, а значит не меняется и дисперсия, а изменяется

только условное математическое ожидание (рис. 1.4).

Рис. 1.4

Коэффициент корреляции является мерой линейной зависимости

двух величин. Чем больше коэффициент корреляции по модулю, тем

сильнее линейная зависимость. Коэффициент корреляции – это

безразмерная величина.

Значение коэффициента корреляции лежит между -1 и +1. Если

наблюдается тенденция возрастания одной величины при росте другой, то

говорят о положительной коррелированности величин, если наблюдается

тенденция увеличения одной величины при уменьшении

другой, то

говорят об отрицательной коррелированности величин.