Лабоцкий В.В. Управление знаниями
Подождите немного. Документ загружается.
81
Рис. 6.7
Из классификационной матрицы можно сделать вывод, что объекты
были правильно отнесены экспертным способом к выделенным группам.
Но если есть предприятия, неправильно отнесенные к соответствующим
группам, можно посмотреть
Classification of cases (Классификация
случаев
) (Рис. 6.8).
82
Рис. 6.8
В таблице классификации случаев некорректно отнесенные
предприятия будут помечаться звездочкой (*). Таким образом, задача
получения корректных обучающих выборок состоит в том, чтобы
исключить из обучающих выборок те объекты, которые по своим
показателям не соответствуют большинству предприятий, образующих
однородную группу.
Для этого с помощью метрики Махаланобиса определятся
расстояние от всех
n объектов до центра тяжести каждой группы (вектор
средних), определяемых по обучающей выборке. Отнесение экспертом i-го
объекта в j-ю группу считается ошибочным, если расстояние
Махаланобиса от объекта до центра его группы значительно выше, чем от
него до центра других групп, а апостериорная вероятность попадания в
свою группу ниже критического
значения. В этом случае объект считается
некорректно отнесенным и должен быть исключен из выборки.
Процедура исключения объекта из обучающих выборок состоит в
том, что в таблице исходных данных у объекта, который должен быть
исключен из выборки (он помечен " * "), убирается номер принадлежности
к этой группе, после чего процесс тестирования повторяется. По
предположению
, сначала убирается тот объект, который наиболее не
подходит к определенной группе, т.е. у которого наибольшее расстояние
Махаланобиса и наименьшая апостериорная вероятность.
83
При удалении очередного объекта из группы нужно помнить, что при
этом смещается центр тяжести группы (вектор средних), так как он
определяется по оставшимся наблюдениям. После удаления очередного
предприятия из списка обучающих выборок не исключено, что появятся
новые некорректно отнесенные предприятия, которые до удаления были
учтены как правильно отнесенные. Поэтому
данную процедуру нужно
проводить, удаляя на каждом шаге лишь по одному объекту и возвращая
его обратно в обучающие выборки. Если при удаления этого объекта
произошли слишком сильные изменения (большинство предприятий,
которые были отнесены как правильные, помечаются как некорректно
отнесенные предприятия).
Процедура исключения наблюдений продолжается до тех пор, пока
общий коэффициент
корректности в классификационной матрице
достигнет 100%, т.е. все наблюдения обучающих выборок будут правильно
отнесены к соответствующим группам.
Результаты полученных обучающих выборок, представлены в окне
Discriminant Function Analysis Results (Анализ Дискриминантных
Функций
). В результате проведенного анализа общий коэффициент
корректности обучающих выборок должен быть равен 100%.
Классификация объектов. На основе полученных обучающих
выборок можно проводить повторную классификацию тех объектов,
которые не попали в обучающие выборки, и любых других объектов,
подлежащих группировке. Для решения данной задачи, существуют два
варианта: первый – провести классификацию на основе статистических
критериях диалогового окна
Discriminant Function Analysis Results,
второй – на основе классификационных функций.
В первом случае необходимо, не закрывая диалога диалогового окна
Discriminant Function Analysis Results, добавить в таблицу исходных
скорректированных данных новые случаи. Для того чтобы понять, к
какому классу относится этот объект, нажмите кнопку
Posterior
probabilities
(Апостериорные вероятности). После этого вы увидите
таблицу с апостериорными вероятностями. К тем группам (классам),
которые будут иметь максимальные вероятности, можно отнести новые
случаи.
Во втором варианте необходимо в окне диалогового окна
Discriminant Function Analysis Results нажать кнопку Classification
functions.
Появится окно, из которого можно выписать
классификационные функции для каждого класса (Рис. 6.9). Например, для
первых двух классов функции имеют вид:
Y
1
= -77,9018+0,0098X1+0,0005X2+0,1286X3+0,1577X4-0,1577X5+
+0,4534X6+0,0435X7;
Y
2
= -55,6000+0,0113X1+0,0003X2+0,0967X3+0,1044X4--0,2739X5+
+1,1670X6+0,0091X7.
84
Рис. 6.9
С помощью этих функций можно будет в дальнейшем
классифицировать новые объекты. Новые объекты будут относиться к
тому классу, для которого классифицированное значение будет
максимальное. Выбор метода окончательной классификации зависит от
количества новых объектов. Если их невелико, можно применить метод,
основанный на статистических критериях. Если количество новых
объектов велико, то
рациональнее по обучающим выборкам получить
классификационные функции, настроить формулы и провести
окончательную классификацию.
85
7. ФАКТОРНЫЙ АНАЛИЗ
В науке мало пользы от моделей, которые рабски
подчиняются всем нашим желаниям. Мы хотим иметь
модели, которые дерзят нам, модели, которые имеют
свой собственный ум. Мы хотим получить из наших
моделей больше, чем мы в них вложили.
Т.Тоффоли, Н.Маролус
7.1. ОБЩИЕ СВЕДЕНИЯ
Задачей факторного анализа является объединение большого
количества показателей, признаков, которыми характеризуется
экономический процесс или объект, в меньшее количество искусственно
построенных на их основе факторов, чтобы полученная в итоге система
факторов (столь же хорошо описывающая выборочные данные, что и
исходная) была наиболее удобна с точки зрения содержательной
интерпретации. Факторы вы не наблюдаете
, они присутствуют
гипотетически!
7.2. STATISTICA. ПРОВЕРКА РЕЗУЛЬТАТОВ КОНТРОЛЬНОГО
ПРИМЕРА В FACTOR ANALYSIS
Имеется система переменных Y
1
...Y
3
,
X
4
…X
17
. В качестве исходных
будем использовать данные из файла data.sta.
Значения переменных или признаков для каждого из наблюдений
известны. Имеющаяся информация представлена в виде матрицы, каждая
строка которой состоит из значений одного показателя для каждого из
объектов исследования. Предполагается, что каждый элемент этой
матрицы является результатом воздействия некоторого числа
гипотетических общих
факторов и одного характерного фактора, то есть
представляют собой линейную комбинацию ненаблюдаемых,
гипотетических, непосредственно не измеряемых факторов.
Следовательно, любой метод факторного анализа имеет одну главную
задачу: представить результирующий фактор в виде линейной комбинации
некоторого числа общих факторов и одного характерного фактора.
Рассмотрим процедуру решения практической задачи методом
факторного анализа в системе
STATISTICA.
•
Откройте файл, в котором содержатся данные для анализа. Будем
использовать файл data.sta (параграф §1).
•
Откройте модуль Factor Analysis (Факторный анализ) с
помощью команды модулей
Statistiсs/Multivariate Exploratory
Technique/Factor Analysis
. На экране появиться стартовая панель модуля
Factor Analysis (Факторный анализ) (Рис. 7.1).
86
Рис. 7.1
В модуле возможны следующие типы исходных данных:
Correlation Matrix (Корреляционная матрица);
Raw Data (Исходные данные).
•
Выберите, например, Raw Data. Это обычный файл данных, где по
строкам записаны значения переменных.
•
В поле MD (Missing Data - Пропущенные данные) задайте способ
обработки пропущенных значений.
Casewise – способ исключения пропущенных случаев (состоит в том,
что в электронной таблице, содержащей данные, игнорируются все строки
(случаи), в которых имеется хотя бы одно пропущенное значение. Это
относится ко всем переменным. В таблице остаются только случаи, в
которых нет ни одного пропуска).
Pairwise – парный способ исключения пропущенных значений
(игнорируются пропущенные случаи не для всех переменных, а лишь для
выбранной пары. Случаи, в которых нет пропусков, используются в
обработке, например, при поэлементном вычислении корреляционной
матрицы, когда последовательно рассматриваются все пары переменных).
Очевидно, в способе
Pairwise остается больше наблюдений для обработки,
чем в способе
Casewise. Тонкость, однако, состоит в том, что в Pairwise
оценки различных коэффициентов корреляции строятся по разному числу
наблюдений.
Mean Substitution – подстановка среднего вместо пропущенных
значений. Выберите
Casewise – способ исключения пропущенных случаев.
•
Нажмем кнопку Variables.
•
В окне (Рис. 7.2) выберите переменные либо, высвечивая их
мышью в представленном списке, удерживая ее левую кнопку и двигаясь
87
вверх либо вниз, либо, например, набрав номер переменных в нижней
строке. (Максимальное число переменных –2000).
Кнопка
Sellect All (Выбрать все) позволяет выбрать все переменные
сразу. Это самый быстрый способ.
Рис. 7.2
•
Щелкните по кнопке Spread (Распахнуть), просмотрите
расширенное описание переменных. Щелкните по кнопке
Sellect All
(
Выбрать все) и выберите все переменные.
•
Щелкнув в стартовом окне модуля на кнопку OK, вы начнете
анализ выбранных переменных.
STATISTICA обработает пропущенные значения тем способом,
какой вы ей указали, вычислит корреляционную матрицу и предложит на
выбор несколько методов факторного анализа.
Вычисление корреляционной матрицы, (если она не задается
сразу) – первый этап факторного анализа!
• Щелкните на кнопку OK, перед вами появиться окно Define
Method of Factor Extraction
(Определить метод выделения факторов).
Данное окно имеет следующую структуру (Рис. 7.3).
88
Рис. 7.3
Первая (верхняя) часть окна является информационной: здесь
сообщается, что пропущенные значения обработаны методом Сasewise.
Обработано 53 случая, и 53 случая приняты для дальнейших вычислений.
Корреляционная матрица вычислена для 17 первых.
Вторая (нижняя) часть диалогового окна окно
Define Method of
Factor Extraction
(Определить метод выделения факторов), содержит
опции выбора метода, а также поля, в которых проводятся установки для
итеративного вычисления общностей.
Обратите внимание на поля в правой части окна:
Max. no. of factors – Максимальное число факторов;
Mini. eigenvalue – Минимальное собственное значение.
Группа опций, объединенных под заголовком
Extraction method –
метод выделения, позволяет выбрать метод обработки. В зависимости от
критерия оптимальности возможен анализ либо методом
Principal
components
– методом главных компонент, либо одним из методов,
объединенных в группу
Principal factor analysis – анализ главных
факторов
.
Система предлагает следующие методы в группе
Principal factor
analysis– анализ главных факторов
:
Communalities = multiple R? (общности равны квадрату
коэффициента множественной корреляции);
Iterated communalities (MINRES) – метод итеративных общностей
(минимальных остатков);
Maximum likelihood factors – метод максимальной вероятности;
89
Centroid method – центроидный метод;
Principal axis method – метод главных осей.
•
Выделите закладку Descriptives. Инициировав кнопку Review
correlation, means, standard deviations (Просмотреть корреляции/
средние/стандартные отклонения
), вы откроете окно Просмотреть
описательные статистики
(Рис. 7.4), где можно посмотреть средние,
стандартные отклонения, корреляции, ковариации, построить различные
графики
С помощью кнопки
Compute multiple regression (Вычислить
множественную регрессию
) можно вычислить множественную
регрессию.
Рис. 7.4
•
Щелкните на кнопке Correlations (Корреляции). Вы увидите на
экране корреляционную матрицу выбранных ранее переменных (Рис. 7.5).
90
Рис. 7.5
•
Сохраните корреляционную матрицу, инициировав кнопку
File/Save correlations (Сохранить корреляции). Далее в модуле
Факторный анализ при дальнейших исследованиях можно сразу работать
с корреляционной матрицей.
•
Вернитесь в окно Define Method of factor Extraction (Определить
метод выделения факторов
) нажав на кнопку Cancel в окне Review
Descriptive Statistics
.
•
Выберите опцию Principal components (Главные компоненты) и
щелкните на кнопке
OK.
Система быстро произведет вычисления, и на экране появится окно
Factor Analysis Results (Результаты факторного анализа) (Рис. 7.6).