Самсонова В.П., Мешалкина Ю.Л., Дядькина С.Е. Компьютерный практикум по курсу: математическая статистика в почвоведении

Подождите немного. Документ загружается.

4).

Метод к-means. При выборе этого метода следующая панель будет отли-

чаться от описанной ранее. Однако выбор переменных (Variables), по кото-

рым будет проводиться анализ (С, PHS, IL, G, V) и выбор типа анализа Clus-

ter (переменные или объекты) точно такой, как и прежде. Укажите перемен-

ные:С,

PHS, IL, G, V и выберите анализ объектов (Cases (row)). Затем нужно

задать число классов (Number of clusters) и число итераций для расчетов

(Number of iterations). Кроме этого, можно разным способом задать началь-

ные центры кластеров (Initial cluster centers).

Для ваших данных проведите кластеризацию методом k-средних, задав 3

кластера. Число итераций возьмите по умолчанию, равное 10. Начальные

центры классов задайте через одинаковые интервалы в ранжированном ряду

расстояний (Sort distances and take observations at constant intervals).

Результирующая панель позволяет оценить качество классификации

(Analysis of variance), получить таблицу средних признаков для кластеров и

таблицу расстояний между кластерами (Cluster means & Euclidean

distances), построить графики средних значений для кластеров (Graph of

means), получить описательные статистики для каждого класса (Descriptive

statistics for each cluster), получить таблицу принадлежности объектов к ка-

ждому классу (Members of cluster & distances).

Проанализируйте результаты, оценив качество классификации при помощи

Analysis of variance. Постройте график средних и таблицу принадлежности

объектов к каждому классу. Результаты сохраните в файле Excel

Яез5фамилия.

Повторите анализ, задав 5 классов. Результаты сохраните в файле Excel

ЯеБ5фамилия.

5).

Распечатайте отчет. По номерам объектов подпишите ручкой гори-

зонты.

адание

5.Отчет

студента Неизвестного Н.Н. Результаты кластерного анализа

Иерархическая классификация

Tree Diagram for 30 Cases

Single Linkage

Euclidean distances

С С С С С А2В В В А2В А1 А2 А2 А2 А1 А1

В С В В С А2В А2В А2В А1 А1 А2 А2 А2В А2 А1

Tree Diagram tor 30 Cases

Wards method

Euclidean distances

250

С С В В С А2В А2В В А2В А2 А2 А2В А2 А1 А1

С С С В В В А2В А2В А2 А2 А2 А1 А1 А1 А1

1 •••"•

1 ' 1

Метод

К-средних

3 кластера

Analysis of Variance (pc klasta)- Дисперсионный анализ

Признаки

PHS

Between

Сумма кв.

между

классами

Число ст.

свободы

41,253422

0,4869745

2881,6445

2422,0554,

0,5615084

Within

Сумма

кв.

между

классами

89,541245

1,8676891

291,72192

256,64453

0,5753129

Число ст.

свободы

Уровень

значимости

6,219717

3,519941

133,3537

127,4048

13,17607

signif.

Р.

0,0060027

0,0438099,

1.015Е-14

1.774Е-14

0,0001016

Объекты 1-го кластера Members of Cluster

N=8

В раз. 1

С раз.1

В раз.4

С раз .4

В раз.5

С раз 5

В раз

С раз.в

С 5

С 19

С_24

С 25

С_30

|N=9

А2В раз

А2В раз.2

В раз

С раз

Враз.З

С раз.З

А2В раз.4

А2Враз5

А2В раз.6

Members of Cluster

|N=13

раз1

раз..

А2 раз.1

А1 раз.2

А2 раз.2

А1

раз 3

А2 раз.З

А2В раз.З

А1 раз.4

А2 раз.4

А1

раз 5

А2раз5

А1 раз.6

А2 раз.6

С 1

С 2

С 6

С 16

С_21

С 27

PhS

latorEochOuila

8--~-

5 кластеров

Analysis of Variance (pc klasta)

PHS

Between

122,03867

0,5546677

2947,4778

2455,95

0,5645458

Within

8,7559967

1,7999959

225,88867

222,75

0,5722755

87,11078

1,925934

81,55228

68,90993

6,165581

signif.

2.655E-14

0,1373336

5.694E-14

3.928E-13

0,0013542

Cluster

Cluster 2

N=9

А2Враз1

A2B раз.2

В раз

С раз.2

Враз.З

СразЗ

А2В раз 4

А2В раз.5

А2В раз.6

Cluster

С_9

С 15

С_23

С 28

N=8

В раз.1

С раз.1

В раз.4

С раз.4

В раз.5

С раз.5

В раз 6

С раз

С 5

С 19

С 20

С 25

С_29

Cluster

N=3

А1

раз.1

А1 раз 2

А1 раз.4

Cluster

С 6

С 16

N=2

А1 раз.5

А1 раз.6

С 26

JN5)

_А2 раз.1

_А2раз2

А1 раз.З

А2раз.З

А2В раз.З

А2 раз.4

А2 раз.5

А2раз6

С 7

С 17

С 22

Занятие 6

Метод главных компонент и дискриминантный анализ

I. Метод главных компонент

Запустите программу STATISTICA. В появившемся меню выберите

пункт Factor Analysis. (Если такого пункта нет, то в верхней строке ме-

ню выберите Analysis, затем пункт Other Statistics и выберите пункт

Factor Analysis.) Щелкните по переключателю модулей (Switch to). По-

сле запуска программы STATISTICA обычно появляются последние дан-

ные,

с которыми работал этот модуль программы. Для открытия нужного

вам файла выберите в меню File, затем пункт Open Data. Далее стан-

дартным образом указывается, откуда будут взяты данные, с которыми

вы будете работать. Проверьте, что открыты именно ваши данные. В

верхней строке меню выберите Analysis, затем пункт Resume Analysis.

Выберите переменные (Variables), по которым будет проводиться анализ

(С,

PHS, IL, G, V). В поле Input file выберите тип Raw date (исходные

данные; программа может работать также с матрицей расстояний). Нажа-

тие кнопки ОК приведет к открытию следующей панели. Эта панель дает

информацию о выбранных ранее условиях (число случаев, число пере-

менных, наличие пропусков данных и способ их ликвидации), позволяет

перейти на панель описательной статистики и корреляций (Review

corrs/means/sd) или множественной регрессии (Perform multiple regres-

sion).

Здесь же дается возможность выбора между двумя видами анализа:

МГК (Principal components) и факторного анализа. Отметьте точкой

МГК, укажите число компонент (Maximum no of factors), равное 3, и

минимальное собственное число (Minimum eigenvalue), равное 0,7 . На-

жмите ОК.

Верхняя часть открывшей панели содержит информацию о выбранном

методе, детерминанте корреляционной матрицы, числе компонент и зна-

чениях собственных чисел. Нижняя часть этой панели делится на три

смысловых поля. Первое поле называется «Объясненная дисперсия»

(Explained variance). Здесь может быть выведена таблица собственных

чисел (кнопка Eigenvalues), которые представляют собой полную дис-

персию, объясняемую каждой компонентой, а также общности (Сот-

munalities), остатки (Reproduced/residual corrs.) и графическое изобра-

жение критерия «каменистой осыпи» (Scree plot). Выведите таблицу

собственных чисел (кнопка Eigenvalues), для своих данных и скопируйте

ее в файл Excel с отчетом.

Второе поле объединяет кнопки, связанные с факторными нагрузками

(Factor loadings), то есть корреляциями между исходными переменными

и факторами ( в нашем случае - главными компонентами). Нажмите

кнопку, позволяющую производить вращение факторов (Factor

rotations) . Затем среди методов вращения выберите самый распростра-

ненный метод - метод веримакс (вращение, максимизирующее диспер-

сию) для стандартизированных переменных (Varimax normalized). По-

лученную таблицу скопируйте в отчет.

Третье полей той же панели объединяет кнопки, связанные с проекцией

объектов на факторы (главные компоненты) (Factors scores). Нажмите

одноименную кнопку и скопируйте полученную таблицу в файл Excel с

отчетом.

6. Постройте проекции объектов (горизонтов) на 1-ую главную компонен-

ту. Для этого в программе Excel постройте график типа «точечная диа-

грамма» по первому столбцу последней таблицы. Щелкните по точкам

графика и в меню выберите Подписи данных, поставьте галочку напро-

тив текста Включить в подписи значения. Распечатайте отчет. По по-

рядковым номерам ручкой подпишите на распечатке соответствующие

горизонты.

II.

Дискриминантный анализ

7) Запустите (или активизируйте) программу STATISTICA. В появившемся

меню выберите пункт Discriminant Analysis. (Если такого пункта нет, то

в верхней строке меню выберите Analysis, затем пункт Other Statistics и

выберите пункт Discriminant Analysis.) Щелкните по переключателю

модулей (Switch to). После запуска программы STATISTICA обычно по-

являются последние данные, с которыми работала программа. Для от-

крытия нужного файла выберите в меню File, затем пункт Open Data.

Далее стандартным образом указывается, откуда будут взяты данные, с

которыми вы будете работать. Проверьте, что открыты именно ваши

данные. В верхней строке меню выберите Analysis, затем пункт Resume

Analysis.

8) В открывшемся меню щелкните по кнопке Variables и выберите груп-

пирующую переменную (Grouping) и независимые переменные (Inde-

pendent variable). В качестве независимых переменных выберите С,

PHS,

IL, G, V, в качестве группирующей переменной - горизонт. Для то-

го чтобы в таблицах присутствовали надписи горизонтов, нажмите

кнопку Code for grouping variable. В появившемся меню выберите

кнопку ALL и нажмите 2 раза ОК.

9) Появляется меню, где должны быть определены параметры модели

(Model Definition). Можно при необходимости сократить количество ра-

нее выбранных независимых переменных. Выберите стандартный метод

анализа (Methods: Standard), альтернативным методом является прямой

или обратный пошаговый дискриминантный анализ (Forward stepwise

или Backward stepwise). В этом же меню можно изменить допустимые

отклонения (Tolerance). Оставьте это значение без изменения и нажмите

ОК.

10) Следующее меню выдает результаты дискриминантного анализа: крите-

рии для переменных (Variable in model), матрицу расстояний между

группами (Distance between groups), анализ канонических корреляций с

графиками (Canonical analysis & graphs), саму классификационную

функцию (Classification function), классификационную матрицу (Classi-

fication matrix), результаты классификации объектов (Classification of

cases),

матрицу квадрата расстояний Махаланобиса для наблюдений

(Squared Mahalanobis distances), для них же апостериорную вероят-

ность (Posterior probabilities). С помощью переключателя можно вы-

брать первоначальные вероятности для классифицирования (A prior clas-

sification probabilities): пропорционально размеру групп (Proportional to

group sizes), одинаковые для всех групп (Same for all groups)

заданные

пользователем (User defined).

11) Для отчета в файле Excel сохраните три таблицы: классификационную

функцию, классификационную матрицу и результаты классификации

объектов. Переведите заголовки таблиц.

Задание 6 .Отчет студента Неизвестного Н.Н.

Метод Главных Компонент Factor Scores (pcjda.sta)

Eigenvalues (pc_kla.sta) -собственные числа Проекция объектов на ГК

Extraction:

Principal components -метод главных компонент Rotation: Varimax normalized

Eigenval

Собствеь

ное числе

3.18

0.77

0.71

% total

Variance

Процент от

> общей

дисперсии

Cumul.

Eigenval

III

3.18

3.94

4.66

Cumul.

Кумулята

дисперсии

Factor Loadings (Varimax nornataed) (pc_kla.sta)

Extraction:

Principal components

(Marked loadings are > ,700000)

Factor

PHS

Expl.Var

Prp.Totl

0.22

-0.19

-0.93

0.75

2.36

0.47

-0.96

0.19

022

0.25

-0.04

1.06

0.21

-0.16

0.94

0.20

0.12

-0.51

1.24

0.25

Проекция горизонтов на 1-ую компоне

(На графике нужно подписать горизонт

1.60 -

1.00

0.50

0.00 -

-0 50 -

-1.00 -

-1.50 -

Extraction

НТу 27

Ъ|) 28

А1

А2

А2В

А1

А2

А2В

А1

А2

А2В

А1

А2

А2В

А1

А2

А2В

А1

А2

А2В

Principal components

Factor

0.4"

0.8!

-0.4

-о.э:

-1.3^

0.7S

1.зе

0.9"

-0.3J

-0.97

0.72

1.46

1.07

-0.21

-0.36

0.23

1.1S

-0.01

-1.03

-0.62

0.42

1,40

-0.18

-1.20

-1.64

-0.16

1.57

0.09

-1.47

-1.70

И 27

•

В 22

па

га1Э

Ш1?

шв

В11

! |

ва

Ш16 „

•.-о И 28

1 „ SJ4

@з Е

щл н ш

И5

Ш26

Ш20

И 24

II 25 и

Factor

-1.43

) -0.01

0.16

0.17

018

0.19

0.74

0.41

0.44

0.24

-0.15

0.61

0.21

0.11

-1.09

0.90

0.51

0.39

0.14

-2.18

0.33

0.57

0.39

0.23

-4.08

0.49

0.53

0.57

0.29

Factor

0.51

-0.04

0.39

0.73

1.29

-1.47

-0.57

2.28

-0.73

-0.44

-0.32

0.25

1.60

1.47

-0.92

-0.97

-0.74

-1.05

1.78

-1.00

-0.47

-0.57

-0.66

022

0.08

-0.65

-1

-0.18

Результаты дискриминантного анализа

Классификационная фун

Classification Functions; g

PHS

Constant

,20000

0,7

89.8

1.4

2,1

41,7

-265.3

КЦИЯ

rouping:

VAR2

p=,20000

4.0

85,3

-0,6

2,3

72,5

-232,1

(pc kla.sta)

,20000

1,9

87,2

-1.0

2,3

76,9

-232,1

A2B

p=.20000

1,1

91,4

0.4

2,1

55,7

-254,0

p = .20000

0,6

95,0

1.8

2,1

35,2

-301,8

Classification of Cases (pc_kla.sta)

Incorrect classifications are marked with

Observed

Classif.

A2B

А1

А2

А2В

А1

А2

А2В

А1

А2

А2В

А1

А2

А2В

р=,20000

А1

А2

А2В

А2

А2В

А2

А2В

А1

А2

А2В

А1

А2

А2В

А1

А2

А2В

- Ошибки классифицирования

р=,20000

А2

А1

А2

А1

А2

А1

А2

А1

р=,20000

А2В

А1

А2В

А1

А2В

А1

А2В

р=,20000

А1

А2

А1

А2

А1

А2

А1

р=,20000

А2

А1

А2

Классификационная матрица

Classification Matrix (pc_kla.sta)

Rows:

Observed classifications - строки : Наблюдаемая классификация

Columns: Predicted classifications - предсказания

A2B

Total

Percent IB

Correct |p=.20000

p=,20000

Процент правильной классификации

66,7

100,0

83,3

p=,20000

A2B

,20000

p=,20000

Вопросы к семинарскому занятию 4

К отчету должны быть приложены подробные письменные ответы. Они

должны быть основаны на результатах, полученных по своим данным и по

данным студентов той же кафедры.

Семинар 4

Кластерный анализ. МГК. Дискриминантный анализ

Что такое кластерный анализ?

Что такое аггломеративные методы кластеризации? Приведите примеры.

Что такое итеративные дивизивные методы кластеризации? Примеры

Что такое расстояние между объектами?

Какие виды расстояния между объектами вы знаете?

6. Какие виды расстояний используются для качественных признаков?

Какие методы объединения реализованы в программе STATISTICA?

8. Чем отличаются кластеры, выделенные методом одиночной связи и ме-

тодом Уорда?

9. Какие признаки оказались «ближе», а какие «дальше» для данного мно-

жества горизонтов?

10.

В чем заключается принцип работы метода k-средних? К какому типу

методов кластеризации он относится?

11.

Одинаковое ли разбиение дают разные методы кластеризации для одних

и тех же объектов?

12.

Какой метод, на ваш взгляд, дает лучшее разбиение для ваших данных?

13.

Что такое собственные числа?

14.

Какую долю обшей дисперсии учитывает каждая компонента по отдель-

ности? Какую долю общей дисперсии суммарно учитывают 1-ая и 2-ая

компоненты? Какую долю - суммарно 1-ая, 2-ая и 3-яя компоненты?

15.

Какие признаки вносят наибольший вклад в каждую из компонент?

16.

Какая информация может быть получена при проектировании объектов

на 1-ую компоненту?

17.

Какие два объекта находятся на максимальном расстоянии при проекции

объектов на 1-ую компоненту?

18.

Что такое классифицирующая функция?

19.

Выпишите классифицирующие функции для принятия решения об отне-

сении объекта к каждому из классов?

20.

Укажите в скольких случаях происходит ошибочная классификация?

Какие объекты правильно, а какие неправильно классифицируются?

Дополнительное занятие

Графические возможности пакета STATISTICA

В пакете существуют 2 типа графиков:

1) Quick Stat Graphs - быстрые графики, позволяющие построить графики

для фиксированной заранее переменной . Эти графики могут быть по-

строены практически из любого места пакета.

2) Custom Stat Graphs - пользовательские графики, в которых перемен-

ные и диапазон случаев (Cases)zyia которых эти графики могут быть по-

строены задается пользователем и может быть изменен в процессе вы-

полнения программы.

Щелчок по кнопке Graphs активизирует панель графики. Все возмож-

ности ее перечислены в пунктах меню.

Первый пункт Quick Stat Graphs позволяет строить графики только для

той переменной, которая была выделена заранее.

Следующая группа пунктов меню позволяет стоить пользовательские графи-

ки:

Stats 2D Graphs - двумерные графики

Stats 3D Sequenrial Graphs - трехмерные графики последовательностей

Stats 3D XYZ Graphs - трехмерные графики.

Задание.

Постройте график изменения содержания окисла вдоль линий опробова-

ния на разных глубинах. Для этого войдите в программу, активизируйте

пункт Basic Statistics, а затем пункт Graphs в строке меню. В появив-

шейся панеле выберите Stats 2D Graphs-Line Plots (Variables). В новой

панели, щелкнув по кнопке Variables, выберите переменные. Область

Graph Type позволяет строить разные виды графиков. Для того, чтобы

все переменные были на одном графике, щелкните по окошку

МиШр1е.Отредактируйте появившийся график, щелкнув 2 раза по заго-

ловку, по подписи осей и т.п. Запомните график в вашем каталоге.

Постройте графики изменения содержания окисла с глубиной в разных

частях траншеи. Для этого нажмите последовательно Stats 2D Graphs-

Line Plots (Cases). В области Cases выберите 1-5 в области Graph Type

— Multiple. Отредактируйте график и запомните его. Повторите проце-

дуру для других 5-и точек опробования (произвольно).

Нажав кнопку Graphs, выберите Multiple Graphs Layouts, затем

Wizard. Это позволит вам разместить графики на одном листе.

Для представления данных по горизонтам дерново-подзолистой почвы в

технике Box Plot преобразуйте переменные, Для этого добавьте 100 слу-