Сорокин О.Д. Прикладная статистика на компьютере. 2-е издание

Подождите немного. Документ загружается.

Сибирское отделение РАН

Институт почвоведения и агрохимии

ПРИКЛАДНАЯ СТАТИСТИКА

НА КОМПЬЮТЕРЕ

2-е издание

Сорокин О.Д.

Новосибирск 2008 г

УДК 311:681.3.06

Сорокин О.Д. Прикладная статистика на компьютере. 2-е изд. Краснообск,

ГУП РПО СО РАСХН, 2009, 222 с.

Аннотация

В книге представлено доступное изложение некоторых базовых понятий

прикладной статистики, информация о наиболее используемых классических ме-

тодах обработки данных, справочный материал по программам пакета

SNEDECOR ®. Книга рекомендуется молодым исследователям-биологам (студен-

там, стажерам, аспирантам), но, естественно, может быть полезна всем, кто ис-

пользует пакет в своей работе.

Данные об авторе:

Сорокин Олег Дмитриевич, ведущий инженер Института почвоведения и

агрохимии СО РАН, Новосибирск; раб. тел. 222-58-40.

E-mail: sorokin@issa.nsc.ru

, magnum46@ngs.ru

WEB: odssoft.narod.ru

Содержание

Предисловие.................................................................................................................... 7

1. Введение в прикладную статистику...................................................................... 9

1.1. Некоторые термины прикладной статистики ............................................... 11

2. Методы прикладной статистики.......................................................................... 13

2.1. Дисперсионный анализ ....................................................................................... 15

2.2. Корреляционный анализ .................................................................................... 18

2.3. Регрессионный анализ......................................................................................... 19

3. Пакет программ SNEDECOR V5.......................................................................... 20

3.1. Общие сведения о пакете .................................................................................... 20

3.2. Установка пакета на компьютер ...................................................................... 22

3.3. Табличный редактор ........................................................................................... 23

3.4. Логика анализа экспериментальных данных ................................................ 26

3.5. Особенности работы с графикой....................................................................... 28

3.6. Файл конфигурации пакета CONFIG.sdc ....................................................... 29

3.7. Работа с принтером .............................................................................................. 31

3.8. Программа #START.exe ...................................................................................... 31

3.9. Работа с буфером Windows ................................................................................. 32

3.10. Массивы тестовых данных............................................................................... 33

4. Первичная статистика. Работа с массивами .................................................... 34

4.1. IODATA: Ввод, редактирование массивов данных...................................... 34

4.2. NORMAL: Тест нормальности распределения данных ............................... 38

4.2.1. Нестандартные операции с графикой........................................................... 41

4.2.2. Генерация выборок с заданным законом распределения......................... 42

4.3. VARS: Вариационные статистики выборок................................................... 45

4.3.1. Квантили выборочных распределений ........................................................ 47

4.3.2. Непараметрические доверительные интервалы ........................................ 49

4.3.3. Неклассические оценки среднего и ср.-кв. отклонения ............................ 49

4.3.4. Метод Bootstrap.................................................................................................. 50

4.4. INTER: Анализ группированных данных....................................................... 50

5. Дисперсионный анализ .......................................................................................... 52

5.1. D1MAXI: 1-факторный дисперсионный анализ ........................................... 54

5.2. D2MAXI: 2-факторный дисперсионный анализ ............................................ 58

5.2.1. Методы 2-факторного анализа ....................................................................... 61

5.2.2. Анализ различия средних ................................................................................ 63

5.3. DISLAT: Дисперсионный анализ “Латинских квадратов”......................... 64

5.4. DSPAN: Дисперсионный анализ опытов без повторений............................ 66

5.5. DIS8: Многофакторный дисперсионный анализ........................................... 68

5.5.1. Исключение некоторых незначимых эффектов ......................................... 71

5.5.2. Стандартный перекрестный план................................................................. 72

5.5.3. Многофакторный план с расщеплением вариантов ................................. 73

5.5.4. Многофакторные планы смешанного типа, "Mixed" ............................... 74

5.5.5. Многофакторные иерархические планы, "Nested" ................................... 75

5.5.6. Многофакторные планы "Repeated Measures" .......................................... 76

5.6. WILSON: 1-,2-,3-факторный анализ данных по Уилсону............................ 77

5.7. FRIDMAN: 1-факторный непараметрический анализ................................. 78

5.8. TWOSAMP: Анализ различия 2-х выборок.................................................... 81

5.8.1. Анализ различия произвольных выборок. .................................................. 81

5.8.2. Анализ выборок с попарно связанными данными .................................... 86

5.9. COMPAR: Анализ средних, преобразование данных .................................. 88

5.9.1. Множественное сравнение средних............................................................... 90

5.9.2. Редактирование и преобразование массивов данных ............................... 92

5.9.3. Тест однородности дисперсий......................................................................... 94

5.9.4. Формирование массива для множественной регрессии............................ 95

5.10. REPLICS: оценка оптимального числа повторений ................................. 96

6. Ковариационный анализ. Линейная модель..................................................... 99

6.1. COVAR1: 1-факторный ковариационный анализ ...................................... 100

6.2. COVAR2: 2-факторный ковариационный анализ ...................................... 102

7. Многомерный дисперсионный анализ ............................................................. 105

7.1. MANOVA1. 1-факторный N-мерный дисперсионный анализ .................. 105

7.2. MANOVA2. 2-факторный N-мерный дисперсионный анализ

экспериментов с повторениями ............................................................................. 108

7.3. MNV2: 2-факторный N-мерный дисперсионный анализ........................... 111

7.4. MANOVA8. Многофакторный N-мерный дисперсионный анализ

экспериментов с повторениями ............................................................................. 113

7.5. MANODISC: Многомерный дисперсионный + шаговый

дискриминантный анализ ....................................................................................... 116

8. Регрессионный анализ ......................................................................................... 118

8.1. PRAN: Полиномиальный регрессионный анализ.................................... 119

8.1.1. Ортогональные полиномы ............................................................................ 123

8.1.2. Непараметрический регрессионный анализ.............................................. 124

8.1.3. Bootstrap-процедура для линейной регрессии........................................... 125

8.2. HARMON: Гармонический регрессионный анализ................................. 126

8.3. NLREG: Нелинейный регрессионный анализ.......................................... 129

8.3.1. Выбор стартовых параметров минимизации ............................................ 133

8.4. SPLINE: Аппроксимация парных зависимостей сплайном ...................... 134

8.4.1. Методы сплайн-функций............................................................................... 137

8.5. MLREG: Множественная линейная регрессия............................................ 140

8.5.1. Методы шаговой регрессии...........................................................................145

8.5.2. Регрессия на главных компонентах ............................................................ 147

9. Корреляционный анализ ..................................................................................... 148

9.1. MATRIX: Матрица парных корреляций....................................................... 149

9.1.1. Специальные виды корреляции .................................................................. 151

9.2. MCOR: Парные, множественные, частные корреляции ........................... 153

10. Анализ многомерных данных ........................................................................... 155

10.1. CANCOR: Канонические корреляции ........................................................ 155

10.2. MCOM: Анализ данных методом главных компонент ........................... 157

10.3. MCOMP: Главные компоненты (номера объектов, коды групп) .......... 162

10.4. FACTOR: Факторный анализ........................................................................ 164

10.5. CLASTER: Кластерный анализ..................................................................... 167

10.5.1. Кластеризация методом К-средних............................................................ 171

10.5.2. Выбор метрики пространства..................................................................... 172

10.5.3. Методы иерархической кластеризации.................................................... 175

10.5.4. Методы кластеризации на базе матрицы сходства/различия.............. 177

10.6. DISCRIM: Дискриминантный анализ ......................................................... 180

10.6.1 Дискриминирующая способность признаков .......................................... 185

10.6.2. Анализ избыточности пространства признаков..................................... 186

10.7. DISCRYM: Дискриминантный анализ (номера объектов, коды групп)

....................................................................................................................................... 187

10.8. DIAGNOZ: Классификация объектов по Байесу ....................................... 191

10.9. HOTELL: Анализ многомерных данных по Хотеллингу......................... 193

10.10. MRAN: Многомерное ранжирование объектов ....................................... 195

10.11. METRIC: метрическое шкалирование по Торгерсону ........................... 198

11. Временные ряды..................................................................................................201

11.1. TREND: Анализ временных рядов ............................................................... 201

11.1.1. Прогноз рядов методом авторегрессии..................................................... 203

11.1.2. Методы сглаживания значений временных рядов ................................ 205

11.1.3. Анализ и элиминация тренда ..................................................................... 206

11.2. PROGNOZ: Анализ временных рядов методом ГК .................................. 207

12. Специальные методы анализа.......................................................................... 213

12.1. CONCORD: Согласованность экспертов по Кендаллу ............................ 213

12.2. PEARSON: Анализ таблиц сопряженности ................................................ 214

12.2.1. Анализ таблиц 2 х 2....................................................................................... 215

12.3. BRASN: Однородность частот по Брандту-Снедекору............................. 216

12.4. SERIES: Анализ серий по Вальду-Волфовицу ........................................... 217

Библиография ............................................................................................................ 220

Предисловие

Автор, будучи по образованию биохимиком, в 80-х годах столкнулся с про-

блемой обработки больших массивов данных, получаемых при работе на амино-

кислотном анализаторе. Примерно в 1984-85 гг. в институт земледелия, где я ра-

ботал, начали поступать первые отечественные микро-ЭВМ (Электроника-60,

ДВК и другие). Начав с изучения различных языков программирования, и решив,

таким образом, свои химико-аналитические задачи, я незаметно для себя перешел

к обработке экспериментальных данных своих коллег различными статистиче-

скими методами.

Выяснилось, что российские биологи в общем плохо владеют математико-

статистической наукой, по сравнению с зарубежными школами. В университетах

США уже в 50-е годы прошлого столетия имелись штатные должности «Professor

of Biostatistics», подобных нет в наших университетах и по сей день.

Используя формулы из различных кних по прикладной статистике и благо-

даря неоценимой поддержке д.б.н. А.И.Южакова (СибНИИЗХим), удалось запро-

граммировать и отладить значительную коллекцию алгоритмов в виде библиотеки

процедур на языке Pascal. Как впоследствии оказалось, на базе этого языка была

создана система программирования Delphi, с помощью которой программирова-

ние прикладных задач для операционной системы Windows весьма упрощается.

Первые программы для обработки данных, написанные для операционной

среды MS DOS, до сих пор работают в научно-исследовательских организациях

СО РАСХН. Различные версии пакета SNEDECOR [37], написанного для системы

Windows, установлены в десятках лабораторий НИИ Сибирского региона, в Ново-

сибирском агроуниверситете.

За 20 лет работы над пакетом выяснилось следующее. Исследователи, рабо-

тающие в различных направлениях биологической науки (селекционеры, агрохи-

мики, медики, инженеры-технологи), довольно часто предпочитают работать в

среде пакета SNEDECOR, хотя на рынке есть много программ зарубежного про-

исхождения, иногда даже русифицированных (STATGRAPHICS, SPSS, STATIS-

TICA, NCSS и др.), а также отечественных пакетов (STADIA, ЭВРИСТА, МЕЗО-

ЗАВР). Как оказалось, практически все пакеты ориентированы на специалистов с

серьезной подготовкой в области прикладной статистики, интерфейс пакетов, как

правило, достаточно сложный, и для освоения пакетов требуются определенные

усилия, значительные затраты времени.

Пакет SNEDECOR целенаправленно создавался для биологов, следуя прин-

ципам:

– простота и стандартизация программного интерфейса;

– простота структур массивов данных (стандартный текст ASCII);

– работа с небольшими выборками (хотя возможны массивы до 200000 чи-

сел);

– специализация и полная самостоятельность программ, входящих в пакет;

– возможность верификации программ тестовыми данными из руководств

по прикладной статистике (массивы данных в комплекте пакета).

Цель данной книги – доступное изложение некоторых базовых понятий

прикладной статистики, информация о наиболее используемых классических ме-

тодах обработки данных, справочный материал по программам пакета

SNEDECOR. Книга рекомендуется в первую очередь молодым исследователям

(студентам, аспирантам), но, естественно, может быть полезна всем, кто исполь-

зует пакет в своей работе.

5-я версия пакета отличается от 4-й следующим:

– объединены родственные программы дисперсионного, корреляционного,

регрессионного анализа;

– исключены программы фенотипического анализа по Животовскому (они

остаются в пакете BIOGEN [64]);

– добавлены программы METRIC, REPLICS, SERIES;

– во всех программах переработан интерфейс ввода-вывода массивов дан-

ных;

– сделано значительное количество добавлений и модификаций в различные

программы.

Работа по совершенствованию пакета продолжается, планируется создание

новых программ, с новыми алгоритмами обработки данных. Автор надеется, что

принципы, заложенные в основу пакета, и дальше будут помогать биологам в их

исследованиях.

1. Введение в прикладную статистику

Человеческая история – это многие тысячелетия экспериментов. Методом

проб и ошибок люди находили оптимальные условия существования, иногда це-

ной жизни некоторой части сообщества. Это позволило человечеству в целом вы-

жить и достичь нынешней численности к началу XXI столетия.

Чтобы продолжать экспериментирование с наибольшей эффективностью,

математическая наука выработала ряд правил, позволяющих как снизить затраты

на проведение опытов, так и получать результаты с заданным уровнем достовер-

ности, надежности.

Уровень достоверности (общепринятый термин – значимости) выбирается

исследователем, исходя из специфики системы, с которой ведется работа. Напри-

мер, в исследованиях взрывчатых веществ, испытаниях аэрокосмической техники

ошибочное заключение допустимо, если можно так выразиться, в одном случае из

тысячи (P=0.001), или даже из десяти тысяч (P=0.0001) подобных исследований. В

экспериментировании с лекарственными препаратами, пищевыми продуктами и

ряде подобных областей, связанных со здоровьем человека, допустима ошибка в

одном случае из ста P=0,01 (или 1%). В инженерных исследованиях, биологиче-

ских науках принят норматив уровня значимости P=0,05 (5%) – ошибочное за-

ключение в одном опыте из 20. Эти нормативы узаконены государственными

стандартами, являются естественными критериями качества научных исследова-

ний, принятыми во всем мире.

Исследователь может понизить уровень значимости по своей инициативе,

например до 10%, только для предварительных, стартовых экспериментов – с це-

лью минимизировать затраты или из иных соображений, но конечные выводы

следует формулировать на базе результатов, полученных в экспериментах со

стандартным уровнем значимости.

Общая логика экспериментальной работы такова:

а/ на основе собственного опыта, литературных данных, экспертных оценок

и иных соображений исследователь делает предположение о некотором параметре

изучаемой системы;

б/ для определения значений этого параметра вырабатывается план экспе-

римента (число факторов, вариантов, повторений и т.п.) – с учетом предполагае-

мой изменчивости (вариабельности, варьирования) системы в целом;

в/ фиксируются в рабочем журнале 0-гипотеза об изучаемом параметре

системы, уровень значимости для эксперимента, план и прочие условия проведе-

ния опыта, метод обработки результатов;

г/ выполняется эксперимент в соответствии с планом;

д/ полученный в эксперименте числовой материал обрабатывается с помо-

щью выбранного метода прикладной статистики, результат обработки данных –

некоторое число – эмпирическое значения статистического критерия, однозначно

определяемое свойствами массива экспериментальных данных;

е/ эмпирическое значение критерия сравнивается с табличным значением из

специальных таблиц по математической статистике, вычисленных на базе фунда-

ментальной теории распределения вероятностей случайных величин – на выбран-

ном уровне значимости;

ж/ в результате сравнения эмпирического и табличного значений критерия

0-гипотеза либо считается подтвержденной, либо отвергается – в пользу Контр-

гипотезы (на принятие которой обычно рассчитывает экспериментатор).

Как правило, обработка данных выполняется на персональном компьютере

с помощью какого-либо пакета прикладной статистики. В этом случае эмпириче-

ское значение критерия сопровождается одним или двумя целыми числами, назы-

ваемыми степенями свободы (определяются из размеров массива данных) и зна-

чением вероятности, вычисленным программой для статистического критерия и

этим степеням свободы. Тогда таблицы по математической статистике не исполь-

зуются, а вывод по принятию/отклонению 0-гипотезы выполняется сравнением

вычисленной вероятности с нормативом уровня значимости. Например, в опыте

получено значение критерия Фишера-Снедекора, вычислена вероятность:

эмп

=2,14 ст. свободы: n

=2, n

=31 P

эмп

=0,1347

Значение вероятности больше стандартного уровня значимости

(0,1347>0,05), следовательно, 0-гипотеза подтверждена. Еще пример:

эмп

=6,52 ст. свободы: n

=3, n

=8 P

эмп

=0,0153

Значение вероятности меньше стандартного уровня значимости

(0,0153<0,05), поэтому 0-гипотеза отклоняется, принимается Контр-гипотеза.

Вероятность, вычисляемая по эмпирическому значению критерия и степе-

ням свободы, называется «вероятностью ошибки в случае отклонения 0-

гипотезы», или вероятностью ошибки 1-го рода. Таким образом, экспериментатор

с этой малой вероятностью отклоняет 0-гипотезу, зная, что все-таки в каком-то

аналогичном эксперименте он обязательно сделает ошибку – отклонит 0-гипотезу,