Сорокин О.Д. Прикладная статистика на компьютере. 2-е издание

Подождите немного. Документ загружается.

нием. Файл CONFIG.sdc может отсутствовать в директории с пакетом

SNEDECOR, все параметры в этом случае устанавливаются на стандартные.

3.7. Работа с принтером

Для распечатки результатов счета может быть использован любой принтер

– матричный, струйный или лазерный. В случае, когда результаты обработки дан-

ных имеют таблицы шириной более 80 символов, и при печати на стандартном

принтере формата А4 получается искажение таких таблиц, следует записать ре-

зультаты в текстовый файл (с расширением .rtf или .txt), потом распечатать его с

помощью программ WordPad (Write.exe) или MS Word, имеющие возможность

настраивать размеры страницы перед печатью и подбирать размер шрифта, и за-

тем распечатать обычным способом. Также можно распечатать справочные тек-

сты, сопровождающие каждую программу. Графики также можно выводить на

печать на любом принтере, при этом изображение будет автоматически масшта-

бироваться по ширине формата А4.

3.8. Программа #START.exe

Программа #START предназначена для запуска программ прикладной ста-

тистики, входящих в состав пакета SNEDECOR, и для вывода различной спра-

вочной информации по пакету. Любой справочный раздел может быть выведен

на принтер или в текстовый файл. Рекомендуем именно эту программу указывать

в качестве ярлыка при создании метки пакета на Рабочем столе Windows.

Меню "Сервис" позволяет посмотреть и подредактировать в случае необ-

ходимости файл настроек пакета CONFIG.sdc.

Выбор раздела статистического анализа производится с помощью мышки –

кликом по строке с названием раздела. При запуске выбранной программы ана-

лиза окно #START минимизируется, располагаясь в нижней части экрана; после

завершения работы с программой статистики окно восстанавливается автомати-

чески до нормального размера. Одновременно можно работать с несколькими

программами пакета, располагая их в разных местах экрана, корректируя размеры

окон мышкой.

3.9. Работа с буфером Windows

Во всех программах пакета имеется возможность использовать буфер в опе-

ративной памяти (Clipboard) для переноса информации в другие программы – в

редакторы текстов или электронные таблицы. Например, текст с результатами об-

работки данных можно передать в редактор MS Word, дополнить его графиком,

занести какие-либо комментарии и затем распечатать.

Для копирования текста в буфер следует кликнуть ПРАВОЙ клавишей

мышки в поле текста – появится «выскакивающее» меню операций, среди них

следует выбрать «Копировать в буфер Windows».

Если при вставке текста из буфера в поле редактора MS Word произойдет

некоторое искажение табличных результатов, надо выделить мышкой блок текста

и выбрать для него один из стандартных моноширинных шрифтов – Courier, Cou-

rier New или Lucida Console, имеющихся в стандартной комплектации системы

Windows. Размер шрифта также иногда требует подбора – в зависимости от типа

документа, целей пользователя.

Массивы данных также можно переносить с помощью буфера, например, в

среду программы MS Excel, для этого нужно выбрать пункт основного меню про-

грамм «Копировать массив в буфер для MS Excel»:

Кликом ПРАВОЙ клавиши мышки в поле Табличного Редактора можно вы-

звать выскакивающее меню, в котором тоже есть операции работы с буфером.

При копировании в буфер переносится весь массив, причем в операции «Копиро-

вать в буфер для MS Excel» будет сделана замена разделителя целой и дробной

части чисел на «запятую» и символа «разделитель чисел», при операции «Копи-

ровать в буфер Windows» такая замена не выполняется.

Аналогичным образом можно передавать массивы данных из MS Excel: вы-

делить мышкой прямоугольный блок данных (только числа!), скопировать его в

буфер, затем передать массив данных в Табличный Редактор программы пакета.

Для копирования в буфер графика следует выбрать соответствующий пункт

основного меню формы графики, или использовать комбинацию клавиш <Ctrl/C>.

Перед копированием желательно подобрать размеры графика, «хватая» края фор-

мы с помощью мышки.

Если пункт «Копировать из буфера Windows» неактивен, это значит, что в

буфере – нечисловое содержимое. При передаче массива данных из буфера в не-

которые программы пакета следует учесть, что дополнительная информация о

структуре данных (число факторов в массивах многофакторного анализа, число

групп в массивах данных для дискриминантного анализа и т.п.), комментарии –

будет утеряна – программе передается только прямоугольная матрица.

3.10. Массивы тестовых данных

Помимо программ в состав пакета SNEDECOR входят более 130 массивов

тестовых данных. Эти данные взяты из реальных экспериментов, различных ру-

ководств по прикладной статистике, оригинальных публикаций, или же сгенери-

рованы методом Монте-Карло.

Например, массив FISH_IRI.dat – данные Р.Фишера по 3-м видам ирисов –

классический тест для дискриминантного анализа.

Массив SSP6x30.dat – тестовый массив из пакета SSP [26].

Имеются тестовые массивы из руководств Снедекора, Доспехова, Лакина,

Рао, Аренса – Лейтера, Хикса и других. Как правило, это можно увидеть из имени

файла, иногда дополненного номером страницы, более полная информация обыч-

но есть в комментариях (последняя строка файла).

В многих случаях имя файла данных несет информацию о его структуре,

например, SSP6x30 = 6 столбцов (признаков), 30 строк (объектов). Опытный

пользователь сразу же сообразит, что это массив – скорее всего для корреляцион-

ного или регрессионного анализа. Небольшие массивы (5x3, 4x8 и т.п.) – как пра-

вило, для дисперсионного анализа, большие массивы (10x100, 20x300) – для мно-

гомерного анализа.

Тестовыми массивами следует пользоваться для изучения методов при-

кладного статистического анализа, верификации алгоритмов, использованных в

программах пакета. Находятся эти массивы обычно в каталоге \SNEDECOR\Tests.

4. Первичная статистика. Работа с массивами

Программы для ввода и редактирования массивов данных, стандартной ва-

риационной статистики. Программа VARS – наиболее используемая из всех про-

грамм пакета, распространяется бесплатно. Программа INTER – дань прошлому

прикладной статистики, когда из-за отсутствия компьютеров для облегчения об-

работки данных в таблицы заносились не исходные числа, а частоты попадания

значений в заданные интервалы.

4.1. IODATA: Ввод, редактирование массивов данных

Программа IODATA предназначена для ввода и редактирования массивов

экспериментальных данных "признаки-объекты", "выборки-наблюдения" в фор-

ме "столбцы/строки". Для введенного массива данных можно выполнить стан-

дартную статистическую обработку:

1/ вариационная статистика для выборок в столбцах массива;

2/ вычисление матрицы парных корреляций (также для столбцов);

3/ проверка на выбросы (артефакты) в выборках по

τ-критерию.

Максимальный размер массива данных – не более 200000 элементов, раз-

мер выборки (столбца из этого массива) – не более 8000 элементов.

Данные в виде двумерного массива "признаки-объекты" могут быть введе-

ны:

– с клавиатуры непосредственно в среде программы;

– переданы через буфер Windows из программы MS Excel, для этого надо

выделить прямоугольный блок ячеек, состоящий только из чисел, скопировать его

в буфер в среде MS Excel (Ctrl/C) и передать программе IODATA комбинацией

клавиш Ctrl/V. Через буфер Windows может быть передан массив данных, подго-

товленный в каком-либо текстовом редакторе (WordPad, MS Word), разделителя-

ми чисел могут быть пробелы и символы табуляции.

– из файла в стандарте пакета SNEDECOR, подготовленного заранее с по-

мощью какой-либо программы пакета или любого редактора текстов типа Блок-

нота Windows. Этот массив должен представлять из себя обычный текст ASCII,

который можно посмотреть на экране с помощью клавиши <F3> в оболочках типа

FAR, Norton, DiskCommander.

Пример формирования массива из 6-и выборок и 11-и наблюдений:

6 11

12,3 22,5 34,2 0,34 1,45 3,11

8,34 23,7 33,1 0,23 1,66 3,65

9,23 24,6 31,6 0,45 1,89 2,79

7,12 20,9 30,3 0,23 1,73 3,09

8,27 19,4 32,4 0,78 1,77 3,35

6,21 18,5 31,6 0,98 1,85 -999

5,67 17,2 30,6 0,75 1,57 3,51

8,55 16,3 33,9 0,77 1,33 3,40

7,23 17,6 32,1 0,82 1,21 -999

6,47 15,5 31,7 0,79 1,42 3,74

5,18 16,0 31,2 0,78 1,63 3,71

Калий

Натрий

Кальций

Железо

Кобальт

Молибден

Данные 1997 г.

<- начало файла

массив данных:

строки = объекты,

столбцы = признаки

в 6-м признаке – 2 пропуска

<- названия признаков

(необязательно)

<- необязательный комментарий

В качестве примера формирования массива можно посмотреть файл

SSP6x30.dat (6 выборок, 30 повторений).

Помимо текстовых массивов данных, программа может считывать число-

вую информацию из файлов dBase-III/IV, имеющих простую структуру: все поля

dBase-файла должны быть только числовые (”N”), формат полей может быть оди-

наковым (например, все 6:2, 7:3, 8:4, 9:5 и т.п.) и различным, число полей опре-

деляет число признаков, число записей в dBase-файле = число объектов, названия

полей dBase-таблицы используются в качестве названий признаков.

При желании можно изменить размер ячейки Табличного Редактора для

удобства работы с конкретными данными, а также указать формат вывода значе-

ний массива на экран (и, соответственно, на принтер или при записи в файл

данных на винчестере):

8 позиций – диапазон от -9999999 до 99999999

7 позиций – от -999999 до 9999999

6 позиций – от -99999 до 999999 <- по умолчанию

5 позиций – от -9999 до 99999

4 позиции – от -999 до 9999

3 позиции – от -99 до 999

Если число выходит за текущий диапазон представления данных, про-

грамма отражает это звездочками "****", но само значение, естественно, со-

храняется в массиве.

Программа предоставляет возможность производить различные операции с

данными:

– транспонирование массива: M x N -> N x M;

– математические операции с признаками;

– сортировка объектов по возрастанию/убыванию любого признака;

– генерация псевдослучайных значений;

– объединение массивов данных; и т.д.

Меню опеpаций содержит пункт "Дублирование со сдвигом" – "впра-

во/вниз" и "вправо/вверх; выполняются следующим образом, например, исход-

ный массив 2 признака, 9 объектов, сдвиг вниз 2 раза:

11 24 11 24 новый массив: 6 признаков

13 21 13 21 11 24 7 объектов

15 22 15 22 13 21 11 24 15 22 13 21 11 24

17 25 --> 17 25 15 22 13 21 --> 17 25 15 22 13 21

19 27 19 27 17 25 15 22 19 27 17 25 15 22

14 28 14 28 19 27 17 25 14 28 19 27 17 25

16 26 16 26 14 28 19 27 16 26 14 28 19 27

12 23 12 23 16 26 14 28 12 23 16 26 14 28

10 29 10 29 12 23 16 26 10 29 12 23 16 26

10 29 12 23

10 29

Специальная операция "восстановления" отсутствующих по какой-либо

причине дат может быть выполнена одним из 4-х способов:

– по принципу замены пропущенного числа на значение в этом признаке

ближайшего в многомерном пространстве объекта (наиболее корректный способ,

однако возможно некоторое изменение дисперсии признака);

– заменой пропущенных значений на среднее в признаке; в этом случае

неизбежно уменьшение дисперсии данных, поэтому этот метод следует исполь-

зовать только при малом числе выпавших дат (1-3 в признаке);

– заменой пропусков на среднее в строке; это допустимо только в том слу-

чае, когда все признаки измерены в единой шкале и с примерно одинаковой дис-

персией;

– заменой на некоторые числа, генерируемые датчиком случайных чисел,

распределенных по нормальному закону со средним и сигмой, оцененным по

имеющимся в признаке значениям; этот метод может быть неприемлем для при-

знаков с большой дисперсией из-за появления отрицательных значений.

Для этого отсутствующие значения нужно ввести как -999, при этом они

представлены пустыми ячейками в Табличном Редакторе.

Еще одна специальная операция "Анализ экстремальных значений" позво-

ляет проверить каждый признак на наличие выбросов – аномально больших или

аномально малых значений по критерию из [15, стр. 60]. Если выброс обнаружен,

можно либо поставить "-999" на этом месте и далее "восстановить" это значение,

либо исключить объект из массива в Табличном Редакторе.

Результаты анализа могут быть отредактированы непосредственно в среде

программы при выводе результатов на дисплей (заголовок, комментарии, удале-

ние ненужной информации и т.п.).

Если в выборках обнаружены выбросы (очень большие или очень малень-

кие величины), то вполне оправданным будет исключение этих значений – вы-

бором соответствующего пункта меню (эта операция допустима только для мас-

сивов, не содержащих пропуски). При этом удаляются по два значения из каждой

выборки (процедура цензурирования данных). Следует помнить, что после ис-

ключения экстремумов операция транспонирования, вообще говоря, лишена

смысла, так как практически всегда экстремумы располагаются в различных мес-

тах выборок.

Пеpед записью массива данных на диск пpогpамма запpашивает имя файла

данных, стpоку комментаpиев до 60 символов (необязательно) и пpедлагает

скоppектиpовать пеpвую стpоку файла:

Если массив готовится для пpогpамм дискpиминантного анализа, следует

указать pазбиение объектов на гpуппы; напpимеp, M=15 пpизнаков, N=40 объек-

тов, 3 гpуппы 10+15+15, тогда заголовок файла должен выглядеть следующим

обpазом:

15 40 10 15 15

Заголовок файла данных для пpогpамм множественного линейного

pегpессионного анализа также следует скоppектиpовать; напpимеp, M=10 пеpе-

менных, N=50 ваpиантов, 9 независимых пеpеменных, зависимая пеpеменная в

одном повтоpении (в последнем столбце):

10 50 9 1

Заголовок массивов для одномеpного диспеpсионного анализа фоpмиpуется

автоматически в пpогpамме COMPAR или в соответствующих пpогpаммах;

пpавила фоpмиpования 1-й стpоки для дpугих пpогpамм подpобно описываются

в спpавочных текстах.

4.2. NORMAL: Тест нормальности распределения данных

Программа NORMAL предназначена:

1. Для проверки одной из важнейших предпосылок классического стати-

стического анализа – нормальности распределения данных в выборках – масси-

вах экспериментальных данных.

2. Для генерации выборок с заданным законом распределения вероятностей.

Возможно графическое представление выборочного распределения данных в виде

гистограммы или интегральной функции.

Данные могут быть представлены двумерным массивом "Признаки-

объекты", из которого программе можно передать для анализа любой признак, а

также массивом "Варианты-повторности" (подготовленным для дисперсионного

анализа). В этом случае можно передать для анализа весь массив данных, кото-

рый используется как единая выборка размером M*N. Следует заметить, что в ря-

де программ дисперсионного анализа имеется возможность формирования "мас-

сива остатков" для более корректной проверки предпосылки нормальности. Ог-

раничения на размер массива данных: не более 100000 элементов.

В программе могут быть использованы несколько методов анализа нор-

мальности распределения данных:

– критерии асимметрии и эксцесса распределений, табулированы для

больших выборок (>30 дат);

– классический метод – критерий Hi

(по Пирсону или Кульбаку) для

больших выборок (не менее 30 дат);

– критерий Колмогорова-Смирнова для выборок любого размера; мощ-

ность этого метода (способность отклонить гипотезу о нормальности в случае

действительно ненормально распределенных данных) выше, чем в случае при-

менения критерия Hi

. В качестве пороговых используются табличные значения

из [1, стр. 376]. – для случая оценки среднего и ср.кв. отклонения по выборке;

– критерий Уилка-Шапиро для малых выборок (3 – 50 дат), являющийся

одним из наиболее мощных критериев проверки нормальности [12];

– метод, рекомендованный ГОСТ 8.207-76 – D-критерий "нормированного

абсолютного отклонения"; описан в [15, стр. 56, 258]. Этот метод позволяет про-

верять выборки от 10 дат и более;

– метод, также рекомендованный ГОСТ 8.207-76 – критерий Мизеса-

Крамера-Смирнова (Омега-квадрат); описан в [1, стр. 372-376]. Позволяет прове-

рять нормальность выборок любого размера; для лучшего согласования стати-

стики Омега-квадрат с предельным распределением при малых выборках крите-

рий модифицирован по формуле Стефенса. Пороговые значения критерия вы-

браны в соответствии с рекомендациями Мартынова – для учета оценки сред-

него и ср.кв. отклонения по выборке.

Для критерия Hi

можно задать уточнения:

1/ метод вычисления критерия Hi

: по Пирсону (классический) или по

Кульбаку (теоретически более обоснован);

2/ число классов для разбиения выборки: пользователь должен задать число

классов, руководствуясь своим опытом и следующими ориентирами:

N = 15 – 20 3..5 классов;

N = 21 – 40 4..6 классов;

N = 41 – 60 5..7 классов;

N = 61 – 90 6..8 классов;

N = 91 – 120 6..9 классов;

N > 120 дат 7..10 классов;

N > 200 дат 7..11 классов;

3/ способ разбиения выборки на классы: традиционный способ – разбиение

на классы с одинаковыми интервалами; но в некоторых случаях невозможно раз-

бить выборку в классы с одинаковыми интервалами из-за появления пустых клас-

сов, тогда необходимо использовать разбиение в интервалы различной длины, но

с примерно равным числом дат.

В ряде специфических ситуаций программа может автоматически сокра-

тить число классов, при этом на экране появляется соответствующее сообщение.