Сорокин О.Д. Прикладная статистика на компьютере. 2-е издание

Подождите немного. Документ загружается.

Результаты анализа трактуются следующим образом: если какой-либо кри-

терий приемлем для данной выборки, программа выставляет в графе "Выводы"

символы "+" и "-":

++ 0-гипотеза подтверждена данным критерием,

+ 0-гипотеза не отвергается на уровне значимости 5%,

- 0-гипотеза отвергается на уровне значимости 5%,

-- 0-гипотеза отвергается на уровне значимости 1%.

Для некоторых критериев имеются табличные значения для уровней значи-

мости 90, 95 и 99%; 0-гипотеза должна быть отвергнута [1], если эмпирическое

значение критерия говорит о

подозрительно хорошем согласии с нормальным

распределением (попадает в диапазон значений для уровней 95..99%, или даже за

уровень 99%).

Для визуального анализа типа вероятностного распределения данных име-

ется возможность сравнить выборочное распределение с нормальным (наличие

асимметрии, двугорбость и т.п.).

Число классов группировки данных можно менять посредством Меню, как

и просматривать гистограммы других признаков (столбцов массива данных). Для

упрощения анализа выбросов крайние столбцы, содержащие только одну дату,

помечаются номером объекта с этим значением.

Результаты анализа могут быть отредактированы непосредственно в среде

программы при выводе результатов на дисплей (заголовок, комментарии, удале-

ние ненужной информации и т.п.).

Для более корректных оценок среднего и среднеквадратичного отклонения

выборки разработан алгоритм поиска минимума суммы квадратов отклонений

эмпирического распределения от функции вероятности нормального распределе-

ния. В большинстве случаев удается получить робастные оценки генерального

среднего и среднеквадратического отклонения, особенно эффективные для малых

выборок, засоренных артефактами.

4.2.1. Нестандартные операции с графикой

К числу нестандартных возможностей программы относятся:

– манипуляция видом гистограммы – изменением числа классов разбиения

выборки – с целью получить наиболее презентабельное отображение типа распре-

деления (Pop-Up меню правым кликом мышки); изменение числа классов влияет

на значение критерия Hi

(вычисляется для выборок не менее 30 дат);

– график "функция плотности эмпирического распределения" – оригиналь-

ная разработка (в литературе не описан) позволяет визуально оценить плотность

эмпирического распределения, не зависит от субъективного фактора (числа

классов в случае гистограммы); для более эффективного представления характера

распределения следует несколько раз сделать сглаживание функции распределе-

ния выбором способа сглаживания из Меню дополнительных операций (клик пра-

вой клавишей мышки):

– анализ нормальности последовательности выборок может весьма эффек-

тивно сопровождаться графиком гистограммы или функции распределения; "пе-

релистывание" мышкой текстового результата совместно с графиком автомати-

чески меняет содержимое на обеих формах; в сомнительных случаях этот прием

особенно полезен.

Для гистограммы возможно получение таблицы интервалов с оценкой цен-

тральных точек на дисплее или с выводом на принтер, в текстовый файл.

4.2.2. Генерация выборок с заданным законом распределения

В ряде случаев бывает необходимо сравнить выборочное распределение с

каким-либо известным теоретическим распределением вероятностей, протестиро-

вать те или иные методы обработки данных с помощью модельных массивов дан-

ных с известным законом распределения.

В меню «Операции» имеется пункт «Генерация случайных выборок», с по-

мощью которого можно сформировать массивы псевдослучайных данных, законы

распределения которых соответствуют следующим теоретическим непрерывным

распределениям вероятностей:

– нормальному распределению (Гаусса),

– равномерному распределению,

– показательному распределению (экспоненциальному),

– логарифмически нормальному распределению,

– распределению Коши,

– распределению Парето,

– gamma-распределению,

– beta- распределению,

– распределению Стьюдента (Госсета),

– распределению Hi

– распределению Фишера-Снедекора.

Для создания выборок с этими законами распределения используются два

типа алгоритмов генерации псевдослучайных чисел:

1) процедура Random, встроенная в математическую библиотеку системы

программирования Delphi,

2) мультипликативный процесс порождения случайного числа из предыду-

щего с очень большим периодом [50].

Нормальное распределение. Классическое распределение, основа зда-

ния статистической науки. Характеризуется двумя параметрами – средним значе-

нием и среднеквадратическим отклонением.

Равномерное распределение. Симметричное непрерывное распределе-

ние случайной величины в отрезке значений (P=const в пределах отрезка). Имеет

два параметра – левую и правую границу отрезка. На базе псевдослучайных зна-

чений равномерного распределения в интервале [0..1] формируются все осталь-

ные непрерывные распределения с помощью различных формул, алгоритмов.

Показательное распределение. Синоним – экспоненциальное; однопа-

раметрическое распределение только положительных значений, с большой асим-

метрией. Используется в теории массового обслуживания, теории надежности

систем и оборудования.

Логнормальное распределение. Двупараметрическое распределение по-

ложительных значений с большой асимметрией, логарифмы которых распределе-

ны по нормальному закону. Широко используется в экономической статистике.

Распределение Коши. Двупараметрическое симметричное распределе-

ние произвольных значений, весьма островершинное, с большими «хвостами»

Один из параметров является одновременно модой и медианой, математическое

ожидание не существует.

Распределение Парето. Двупараметрическое асимметричное распреде-

ление только положительных значений, используемое в экономике, социологии

(анализ доходов). Для формирования значений используется метод вычисления

обратной функции распределения, связанный с численным интегрированием, по-

этому время генерации выборки из 1000 значений может быть более 5 секунд

(процессор P-IV 3 ггц).

Gamma-распределение. Однопараметрическое асимметричное распре-

деление положительных значений [51, стр. 185], параметр

λ является одновре-

менно математическим ожиданием и дисперсией. В некоторых справочниках при-

ведена двупараметрическая форма gamma-распределения [52, стр. 46]. Использу-

ется в теории массового обслуживания, теории надежности систем, математиче-

ской статистике. На базе gamma-распределения строятся распределения Стьюден-

та, Hi

Beta-распределение. Двупараметрическое асимметричное распределение

значений в интервале 0..1 [52, стр. 187], параметры

ν1 и ν2 обычно трактуются

как целые числа (степени свободы), но могут быть и нецелыми. Используется в

теории статистики, на базе beta-распределения строятся распределения важных

статистических критериев (Z-критерий Фишера, F-критерий Фишера-Снедекора).

Распределение Стьюдента (Госсета). Однопараметрическое симметрич-

ное распределение произвольных значений. На этом классическом распределении

базируется анализ различия выборочных средних (T-критерий).

10.

Распределение Hi

. Однопараметрическое асимметричное распределе-

ние положительных значений (К.Пирсон). Широко используется в математиче-

ской статистике, в анализе выборочных частот, в качестве критерия согласия.

11.

Распределение Снедекора. Двупараметрическое асимметричное рас-

пределение положительных значений, параметры

m и n обычно трактуются как

целые числа (степени свободы), но могут быть и нецелыми. Распределение веро-

ятности, связанное с F-критерием Фишера-Снедекора, широко используемого в

прикладной статистике.

Общие рекомендации: размер генерируемой выборки должен быть не менее

50 значений, на меньших выборках характерные свойства распределения будут

слабо выражены. Мультипликативный датчик обычно дает более «качественные»

распределения, чем датчик Delphi.

Для практического знакомства с вероятностными распределениями следует

сформировать массив, например из 10 признаков x 1000 значений, затем генери-

ровать различные типы распределений по всем десяти признакам, далее анализи-

ровать характер распределения данных на графиках «Гистограмма» и «Интеграл

распределения», а также выполнять тест нормальности распределения в выборках.

4.3. VARS: Вариационные статистики выборок

Программа VARS предназначена для обработки экспериментальных дан-

ных, представленных двумерным массивом "выборки-наблюдения", "признаки-

объекты", "варианты-повторения", для которого необходимо получить оценки

стандартных вариационных статистик – либо по строкам, либо по столбцам мас-

сива.

1. Стандартная обработка – все выборки в единой таблице, для каждой вы-

борки рассчитываются среднее, среднеквадратическое отклонение, ошибка сред-

него, Min и Max, коэффициент вариации, мода, медиана, асимметрия, эксцесс.

2. Углубленный вариационный анализ выборки – вычисляются различные

виды среднего, ср.-кв. отклонение, коэффициент вариации, мода, медиана, асим-

метрия, эксцесс – и все оценки сопровождаются стандартными ошибками и дове-

рительными интервалами, вычисленными на основе классической теории. Допол-

нительно выполняется Bootstrap-процедура для оценки вариабельности этих ста-

тистик.

3. Вариационный анализ выборки – вычисляются среднее, дисперсия, коэф-

фициент вариации и медиана, их стандартные ошибки,

непараметрические до-

верительные интервалы

, вычисленные по формулам А.И.Орлова (см. далее).

4. Анализ независимости и стационарности рядов наблюдений – для каждой

выборки выполняется

тест серий на основе медианного τ-критерия.

5. Робастное оценивание вариационных статистик выборок методом

выбо-

рочных квантилей

по Тьюки.

Максимальный размер массива данных – не более 200000 элементов, раз-

мер выборки (строки или столбца из этого массива) – не более 8000 элементов.

Данные в виде двумерного массива "признаки-объекты" могут быть введе-

ны с клавиатуры непосредственно в среде программы, либо иными способами –

через буфер Windows, из текстового файла.

Выборки в массиве могут быть неравной величины; программа опреде-

ляет размер выборки, отбрасывая пропуски (-999) и даты "для восстановления" (-

1,0). В качестве примера формирования массива можно посмотреть файл

SSP6x30.dat (6 выборок, 30 наблюдений).

После вывода pезультатов (1. Стандартная обработка) на дисплей возможна

манипуляция точностью пpедставления чисел – либо увеличив число цифp

(максимально 8 цифр у среднего), либо уменьшив число цифр (минимально 3

цифры). При выводе на принтер или в текстовый файл используется выбранное

пользователем представление результатов (массив ABC8x50.dat):

—————————————————————————————————————————————————————————————————————————————————————

Уран 50 6,8580 0,500 15,30 0,544 3,848 56,11% 6,900 6,200 0,280 -0,976 |

Плутоний 50 15,616 3,600 36,00 1,039 7,348 47,06% 15,60 14,95 0,792 0,354 |

Радий 50 101,51 6,500 443,3 12,90 91,19 89,84% 102,5 76,70 1,830 3,596 |

Стронций 50 135,42 21,00 293,0 9,641 68,17 50,34% 132,0 125,0 0,324 -0,793 |

Цезий 50 930,80 286,0 1753 51,06 361,0 38,79% 915,0 871,0 0,448 -0,526 |

Кобальт 50 1943,6 694,0 3550 100,4 709,8 36,52% 1944 1923 0,315 -0,583 |

Калий 50 367,86 78,00 878,0 28,23 199,6 54,26% 362,0 343,0 0,558 -0,240 |

Натрий 50 4,7800 1,000 8,000 0,308 2,179 45,58% 5,000 5,000 -0,301 -0,960 |

В случае, когда аналогичные статистические показатели необходимо полу-

чить для данных по строкам массива, нужно предварительно сделать транспони-

рование массива, т.е. поменять местами строки и столбцы – путем выбора под-

пункта Меню "Транспонирование".

Если в выборках имеются выбросы (очень большие или очень маленькие

величины – это можно протестировать с помощью программы IODATA), то

вполне оправданным будет исключение этих значений – выбором соответст-

вующего пункта меню (эта операция допустима только для массивов, не содер-

жащих пропуски или даты "для восстановления"). При этом удаляются по два

значения из каждой выборки (процедура цензурирования данных). Следует пом-

нить, что после исключения экстремумов операция транспонирования, вообще

говоря, лишена смысла, так как практически всегда экстремумы располагаются в

различных местах выборок.

При выводе графики следует помнить, что помимо столбцовых диаграмм

для средних, сигм, ошибок, коэффициентов вариации возможно получение кру-

говых диаграмм (полигонов Дебеца) этих показателей. Этот способ наиболее ин-

тересен для тех массивов данных, в которых все выборки (признаки) измерены в

одной и той же единице (в сантиметрах, граммах, баллах и т.д.). С помощью

пункта Меню "Сервис" можно изменить цвет фона, замкнутых фигур, сменить

шрифт, а при выводе графика "столбчатая диаграмма" сделать некоторые допол-

нительные операции.

4.3.1. Квантили выборочных распределений

Анализ квантилей выборочных распределений может быть применен, если

все значения массива отражают вариабельность одного и того же параметра, а

выборки – это либо варианты опыта (некоторым образом упорядоченные), либо

подвыборки генеральной совокупности, или же временные точки какого-то про-

цесса. Объекты – либо повторности опыта (допустимы неравное число повторе-

ний, отсутствующие данные), либо произвольное множество наблюдений.

Программа позволяет проанализировать структуру изменений в выборках с

помощью квантилей эмпирических распределений, которые можно весьма эф-

фективно представить в графической форме. Используется техника обработки

данных, изложенная в [39]. Помимо квантилей, в программе вычисляются робаст-

ные характеристики выборок: "центральные" средние, размах, коэффициент ва-

риации и т.п.

Выборки в массиве могут быть неравной величины; программа определяет

выборку неполного размера по значениям -999. Для каждой выборки выполня-

ются следующие операции.

1. Выбираются значения вероятностей из таблицы:

Объем выборки Значения вероятностей, p

3 - 4

5 – 15

0,50

0,25 0,50 0,75

16 – 24

25 – 70

71 – 99

>= 100

0,15 0,25 0,50 0,75 0,85

0,10 0,25 0,50 0,75 0,90

0,06 0,10 0,25 0,50 0,75 0,90 0,94

0,05 0,10 0,25 0,50 0,75 0,90 0,95

2. Выборка упорядочивается по возрастанию;

3. Вычисляются квантили эмпирических распределений, X(p=0,nn);

4. На базе квантилей вычисляются некоторые "центральные" статистиче-

ские характеристики выборок, обладающие значительной устойчивостью к раз-

личным выбросам, отклонениям от нормальности. Например,

центральное среднее: X

ср

= X

(p=0,75)

+ X

(p=0,25)

– X

(p=0,5)

;

центральный размах: S = 0,674 * [X

(p=0,75)

– X

(p=0,25)

];

центральный коэффициент вариации: V = S * 100 / X

ср

;

асимметрия распределения: As=[X

(p=0,75)

(p=0,25)

-2*X

(p=0,5)

]/[X

(p=0,75)

-X

(p=0,25)

]

Пример обработки данных по Тьюки (массив ABC8x50.dat):

————————————————————————————————————————————————————————————————

————————————————————————————————————————————————————————————————

1 50 | 6,85000 4,0777 59,53% | 0,1074 | 0,1340 |

2 50 | 14,8000 5,9986 40,53% | 0,0337 | 0,1959 |

3 50 | 88,9000 57,492 64,67% | 0,1618 | 0,3685 |

4 50 | 146,500 74,477 50,84% | 0,2127 | 0,1018 |

————————————————————————————————————————————————————————————————

Для визуального анализа динамики сдвигов в структуре выборок имеется

графическое представление квантилей:

4.3.2. Непараметрические доверительные интервалы

Вычисление доверительных интервалов производится по формулам, изло-

женным в [59]. Основной аргумент для использования непараметрических дове-

рительных интервалов – распределения вероятностей в реальных эксперимен-

тальных данных "как правило, отличны от нормальных". Вычисление классиче-

ских доверительных интервалов основано на асимптотической нормальности вы-

борочных моментов, используются при этом табличные значения критериев

Стьюдента и Hi

. Если выборочное распределение отличается от нормального

(например, асимметрично), границы доверительного интервала могут измениться

непредсказуемым образом и серьезно отличаться от значений, вычисленных стан-

дартным методом.

Вычисление непараметрических доверительных интервалов среднего бази-

руется на существовании первых двух моментов для любой выборки эксперимен-

тальных данных и центральной предельной теореме (ЦПТ) теории вероятностей.

Для доверительных интервалов дисперсии должен существовать четвертый мо-

мент, коэффициента вариации – третий и четвертый моменты. Непараметриче-

ским доверительным интервалам присуще свойство асимптотичности – они ста-

новятся тем точнее, чем больше объем выборки. В отличие от классического ме-

тода, непараметрический подход можно применять всегда, "когда случайная ве-

личина имеет математическое ожидание и дисперсию, что в силу финитности (ог-

раниченности шкал) бывает практически всегда в реальных ситуациях".

В качестве теста можно использовать массив данных из статьи Орлова OR-

LOV1x50.dat (гамма-распределение)

4.3.3. Неклассические оценки среднего и ср.-кв. отклонения

Стандартные оценки генерального среднего и среднеквадратичного откло-

нения по выборкам небольшого размера могут быть искажены единичными арте-

фактами (ошибки измерения, выбросы и т.п.).

Для более корректных оценок среднего и среднеквадратичного отклонения

разработан оптимизационный алгоритм поиска минимума суммы квадратов от-

клонений выборочного распределения от функции вероятности нормального рас-

пределения, среднее и ср.-кв. отклонение – параметры оптимизации. Начальным

значениям присваиваются стандартные выборочные оценки среднего и сигмы. В

большинстве случаев удается получить робастные значения среднего и ср.-кв. от-

клонения, особенно эффективные для малых выборок.

В основе алгоритма лежит двупараметрический градиентный спуск в об-

ласть минимума суммы модулей отклонений или суммы квадратов отклонений.

Оценки среднего и ср.-кв. отклонения этим методом рекомендуем исполь-

зовать для выборок из симметричных распределений. Методом Монте-Карло про-

верена сходимость таких оценок к генеральным среднему и ср.-кв. отклонению

при увеличении объема выборок.

4.3.4. Метод Bootstrap

Метод предложен Б.Эфроном в 1977 году для оценки вариабельности раз-

личных статистик, получаемых в результате обработки данных стандартными ме-

тодами.

Например, для одномерной выборки размером N получены оценки среднего

и дисперсии. Если по какой-либо причине исследователя не удовлетворяют зна-

чения стандартных ошибок этих оценок и доверительных интервалов, получен-

ных на основе классической теории, можно оценить их вариабельность следую-

щим образом:

1. Задается некоторое большое число (500..1000..10000), определяющее,

сколько раз генерировать случайные выборки (того же размера N) из значений

имеющегося массива данных.

2. Методом Монте-Карло генерируются эти выборки, и каждый раз вновь

вычисляются оценки среднего и дисперсии. Эти оценки накапливаются в соответ-

ствующих массивах.

3. По этим массивам определяются средние, экстремумы, квантили, на ос-

новании которых можно судить о вариабельности интересующих исследователя

статистик.

В случае необходимости можно получить графическое представление рас-

пределения оценок среднего или дисперсии в виде гистограммы с переменным

числом классов (соответствующий пункт в Меню “Графики”).

4.4. INTER: Анализ группированных данных

INTER – специализированная программа для статистической обработки

двумерных массивов данных, представляющих собой частоты значений иссле-

дуемого параметра в группах (интервалах значений). Размер массива данных – не