Рыков В.В., Иткин В.Ю. Математическая статистика и планирование эксперимента

Подождите немного. Документ загружается.

Глава 4 Проверка статистических гипотез 110

и следовательно

−2 ln λ(θ, x) = −2

k=1







nθ

k=1







− 2

k=1

− θ

→ χ

16.3 Дополнения

Вопросы для контроля

1. Сформулируйте условия, при которых имеет место асимптотика

отношения правдоподобий.

2. Сформулируйте теорему о предельном распределении отноше-

ния правдоподобий.

3. Как используется асимптотическое свойство отношения правдо-

подобий для проверки статистических гипотез?

4. Почему для применения χ

критерия для проверки гипотез

необходимо иметь дело с большими выборками?

Упражнения

1. Докажите, что всякая положительно определенная матриц а C

может быть представлена в виде квадрата самосопряженной матри-

цы, C = B

B = B

, где B

= B.

2. Рассмотрите в качестве примеров задачи о проверке гипотез о

параметрах распределений при больших выборках

а)

б)

Лабораторная работа

Смоделировать с помощью программы MAPLE 100 сл учайных

чисел с заданным распределением при фиксированных значениях

параметров и вычислить p −value при проверке гипотезы о принад -

лежности выборки данному распределению с данными значениями

параметров.

Глава 4 Проверка статистических гипотез 111

§ 17 Критерии согласия и независимости

Особое место в статистике занимают критерии проверки согласия

выборки с некоторым гипотети чес ким распределением, которые так

и называются критерии согласия, т.е. критерии проверки гипотезы

о принадлежности выборки x

, . . . , x

к данной генеральной сово-

купности, т.е. к множеству наблюдений с заданным предполагаемым

распределением. В настоящем параграфе будут рассмотрены два та-

ких критерия – критерий Пирсона (п. 17.1) и критерий Колмогорова

(п. 17.2).

Кроме того, обычно в статистических исследованиях предпола-

гается независимость наблюдений, но если наблюдения получены не

из первых рук статистик обязан проверить, действительно ли дан-

ные получены путем независимых наблюдений. В последнем разделе

(п. 17.3) этого параграфа изучается критерий проверки гип отезы о

независимости наблюдений в выборке.

17.1 Критерий согласия Пирсона

Пусть требуется проверить гипотезу H

о том, что выборка на-

блюдений x

, . . . , x

над с.в. X согласуется с распределением F

(x) :

X ∈ F

(x). Чтобы построить статистику для пр оверки этой гипотезы

разобьем генеральную совокупность (в данном случае, скажем, R

)

на r интервалов ∆

= (y

i−1

, y

], (i = 1, r) и вычисли м теоретические

вероятности p

= F

) − F

i−1

) в соответствии с гипотетическим

распределением,также значения n

, i = 1, r , для каждого i, где n

- число наблюдений, попавших в интервал (y

i−1

, y

]. Тогда, так как

согласно ЦПТ при выполнении гипотезы H

статистика

− np

(1 − p

)

асимптотически нормальна, Z

→ N(0, 1), следует ожидать, что ста-

тистика

i=1

− np

)

(1 − p

)

(17.1)

Глава 4 Проверка статистических гипотез 112

имеет в пределе χ

-распределение с r − 1 сте пен ями свободы (число

степеней свободы на единицу меньше числа с лагаемых из-за наличия

дополнительной связи, n

+···+n

= n). Действительно, имеет место

утверждение

Теорема 17.1. Распределение статистики X

сходится при n →

∞ к χ

r−1

-ра спределению с r − 1 степенями свободы.

Замечание 1. Интуитивные соображения по поводу указанной схо-

димости были даны выше. Строгое доказательство опускаем, - его

можно найти, например, в [7], [12].

Замечание 2. Отметим, что на практике вместо статистики, при-

веденной в формуле (17.1) используется статистика

1≤i≤r

− np

)

которая отличается от приведенной ранее отсутствием близкого к

единице сомножителя в знаменателе. Как замечено эмпирически та-

кая модификация улучшает ее сходимость к χ

-распределению.

Замечание 3. Часто приходится проверять гипотезу принадлеж-

ности выборки не к фиксированному распределению, а классу рас-

пределений, зависящих от некоторого параметра (или параметров).

В этом случае параметры можно замен ить их оценками, вычислен-

ными по той же самой выборке и при той же самой ее группи-

ровке, которая используется для построения статистики X

. При

этом число степеней свободы в преде льном χ

-распределении сле-

дует уменьшить на число оцениваемых по выборке параметров, т. е.

→ χ

r−1−k

, где k — число оцениваемых параметров.

Статистика X

позволяет строить к ри тери й (критическую об-

ласть W = {x : X

≥ c

}) проверки согласия таким образом, чтобы

P{x : X

≥ c

} ≤ α. (17.2)

Фактически неравенство {X

≥ c

} выделяет определенную крити-

ческую область W в пространстве наблюдений X

, однако для про-

верки гипотезы нет необходимости рассматривать эту критическую

Глава 4 Проверка статистических гипотез 113

область, достаточно сравнить статистику X

c χ

r−1,1−α

-квантилем

r−1

распределения .

Замечание 4. К аналогичной статистике приводит критерий от-

ношения правдоподобий для проверки простой гипотезы H

: X ∈

F (x) против сложной альтернативы H : X ∈ G(x) 6= F (x). Действи-

тельно, при фиксированной выборке объема n разбитой на r интерва-

лов с частотами n

, (i = 1, 2, . . . , r) и теоретическими вероятностями

, (i = 1, 2, . . . , r) функции правдоподобия при нулевой гипотезе H

имеет гипергеометрические распределение

L(θ

, x) =

! . . . n

h

(1)



. . .



(r)



а оценками максимального правдоподобия неизвестных вероятно-

стей p

являются частоты наблюдения соответствующих событий

так что отношение правдоподобий примет вид

λ =

L(θ

, x)

sup

θ∈Θ

L(θ

, x)

L(p

(1)

, . . . , p

(r)

; n

, . . . , n

)

L(ˆp

(1)

, . . . , ˆp

(r)

; n

, . . . , n

)

= n

1≤k≤r

(k)

и, с лед овательно, статистика

−2 ln(λ) = −2n ln(n) −

1≤k≤r

(k)

имеет χ

r−1

-распределение.

Пример 17.1. Рассмотрим применение критерия Пирсона для про-

верки гипотезы о принадлежности выборки

[2, 3, 3, 5, 6, 7, 8, 8, 9, 9, 13, 15, 16, 17, 18, 20, 21, 25, 28, 35, 37, 53, 56, 69, 77, 86, 98, 119]

к экспоненциальному распределению с уровнем значимости α = 0.1.

Разобьем область наблюдения [0, 120] на 5 интервалов следующим

образом:

[0..7, 7..20, 20..30, 30..60, 60..120]

Глава 4 Проверка статистических гипотез 114

Вычислим для каждого интервала число наблюдений, попавших в

него.

= 5 n

= 10 n

= 4 n

= 5

Всего чис ло наблюдений n = 28. Выборочный параметр экспоненци-

ального распределения равен

λ =

k=1

= 0.0324

По этому значению вычисляем теоретич еск ие вероятности

= 0.2029 p

= 0.2739 p

= 0.1448 p

= 0.2352 p

= 0.1226

и статистику

i=1

− np

)

= 2.5214

0.9-квантиль χ

-распределения равен χ

4, 0,9

= 6.2514 Таким образом,

так как X

< χ

4,0,9

, проверяемую гипотезу с уровнем значимости

1 − α = 0.9 отклонять нен следует.

17.2 Критерий Колмогорова

А.Н. Колмогоров в 1933г. для проверки согласия предложил ис-

пользовать с татистику

= sup

x∈R

(x) − F (x)|, (17.3)

где F (x) — гипотетическая (теоретическая) ф.р., а F

(x) — выбороч-

ная (эмпирическая) ф.р. А.Н. Колмогоров доказал, что в предполо-

жении о непрерывности гипотетического распределения распределе-

ние статистики D

не зависит от исходного теоретического распреде-

ления и вычислил предельное при n → ∞ распределение статистики

√

Глава 4 Проверка статистических гипотез 115

Теорема 17.2 (Колмогоров). Если теоретическая ф.р. F (x) непре-

рывна, то в предположении, что выборка получена из генеральной

совокупности с этим распределением, распределение статистики

не зависит от нее и справедливо предельное соотношение

lim

n→∞

√

≤ x} = K(x) =

−∞<k<∞

(−1)

−2k

Доказательство. Доказательство этой теоремы выходит за рамки

настоящего курса. Его можно найти в [11].

Распределение K(x) называется распределением Колмогор ова,

оно входит во все статистические таблицы и статистические про-

граммные средс тва, включая Maple. Таким образом, статистику D

можно исп ользовать в качестве статистики критерия проверки со-

гласия. Действительно, выбирая для заданного уровня значимости

α в качестве крити чес кого значения величину d

n,α

согласно распре-

делению Колмогорова

n,α

) = P{

√

≤ d

n,α

} = 1 − α (17.4)

получим, что при выполнении гипотезы о согласии неравенство

> d

n,α

} наблюдается с малой вероятностью α.

Таким образом, процедура проверки согласия в соответствии с

критерием Колмогорова состоит в следующем. По задан ному уровню

значимости α найти значение d

n,α

удовлетворяющее соотношению

(17.6). При этом гипотеза о принадлежности выборки генеральной

совокупности с распределением F (x) отвергается, если вычисленное

по наблюдениям значение d

статистики D

превосходит найденное

значение d

n,α

При больших значениях объема выборки n можно п ользоваться

предельным распределением Колмогорова.

17.3 Критерий проверки независимости

Во всех предыдущих разделах, во всяком случае при построе-

нии конкретных процедур, использовалась независимость наблюде-

ний x

, . . . , x

. Однако, если статистик получает данные со сторо-

ны, у него не может быть полной уверенности в чистоте проведения

Глава 4 Проверка статистических гипотез 116

эксперимента, в частнос ти в не зависи мости наблюдений. Можно ли

пользуясь статистическими методами проверить гипотезу о незави-

симости наблюдений x

, . . . , x

? Статистика дает п оложительный от-

вет на этот вопрос, и ниже приводится одна из возможных процедур

проверки независимости наблюдений.

Предположим, что н аблюдения x

, . . . , x

проведены над число-

вой с.в., и все значения различны с вероятностью 1. Тогда незави-

симость наблюдений эквивалентна “беспорядочности” в некотором

смысле результатов наблюдений. Именно, если бы данные измере-

ний “случайным образом” расположились при проведении экспери-

мента в порядке возрастания или убывания, это указывало бы на

то, ч то либо само исследуемое явление не случайно (что противо-

речит исходным предпосылкам), либо между последовательностью

наблюдений существует некоторая зависимость.

Пусть x

, . . . , x

— результаты наблюдений, полученные в “есте-

ственном” порядке и x

(1)

, . . . , x

(n)

— соответствующий вариационный

ряд, и пусть x

(1)

= x

, . . . , x

(n)

= x

, т.е. i

есть естественный номер

наблюдения k-го члена вариационного ряда. Рассмотрим подстанов-

ку



1 2 . . . n

. . . i



и обозначим через ξ

число инверсий в перес тановке σ

, которое

принимает все целочисленные значения от 0 до





. Эта с.в. явля-

ется мерой беспорядка в последовательности наблюдений x

, . . . , x

и может быть использована как статистика критерия независимости

наблюдений. Обозначим через

(r) = P{ξ

= r}, r = 0, 1, . . . ,





(17.5)

распределение числа инверсий в выборке объема n.

Лемма 17.1. При выполнении гипотезы H

о независимости на-

блюдений распределение числа инверсий в выборке объема n удовле-

творяет рекуррентному соотношению

(r) =

i=r−n+1

n−1

(i). (17.6)

Глава 4 Проверка статистических гипотез 117

Доказательство. При выполнении гипотезы H

для распределения

числа инверсий в выборке объема n справедливо стохастическое ре-

куррентное соотношение

= 0, ξ

= ξ

+ η

, . . . ξ

= ξ

n−1

+ η

, (17.7)

где η

—число инверсий, которое образует n-ое наблюдение при по-

становке его в вариационный ряд из первых n − 1 наблюдений. Из

этого рекуррентного соотношения следует, что ξ

= η

+η

+···+η

причем с.в. η

независимы и равномерно распределены,

P{η

= i} =

i = 0, k − 1.

Откуда

(r) =

n−1

i=0

P{ξ

n−1

= r − i}P{η

= i} =

n−1

i=0

P{ξ

n−1

= r − i} =

i=r−n+1

n−1

(i).

Из леммы вытекает критерий проверки независимости наблюде-

ний в выборке: для того, чтобы проверить гипотезу H

о независи-

мости наблюдений в выборке с уровнем значимости α следует опре-

делить числа k

и k

так, чтобы

r=k

(r) ≥ 1 − α

полагая, например,

r≤k

(r) ≤

r≥k

(r) ≤

. При этом

гипотеза отвергается, если

< k

или ξ

> k

т.е. критическая область имеет вид:

W = {x : (ξ

< k

)

[

(ξ

> k

)}.

Глава 4 Проверка статистических гипотез 118

Для выборок большого объема процедуру проверки можно упро-

стить, воспользовавшись ЦПТ. В этом случае в силу независимости

наблюдений получим, что с.в.

− Mξ

√

Dξ

−

n(n−1)

n(2n+5)(n−1)

асимптотически нор мальн а. Отсюда вытекает другой критерий про-

верки независимости наблюдений в выборке при больших n: задава-

ясь уровнем зн ачимости строим кри тиче скую область

W = {|Z

| > c

} ≤ α

с помощью стандартного нормального распределения, т.е. полагая

равным

-квантили стандартного нормального распределения,

= z

1−

. Затем по подстановке вычисляем число инверсий ξ

статистику Z

и сравниваем ее со значением c

= z

1−

: гипотезу

следует отвергнуть если Z

> z

1−

17.4 Дополнения

Вопросы для контроля

1. В че м состоит проблем а проверк и согласия?

2. Почему необходима проверка согласия при решении статистиче-

ских задач?

3. Приведите выражение статистики Пирсона для проверки согла-

сия и объясните почему асимптотически она имеет χ

-распределение

и каково при том число степеней свободы.

4. Сформулируйте правило проверки согласия в соответствии с

критерием Пирсона.

5. Приведите выражение статистики Колмогорова проверки согла-

сия и сформулируйте правило проверки согласия в соответствии с

критерием Колмогорова.

6. Зачем нужна проверка независимости наблюдений в выборке?

7. На чем базируется критерий проверки независимости наблюде-

ний?

Глава 4 Проверка статистических гипотез 119

8. Сформулируйте критерий проверки независимости наблюдений

в выборке.

9. Как выглядит модифицированный критерий проверки незави-

симости наблюдений при больших объемах выборки.

Упражнения

1. Проверить согласие наблюдений пористости в Таблице 3 из При-

ложения 2 с нормальным распределением по критерию Колмогорова.

2. Проверить согласие наблюдений скорости фильтрации, взятых

из Таблицы 8 Приложения 2 с равномерным распределением по кри-

терию Пирсона.

3. Проверить н езави сим ость выборки в примере 17.1

Лабораторная работа

По индивидуальным статистическим данным из Приложения C

пользуясь средствами MAPLE проверить гипотезы об их согласии с

заданным распределением.