Рыков В.В., Иткин В.Ю. Математическая статистика и планирование эксперимента

Подождите немного. Документ загружается.

Глава 2 Точечное оценивание параметров 40

!!!!!!!!!!!!!!!!!!!

так как





1≤i≤n

−









1≤i≤n

[(X

− µ) − (

X − µ)]









1≤i≤n

− µ)

− 2n(

X − µ)

+ n(

X − µ)









1≤i≤n

− µ)

− n(

X − µ)







nσ

− n



n − 1

!!!!!!!!!!!!!!!!!!!

Смещение можно устранить, используя оценку дисперсии

n − 1

1≤i≤n

−

Эффективность

Несмещенная оценка групп ир уется вокруг оцениваемого пара-

метра. Однако, естественно, что среди таких оценок лучшей будет

та, у которой дисперсия наименьшая. Понятие эффективности оцен-

ки связано с ми ни ми зацие й ее дисп ер сии .

Определение 4.4. Несмещенная оценка, дисперсия которой мини-

мальна среди всех возможных в рассматриваемой статистической

модели, называется эффективной.

Глава 2 Точечное оценивание параметров 41

Однако, для строгой формулировки и изучения этого понятия

нам потребуются некоторые дополнительные сведения, которые бу-

дут изложены в следующем параграфе, а этот закончим полезными

сведениями об информации.

4.3 Информация

Понятие информации

Слово “информация” происходит от латинского — разъяснение,

изложение, осведомленность. В течение многих веков понятие ин-

формации не раз претерпевало изменения, то расширяя, то пре-

дельно сужая свои границы. Попытки количественного измерения

информации предприни мал ись неоднократно. Первые отчетливые

предложения об общих способах измерения количества информации

были сделаны Р. Фишером (1921 г.) в процессе решения вопросов ма-

тематической статистики. Проблемами хранения информации, пере-

дачи ее по каналам связи и задачами определения количества ин-

формации занимались Р. Хартли (1928 г.) и X. Найквист (1924 г.). Р.

Хартли заложил основы теории информации, определив меру коли-

чества информации для некоторых задач. Наиболее убедительно эти

вопросы были разработаны и обобщены американским инженером

Клодом Шенноном в 1948 г. С этого времени началось интенсивное

развитие теории информации вообще и углубленное исследование

вопроса об изм ер ени и ее количества в частности.

Определение 4.5. И нформацией (или количеством информации)

о параметре параметрической модели (X, P = {P

}), содержащейся

в выборке x = (x

, . . . , x

) наз ывается величина

(θ) = M

(



∂ log p(x; θ)

∂θ



)

Смысл этого определения раскрывается в свойствах величины,

которые будут рассмотрены несколько позже, а сначала рассмотрим

другую возм ожность ее представления

Раздел не входит в обязательный курс.

Глава 2 Точечное оценивание параметров 42

Теорема 4.1. Если:

1) выборочное пространство не зависит от θ, т.е. {x : p(x; θ 6= 0}

не зависит от θ;

2) p(x; θ)—дважды дифференцируема по θ,

тогда

(θ) = −M



∂

log p(x; θ)

(∂θ)



Доказательство. Так как p(x; θ) является плотностью, то

p(x; θ)dx = 1.

Дифференцируя последнее равенство по θ и замечая, что

∂p(x; θ)

∂θ

∂ log p(x; θ)

∂θ

p(x; θ),

получим

∂ log p(x; θ)

∂θ

∂ log p(x; θ)

∂θ

p(x; θ)dx = 0. (4.3)

Откуда, в частности, следует, что с.в.

∂ log p(x;θ)

∂θ

центрирована и что

(θ) = D

∂ log p(x;θ)

∂θ

. Дифференцируя равенство (4.3) еще раз найдем

∂

log p(x; θ)

(∂θ)

p(x; θ)dx +



∂ log p(x; θ)

∂θ



p(x; θ)dx = 0.

Откуда

(



∂ log p(x; θ)

∂θ



)

= −M



∂

log p(x; θ)

(∂θ)



Замечание. Не смотря на то, что информация Фишера определяет-

ся с помощью логарифма по п роиз вольному основанию (в основном

по основанию 2), в задачах статистики удобнее п ользоваться нату-

ральным логарифмом, что и будет делаться в дальнейшем.

Глава 2 Точечное оценивание параметров 43

4.4 Свойства информации

Аддитивность

Теорема 4.2. Если область определения плотности распределения

p(x; θ) не зависит от θ, т.е. {x : p(x; θ) 6= 0} не зависит от θ, то

(θ) = nI

(θ) = ni(θ),

где i(θ) - количество информации о параметре θ, содержащейся в

одном наблюдении, т.е. количество информации пропорционально

объему выбо рки.

Доказательство. Следует из теоремы 1 и линейности операци й

дифференцирования и взятия математического ожидания.

Замечание. Указанное свойство означает также, что все наблюде-

ния имеют одинаковое значение для оценки параметра, что не верно,

если область значений наблюдений с.в. зависит от параметра. Напри-

мер, в случае равномерного на [0, θ] распределения решающую роль

для оценки параметра θ, очевидно, играет наибольшее наблюдение.

Точность

Пусть X ∈ N(θ, σ

) (т.е. X—нормально распределенная случай-

ная вел ичи на), приче м σ известно. Тогда,замечая, что

p(x; θ) =

√

2πσ

exp

−(x − θ)

2σ

ln p(x; θ) = ln

√

2πσ

−

(x − θ)

2σ

имеем:

i(θ) = −M

∂

ln p(x; θ)

(∂θ)

= −M



−



т.е. наблюдение несет тем большую информаци ю о параметре, чем

меньше дисперсия распределения.

Глава 2 Точечное оценивание параметров 44

Убывание информации

Теорема 4.3. Информация, содержащаяся в какой-либо стати-

стике всегда не больше, чем информация в выборке.

Доказательство. Действительно, пусть T = T (x

, . . . , x

) статисти-

ка от выборки x = (x

, . . . , x

) и g(t; θ)—плотность ее распределения.

Для расп ред ел ени я p(x; θ) выборки имеем

p(x; θ) = g(t; θ) · h(x; θ|t),

где h(x; θ|t) - условная плотность распределения выборки при фик-

сированном значении t статистики T . Вычисляя в соответствии с

теоремой 1 математическое ожидание от второй производной рас-

пределения p(x; θ) имеем

(θ) = I

(θ) − M



∂

ln h(x; θ|t)

(∂θ)



= I

(θ) + I

n|T

(θ).

Последний член представляет собой количество условной информа-

ции о параметре, содержащейся в выборке при известной статистике

T , обозначаемое I

n|T

(θ), и т.к. она положительна, то I

≤ I

Замечание. Здесь также предполагалось, что область значений на-

блюдений с.в. не зависит от параметра θ, т.к. в противном случае

(θ) = I

(θ) + I

n|T

(θ) + 2M



∂ ln g(t; θ)

∂θ

∂ ln h(x; θ|t)

∂θ



что не позволяет сделать вывод об убывании информации, т.к. знак

последнего члена не известен. До настоящего времени не найдено ни

одного примера возрастания информации, так что в общем случае

вопрос об убывании информ ации остается открытым.

4.5 Дополнения

Вопросы для контроля

1. Как возни кает проблема оценки параме тров модели?

Глава 2 Точечное оценивание параметров 45

2. Что такое параметрическая статистическая модель?

3. Дайте опр еде лен ия:

a) статистики,

б) состоятельной оценки,

в) несмещенной оценки,

г) эффективной оценки.

4. Укажите место в доказательстве теоремы 1, где используется

предположение (1) о независимости множес тва {x : p(x; θ) 6= 0} от

параметра θ.

5. Дайте опр еде лен ие ин формации .

6. Сформулируйте основные теоремы об информации.

Упражнения

1. Проверить с остоятельность оценок:

а) ˆµ =

(1)

+ x

(n)

);

б) ˆµ =

(1)

+ x

(2)

+ ··· + x

(2k−1)

), n = 2k;

в)

F (x) = F

(x).

2. Проверить н есм ещ енн ость оценок:

а) ˆµ = x

; б) ˆµ = x

(1)

;

в) ˆµ =

+ x

); г) ˆµ =

+ x

);

д) ˆµ =

(1)

+ x

(n)

); е)

= x

;

ж)

= (x

− ¯x)

; з)

= (x

(n)

− x

(1)

)

;

и) ˆp = h

; к) ˆp =

(1)

+ x

(n)

);

3. Приведите несколько самостоятельных примеров несмещенных

и смещенных оценок.

Глава 2 Точечное оценивание параметров 46

§ 5 Неравенство Рао-Крамера и эффективные

оценки

5.1 НОМД

В данном разделе рассмотрим несмещенные оценки с минималь-

ной дисперсией (НОМД). Остановимся сначала на некоторых свой-

ствах таких оценок в предположении, что они существуют. Исследо-

вание этих свойств п оможет в дальнейшем находить такие оценки.

Для дальнейшего удобно ввести Гильбертово пространство

(X, P) с.в. X с системой норм

||X||

= D

X =

(x − M

(x),

где F

(x) - ф.р. с.в. X, а M

и D

ее математическое ожидание и

дисперсия, отвечающие мере P.

Статистики T (x) = T (x

, . . . , x

) от выборки x = (x

, . . . , x

) раз-

мера n будут рассматриваться как элементы прямого произведения

этих г ил ьбертовых пространств L

, P

Докажем тепе рь единственность НОМД в том смысле, что если

существуют две таких оценки, то они совпадают с вероятностью 1.

Рассмотрим общий с лучай оценки некоторой функции τ (θ) от неиз-

вестного параметра θ.

Теорема 5.1. Пусть T

= T

, . . . , X

) (i = 1, 2) - две НОМД для

τ(θ). Тогда P{T

= T

} = 1.

Доказательство. Рассмотрим наряду с оценками T

и T

оценку T =

+ T

), которая также является несмещенной оценкой τ(θ), так

как

+ M

) =

(τ(θ) + τ (θ)) = τ(θ).

Вычислим дисперсию этой оценки

T =

+ D

+ 2cov

, T

)) (5.1)

Глава 2 Точечное оценивание параметров 47

По нер авенс тву Коши-Буняковского в L

, P

) имеем

|cov

, T

)| =



− τ ) · (T

− τ )p(x; θ)dx



≤

− τ )

p(x; θ)dx ·

− τ )

p(x; θ)dx =

. (5.2)

При этом равенство в этом неравенстве достигается тогда и толь-

ко тогда, когда вектора T

и T

коллинеарны в рассматриваемом

пространстве, т.е. когда

− τ = k(θ)(T

− τ ) с вероятностью 1.

Подставляя (5.2) в (5.1) получим

T ≤

+ D

+ 2

· D

). (5.3)

Так как T

и T

- оценки с минимальной дисперсией, то обозначая

= inf

T = V (θ) (i = 1, 2)

из (5.3) найде м

T ≤

(2V (θ) + 2V (θ)) = V (θ), (5.4)

откуда следует, что в неравенстве (5.4), а вместе с ним и в (5.2)

достигается равенство (в противном случае D

T < V (θ), что проти-

воречит предположению о минимальности дисперсии V (θ) оценок T

и T

). Таким образом, T

− τ = k(θ)(T

− τ ), и cov

, T

) = V (θ).

Далее, так как в неравенстве (5.2) в действительности имеет ме-

Глава 2 Точечное оценивание параметров 48

сто р авенство, то

V (θ) = cov

, T

) =

− τ )(T

− τ )p(x; θ)dx =

− τ )k(θ)(T

− τ )p(x; θ)dx =

= k(θ)D

= k(θ)V (θ),

откуда следует, что k(θ) = 1, т.е. T

= T

с вероятностью 1. (Если

V (θ) = 0, то T

= T

= τ(θ) с вероятностью 1).

Замечание. При доказательстве теоремы единственности и далее

в этом параграфе не делается предположений о способе выбора, т.е.

не предполагается, что p(x; θ) = p(x

; θ) ···p(x

; θ).

5.2 Неравенство Рао-Крамера

В предыдущем параграфе, при рассмотрении требований к оцен-

кам было сказано, что при довольно общих предположениях отно-

сительно статистической модели и способе наблюдений дисперсия

оценки ограничена снизу, т.е. невозможно построить оценку с дис-

персией, меньшей некоторой величины, зависящей как от оценивае-

мого параметра, так и расс матри ваемой модели. Ниже приводится

неравенство (неравенство Рао-Крамера), указывающее соответству-

ющую ни жнюю грань. Сделаем сле дующие пр едп оложения:

1) множество значений x, для которых p(x; θ) 6= 0 не зависит от θ;

2) п.р. p(x; θ) дифференцируема по параметру θ и



∂ ln p(x;θ)

∂θ



< ∞;

3) оцениваемая функция τ(θ) дифференцируема по параметру θ.

Теорема 5.2 (Неравенство Рао-Крамера). При выполнении условий

(1-3) для любой несмещенной оценки T (X) функции τ (θ) от пара-

метра θ имеет место неравенство

T (X) ≥

[τ

(θ)]

∂ ln p(x; θ)

∂θ

. (5.5)

Глава 2 Точечное оценивание параметров 49

При этом знак равенства в неравенстве достигается тогда и толь-

ко тогда, когда

∂ ln p(x; θ)

∂θ

= k(θ)[T (x) − τ (θ)], (5.6)

где коэффициент k(θ) не зависит от выборки x.

Доказательство. Дифференцируя равенства

p(x; θ) dx = 1,

T (x) =

T (x)p(x; θ) dx = τ (θ)

по параметру θ под знаком и нтегр ала, что возможно в силу предпо-

ложения (1) и т.к. частная производная

∂ ln p(x;θ)

∂θ

ограничена, полу-

чим

∂p(x; θ)

∂θ

dx =

∂ ln p(x; θ)

∂θ

p(x; θ) dx = 0, (5.7)

T (x)

∂ ln p(x; θ)

∂θ

p(x; θ) dx = τ

(θ). (5.8)

Вычитая из равенства (5.8) равенство (5.7), умноженное на τ (θ),

найдем

(θ) =

[T (x) − τ(θ)]

∂ ln p(x; θ)

∂θ

p(x; θ) dx.

Далее, из неравенства Коши-Буняковского в L

, P

) следует, что

[τ

(θ)]

≤



(T −τ(θ))

p(x; θ) dx





∂ ln p(x; θ)

∂θ



p(x; θ) dx

= D

T (x) · M



∂ ln p(x; θ)

∂θ



откуда следует соотношение (5). При этом, равенство достигается

тогда и только тогда, когда с.в.

∂ ln p(x;θ)

∂θ

и T (x) −τ (θ), рассматрива-

емые как элементы пространства L

, P

), коллинеарны, т.е.

∂ ln p(x; θ)

∂θ

= k(θ)[T (x) − τ (θ)].