Тырсин А.Н. Теория вероятностей и математическая статистика. Учебное пособие

Подождите немного. Документ загружается.

ходов (т.е. исходов, для которых {X

< x}) к общему числу исходов n, а при пе-

реходе к случайной выборке

, … , X

становится случайной величиной µ(x)/n,

где µ(x) – биномиальная случайная величина.

Согласно теореме Бернулли (см.

следствие 2.2), частость µ(x)/n сходится

по вероятности к вероятности

p, поэтому

)(}{

)(

)( xFxPp

→∞

=<ξ=→

= . 

Функция плотности p

(x) оценивается с помощью гистрограммы следую-

щим образом. Вся числовая прямая разбивается на

L непересекающихся полу-

интервалов

∞

−

∞

− Liii

bbLibbh ,,,...,1),,[

, по конкретной выборке

, … , x

подсчитывается число наблюдений n

, i = 1,…, L, попавших в каждый

интервал. Затем над каждым полуинтервалом

i-м строится прямоугольник,

площадь которого пропорциональна

Точно так же, как и выше, можно доказать, что частости попадания на по-

луинтервалы сходятся по вероятности к соответствующим вероятностям

{}

bxbPdxxp

<≤=→

−ξ

∞→

∫

−

)(

При подходящем подборе полуинтервалов гистограмма

(x) будет напо-

минать график функции плотности

(x).

Если известно, что плотность отлична от нуля только на некотором отрез-

ке, то полуинтервалы можно, и желательно, выбирать одинаковой длины

h, а

площади прямоугольников – равными частостям

/n. Поэтому вся площадь под

гистограммой будет равна единице. На рис. 7.2 показан пример такой гисто-

граммы.

Рис. 7.2.

Пример 7.2. Выборочная проверка размеров дневной выручки оптовой ба-

зы от реализации товаров по 100 рабочим дням дала следующие результаты:

1 2 3 4 5 6 7 8

0 – 5 5 – 10 10 – 15 15 – 20 20 – 25 25 – 30 30 – 35 35 – 40

2 7 14 19 25 20 10 3

Здесь, i – номер интервала значений дневной выручки (i = 1, … , 8); J

– грани-

цы

i-того интервала (в условных денежных единицах); n

– число рабочих дней,

когда дневная выручка оказывалась в пределах

i-го интервала; при этом оче-

видно, что

. Требуется:

100

∑

1) построить гистограмму частот;

2) найти несмещенные оценки

и s

для математического ожидания и диспер-

сии случайной величины Х (дневной выручки оптовой базы) соответственно;

3) определить приближенно вероятность того, что в наудачу выбранный рабо-

чий день дневная выручка составит не менее 15 условных денежных единиц.

Решение.

1) В условиях данной задачи естественно исходить из того, что наблюдае-

мая случайная величина

Х (дневная выручка оптовой базы) имеет непрерывное

распределение вероятностей.

Статистическим аналогом графика плотности распределения такой случай-

ной величины, как известно, является гистограмма относительных частот. Она

представляет собой совокупность прямоугольников, построенных на выделен-

ных интервалах наблюденных значений случайной величины

Х как на основа-

ниях. Площадь каждого

i-го прямоугольника равна относительной частоте w

го интервала, определяемой по формуле

nnw

, так что 1.Отсюда

высота

i-го прямоугольника вычисляется ка

∑

h где h

– величина i-го

интервала (в данной задаче

= h = 5 для всех i = 1, … , 8

Полная площадь гистограммы, таким образом, равна единице. На основе

изложенного для построения гистограммы составим следующую таблицу.

i 1 2 3 4 5 6 7 8

0 – 5 5 – 10 10 – 15 15 – 20 20 – 25 25 – 30 30 – 35 35 – 40

2 7 14 19 25 20 10 3

0,02 0,07 0,14 0,19 0,25 0,20 0,10 0,03

0,004 0,014 0,028 0,038 0,05 0,04 0,02 0,006

Построим гистограмму:

Вид этой гистограммы позволяет считать рассматриваемое распределение

вероятностей нормальным.

2) Несмещенные оценки

и s

найдем по формулам

∑∑

wxnx

x ,

∑∑

−

=−

−

)(

wxx

nxx

где

– середина i-го интервала.

Все необходимые вычисления для удобства и наглядности проведем в рам-

ках следующей таблицы:

1 2 3 4 5 6 7 8

2,5 7,5 12,5 17,5 22,5 27,5 32,5 37,5

0,02 0,07 0,14 0,19 0,25 0,20 0,10 0,03

0,05 0,525 1,75 3,325 5,625 5,5 3,25 1,125

= 21,15

−

18,65 13,65 8,65 3,65 1,35 6,35 11,35 16,35

)( xx

−

347,82 186,32 74,82 13,32 1,82 40,32 128,82 267,32

wxx

)( −

6,96 13,04 10,48 2,53 0,46 8,06 12,88 8,02

06,6343,62

100

=⋅=s

Таким образом,

=21,15 усл. ден. ед., (усл. ден. ед.)06,63

3) Как установили в пункте 1, распределение случайной величины

Х можно

считать нормальным. В качестве его параметров возьмем оценки

15,21

≈

a и

94,7

=≈σ s полученные в пункте 2. Тогда приближенно вероятность

P(Х ≥ 15) того, что в наудачу выбранный рабочий день дневная выручка опто-

вой базы составит не менее 15 условных денежных единиц, можно вычислить c

использованием функции Лапласа Ф(х). Имеем

Р(X < 15) + Р( X≥ 15) = 1 ⇒ Р(X ≥ 15) = 1 – Р(X < 15) = 1 – F(15),

Но

⎟

⎠

⎞

⎜

⎝

⎛

−

Φ+=

xF 5,0)( и значит

⎟

⎠

⎞

⎜

⎝

⎛

−

Φ+=

5,0)15(. Итак, имеем

5,0)15(

⎟

⎠

⎞

⎜

⎝

⎛

−

−=≥

ФXP Найдем, используя таблицу 1 приложения

.78,07794,02794,05,0)77,0(5,0

)]()([)77,0(5,0

94,7

15,2115

5,0)15(

≈=+=Φ+=

=Φ−=−Φ=−Φ−=

⎟

⎠

⎞

⎜

⎝

⎛

−

Φ−=≥ xxXP

Таким образом, P(Х ≥ 15) ≈ 0,78. Это означает, что в

среднем в 78 из 100

рабочих дней дневная выручка оптовой базы составит не менее 15 усл. ден. ед.

Глава 8. Точечные и интервальные оценки параметров

распределений

Имеется два подхода к оцениванию неизвестных параметров распределе-

ний по наблюдениям: точечный и интервальный. Точечный указывает лишь

точку (число), около которой находится оцениваемый параметр; при интер-

вальном находят интервал, который с некоторой вероятностью, задаваемой ис-

следователем, накрывает неизвестное числовое значение параметра.

8.1. Методы построения точечных оценок

Точечное оценивание параметров распределений можно осуществлять сле-

дующими методами: моментов (method of moments); максимального правдопо-

добия (maximum-likelihood method); наименьших квадратов (least-squares

method); минимума χ

; робастными (устойчивыми к отклонению модели от за-

данного вида); непараметрическими и др. Рассмотрим некоторые из них.

8.1.1. Метод моментов

Пусть некоторая непрерывная случайная величина ξ описывается моделью

, где . Необходимо оценить неизвестные параметры Θ

модели по выборке конечного объема x

),( Θ

),...,(

1 K

θθ=Θ

, … , x

, полученной из генеральной со-

вокупности. Суть методо моментов состоит в приравнивании оценок моментов

(начальных, центральных) эмпирического распределения соответствующим

теоретическим моментам выбранной модели, являющимся функциями неиз-

вестных параметров модели, и затем решении полученной системы уравнений.

Число уравнений в системе определяется количеством искомых параметров.

Начальные и центральные теоретические моменты k-го порядка

могут быть

получены из выражений

)(),( Θν=Θ=ν

∫

∞

∞−

ξ k

dxxpx

, ,

)(),()( Θµ=Θν−=µ

∫

∞

∞−

ξ k

dxxpx

а их оценки

)

− по выборке x

, … , x

. Полагая, что

)

являются со-

стоятельными оценками моментов ν

и µ

, приравниваем их друг другу. В ре-

зультате получим систему

⎩

⎨

⎧

µ=Θµ

ν=Θν

,)(

)

(8.1)

число уравнений в которой должно быть равным числу

K неизвестных пара-

метров θ

, (

i ,...,1= ). Решив систему (8.1) относительно неизвестных парамет-

ров Θ, получим М-оценки

)(M

)

, (

i ,...,1

Если случайная величина ξ является дискретной, то вместо плотности вероят-

ности

используем функцию вероятности

),( Θ

iii

pxPxp

=ξ=

),(),(

, а

начальные и центральные теоретические моменты определяем по формулам:

)(

Θν==ν

∑

px , )()(

Θµ=−=µ

∑

iik

pxx .

Замечание 8.1. Вопрос о том, какие начальные и центральные моменты

включать в систему (8.1) следует решать, руководствуясь конкретными целями

исследования и сравнительной простотой форм зависимостей моментов от па-

раметров. На практике, как правило, ограничиваются четвертыми моментами.

Предложение 8.1. Пусть решение системы (8.1) существует и функции

2111

)(

,,...,1),,,,,,(

KKKKivv

+==µµθ=θ

)

непрерывны в точке

)...,,,...,,(

11 KK

vvm

. Тогда оценки, полученные по ме-

тоду моментов, состоятельны. #

Пример 8.1. Найдем оценку параметра λ закона распределения Пуассона.

Известно, что для случайной величины ξ, распределенной по закону Пуас-

сона,

λ=ξ][

. Поэтому для нахождения единственного параметра λ достаточ-

но приравнять теоретический ν

и эмпирический

)

начальные моменты перво-

го порядка. Момент

=ν

)(

)

, следовательно, оценка метода моментов парамет-

ра λ есть выборочное среднее

Пример 8.2. Случайная величина ξ имеет нормальный закон распределения

N(a, σ

), при этом числовые значения параметров a и σ

неизвестны. Найдем

оценки метода моментов для этих параметров.

Используя формулу (3.5), выразим моменты

через a и σ

∫

∞

∞−

⎟

⎠

⎞

⎜

⎝

⎛

−

πσ

=ν 2,1,

kdxex

Система (8.1) в данном случае примет вид

⎩

⎨

⎧

σ+=ν

=ν

Отсюда получаем

M-оценки

==ν=

∑

)(

)

)(2

)(

σ=−=−=ν−ν=σ

∑∑

)

))

)

Замечание 8.2. Оценки метода моментов обычно состоятельны, однако по

эффективности они не являются «наилучшими», т.к. их эффективность )(

)(M

e θ

)

часто значительно меньше единицы. Тем не менее, метод моментов часто ис-

пользуется на практике, благодаря сравнительно простым вычислениям. Это

объясняется тем, что для большинства статистических моделей, соответствую-

щих основным вероятностным распределениям, система (8.1) без труда решает-

ся в каждом конкретном случае.

8.1.2. Метод максимального правдоподобия

Основным методом получения оценок параметров генеральной совокупно-

сти по выборочным данным является

метод максимального правдоподобия

(ММП). Пусть в результате статистического наблюдения получена выборка

, … , x

, которая описывается некоторой моделью

),(

, где ),...,(

1 K

=Θ .

Определение 8.1. Функция (вообще говоря, случайная величина)

∏

Θ=Θ

xpxxL

),(),,...,( . (8.2)

называется

функцией правдоподобия. Функцию называют лога-

рифмической функцией правдоподобия

),,...,(ln

xxL

Определение 8.2. Согласно методу максимального правдоподобия искомые

ML-оценки

)(ML

)

определяются из условия

),,...,(max),,...,(

)(

Θ=Θ

xxLxxL

)

. (8.3)

При условии независимости вариантов

плотность (8.2) вероятности со-

вместного появления результатов выборки

, … , x

является мерой правдопо-

добности

получения наблюдений x

, … , x

. И оценки

)(ML

)

таковы, что имею-

щиеся наблюдения

, … , x

наиболее правдоподобные.

Замечание 8.3. Если функция правдоподобия ) является диф-

ференцируемой по переменным

,,...,(

xxL

, … , x

, то оценка наибольшего правдоподо-

бия удовлетворяет системе уравнений

xxL

,...,1,0

),...,;,...,(

=∀=

θ∂

θθ∂

Эта система представляет собой известное из курса математического анализа

необходимое условие экстремума функции многих переменных.

Нахождение

)(ML

)

упрощается, если максимизировать не саму функцию L,

ln , поскольку максимум обеих функций достигается при одних и тех же

значениях Θ. Поэтому для отыскания вектора оценок параметров

)(ML

)

надо

вместо (8.3) решить систему (при

2≥

) уравнений правдоподобия, получае-

мую приравниваем частных производных по параметрам θ

к нулю:

,...,1,0

=∀=

θ∂

∂

)

. (8.4)

а затем отобрать то решение, которое обращает функцию

ln в максимум.

Для дискретной случайной величины ξ вместо плотности вероятности

используем функцию вероятности

),( Θ

iii

pxPxp =Θ=

),(),(

Пример 8.3. Найти ML-оценку для вероятности p наступления некоторого

события

A по числу m появлений этого события в n независимых испытаниях.

Решение. Составим функцию правдоподобия:

mnm

ppppppppxxL

−

−=−−= )1()1)...(1(...),,...,(

4434421321

Тогда

)1ln()(lnln

−

−+= и согласно (8.4)

−

−=

откуда

nmp

)(

)

. Таким образом, ML-оценкой вероятности p является час-

тость

nmw

= этого события.

Пример 8.4. Найдем методом максимального правдоподобия оценки пара-

метров

a и σ

нормального закона распределения по выборке x

, … , x

Плотность вероятности нормально распределенной случайной величины ξ

)(

−

πσ

exp .

Тогда функция правдоподобия примет вид:

)(

)2(

),,,...,(

−

∑

πσ

=σ

∏

eeaxxL

Логарифмируя, получим:

∑

−

−π+σ−=

)(

)]2ln([ln

ln .

Для нахождения параметров

a и σ

надо согласно (8.4) решить систему

уравнений правдоподобия:

⎪

⎩

⎪

⎨

⎧

−−

σ∂

∂

=−

∂

∑

)(

1ln

,0)(

1ln

откуда ML-оценки равны:

∑

)(

)

∑

−

=σ

)(

)

Таким образом, ML-оценками математического ожидания a и дисперсии σ

нормально распределенной случайной величины являются соответственно вы-

борочная средняя арифметическая и выборочная дисперсия.

Важность ММП связана с его оптимальными свойствами. Так, если для па-

раметра θ существует эффективная оценка

)

, то оценка максимального

правдоподобия единственная и равна этой эффективной оценке

)

. Кроме то-

го, при достаточно общих условиях оценки максимального правдоподобия яв-

ляются состоятельными, асимптотически эффективными и имеют асим-

птотически нормальное распределение.

Замечание 8.4. Основной недостаток ММП – трудоемкость вычисления

оценок, связанных с решением уравнений правдоподобия, чаще всего нелиней-

ных. Существенно также и то, что для построения ML-оценок и обеспечения их

«хороших» свойств необходимо точное знание типа анализируемого закона

распределения p

(x, Θ), что во многих случаях практически нереально.

8.1.3. Метод наименьших квадратов

Метод наименьших квадратов (МНК) – один из наиболее простых прие-

мов построения оценок. Суть его заключается в том, что оценка определяется

из условия минимизации суммы квадратов отклонений выборочных данных от

определяемой оценки. Дадим постановку задачи для линейной модели в общем

случае. Запишем линейную модель в виде

ε+Θ= X

где y − вектор-столбец наблюдений y

, … , y

размерности n,

X − матрица известных коэффициентов

Knij

}{

)(

n >

Θ− вектор-столбец неизвестных параметров

,...,

размерности K,

ε − вектор-столбец случайных величин

,...,

размерности n, которые не-

коррелированы, имеют нулевое математическое ожидание и дисперсию σ

Определение 8.3. Метод наименьших квадратов состоит в минимизации

скалярной суммы квадратов

)()( Θ−Θ−=

XyXy

Q (8.5)

по компонентам

,...,

вектора Θ. Необходимым условием обращения (8.5) в

минимум является условие

,...,1,0

),...,(

θ∂

θθ∂

Выполняя дифференцирование, получаем

, откуда нахо-

дим вектор LS-оценок:

0)(2 =Θ− XyX

yXXX

TTLS 1)(

)(

−

=Θ

)

. Предполагается, что матрица

невырождена и, следовательно, может быть обращена.

Пример 8.5. Найдем оценку метода наименьших квадратов

)(LS

)

для мате-

матического ожидания случайной величины ξ по выборке x

, … , x

Согласно методу наименьших квадратов оценка

)(LS

)

находится из условия

минимизации суммы квадратов отклонений выборочных значений x

от значе-

ния искомой МНК-оценки:

min)()(

2)()(

→θ−=θ

∑

))

Используем необходимое условие экстремума

∑

=θ−−=

)(

0)(2

)

, откуда x

==θ

∑

)(

)

т.е. МНК-оценка математического ожидания есть выборочная средняя.

Замечание 8.5. МНК, отличаясь по подходу от метода максимального

правдоподобия, и, обладая своими собственными оптимальными свойствами,

совпадает с ММП в важном случае нормально распределенных наблюдений.

МНК получил самое широкое распространение в практике статистических ис-

следований, т.к.:

- не требует знания закона распределения выборочных данных;

- имеет простую вычислительную реализацию.

В отличие от

ММП, МНК в общем случае не обладает даже асимптотиче-

скими оптимальными свойствами. Однако в одном очень важном классе ситуа-

ций он, даже при малых выборках, обладает свойством оптимальности. А

именно, если все наблюдения (варианты) x

имеют одинаковые дисперсии, вза-

имно некоррелированы и являются линейными функциями неизвестных пара-

метров, то МНК дает несмещенные оценки, которые имеют минимальную дис-

персию (т.е. обладают свойством эффективности).

В последние годы развиваются робастные (или устойчивые) и непарамет-

рические методы оценивания. Они позволяют находить оценки, хотя и не яв-

ляющиеся наилучшими

в рамках предполагаемого закона распределения, но

обладающие достаточно устойчивыми свойствами при отклонении реального

закона от предполагаемого. Например, устойчивой оценкой математического

ожидания по конечной выборке является медиана этой выборки.

8.2. Неравенство Рао–Крамера–Фреше

Рассмотрим более подробно вопрос об эффективности оценок. В определе-

нии 7.4 дано понятие эффективности оценки, но как ее определять не показано.

Пусть p

(x, θ) − плотность вероятности случайной величины ξ, если ξ − непре-

рывна, и

),(),( θ=ξ

ξ ii

xPxp

, если ξ − дискретна, θ − неизвестный параметр.

Предложение 8.2. При выполнении функцией p

(x, θ) достаточно общих

условий регулярности: дифференцируемости по θ, независимости области оп-

ределения от θ и т.д., являющихся достаточно общими, справедливо неравен-

ство Рао–Крамера–Фреше (неравенство информации):

]'[min

)(

][

θ=

≥θ

∈θ

)

, (8.6)

где

][θ

)

− дисперсия оценки

)

параметра θ; n − объем выборки; I(θ) − количе-

ство информации Фишера о параметре, содержащееся в единичном наблюде-

нии и определяемое формулами:

- в дискретном случае

∑

θϕ

⎥

⎦

⎤

⎢

⎣

⎡

θϕ

′

θϕ

⎥

⎦

⎤

⎢

⎣

⎡

θϕ

=θ

),(

),(ln

)(

- в непрерывном случае

∫

∞

∞−

θθϕ

⎥

⎦

⎤

⎢

⎣

⎡

θϕ

′

θϕ

⎥

⎦

⎤

⎢

⎣

⎡

θϕ

=θ dx

),(

),(ln

)(

. #

Поэтому

][)(

][min

][

)(

≤

θθ

=θ

Θ∈θ

))

)

DnI

. (8.7)

Если

1)( =θ

)

, то

)

− эффективная оценка параметра θ в классе Θ всех его не-

смещенных оценок. Т.е. неравенство информации (8.6) позволяет найти тот ми-

нимум

, который должна иметь дисперсия оценки , чтобы быть

эффективной оценкой.

]'[min

Θ∈θ

)

Пример 8.6. Убедиться в том, что найденная методом моментов по случай-

ной выборке из генеральной совокупности с распределением N(a, σ

) оценка

параметра a является эффективной в классе несмещенных оценок, а оценка s

параметра σ

является, после исключения смещения, асимптотически эффек-

тивной.

Решение. Оценка

X − несмещенная, и

nXD

][ σ=

. Предположив, что σ

известна, и, используя формулу (8.7), с учетом нормальности распределения

),(ln

)(

⎥

⎦

⎤

⎢

⎣

⎡

axd

MaI

получим, что

1)( =Xe

. Следовательно,

X − эффективная оценка.

Оценка дисперсии

)

смещенная; исключив смещение, получим оценку

)(

−

=σ

−

∑

)

дисперсия которой равна

][

−

. Считая, что a известно, и, используя

(8.7), в которой, с учетом нормальности распределения,

),(ln

)(

⎥

⎦

⎤

⎢

⎣

⎡

=σ

axd

получим, что эффективность

)(

−

, а асимптотическая эффективность

. Следовательно, s

1)(lim)(

∞→

sese

− асимптотически эффективная оценка.

Замечание 8.6. В заключение обсуждения методом нахождения оценок,

отметим, что, даже имея большие объемы экспериментальных данных, мы не

имеем возможности указать точные значения оцениваемых параметров, а опре-

деляем лишь их оценки, близкие «в среднем», или «в большинстве случаев».

Поэтому важной задачей является, рассматриваемое далее, определение точно-

сти и достоверности найденных оценок.

100