Елизаров А.М. Математические методы в библиотечной работе

Подождите немного. Документ загружается.

3. Доверительные интервалы. Мы приведем не-

сколько примеров отыскания доверительных интер-

валов для тех или иных параметров нормального

закона распределения, что объясняется его широкой

распространенностью.

а) Интервал для математического ожидания при

известной дисперсии. Пусть случайная величина ξ

распределена по нормальному закону с известной дис-

персией Dξ = σ

и неизвестным математическим ожи-

данием Eξ = m. Имеется выборка х

, ... , х

, которую

можно рассматривать как k независимых случайных

величин, распределенных как и ξ, т. е. Ех

= ...=Ех

=т,

= ... = Dx

= σ

. Используя формулы для подсчета

статистических характеристик (см. п. 2—3 § 12), найдем

Е(Е*ξ) = т и D(E*ξ) = σ

/k. Так как x

распределены

нормально, то и их сумма, и Е* ξ также распределены

нормально (п. 3 § 11).

Подберем по заданной надежности γ число ε > О

так, чтобы выполнялось условие Р(|E*ξ — т| < ε), ≡

≡ Р(m—ε < E*ξ < m + ε) = γ. Как отмечалось в п. 1

§10,

Остается подобрать ε так, чтобы выполнялось равен-

ство 2Ф (ε √k /σ) = γ. Так как функция Ф непрерывна и

возрастает от 0 до 1/2, то по любому γ, 0 < γ < 1

найдется единственное число t

такое, что Ф (t

) =

=γ/2.

Такое число t

называется квантилем нормального

распределения. Он отыски- Таблица 32

вается по таблицам (табл. 32).

Используя t

= ε √k/σ, получаем

Р(Еξ - σt

/ √k<m<

<Е*ξ + σt

/ √k)=γ.

Смысл выписанного равенства

заключается в том, что с надежностью γ доверительный

интервал (Е*ξ - σt

/ √k,

141

Квантиль,

Надежность,

1,96

2,576

3,291

0,95

0,99

0,999

Е*ξ+ σt

покрывает математическое ожидание

Еξ= т. При этом точечная оценка Е*ξ ≈ Еξ дается

с точностью ε = σt

/ и надежностью γ.

в) Интервал для математического ожидания при

неизвестной дисперсии. Довольно часто на практике

приходится сталкиваться с ситуацией, когда неиз-

вестны не. только математическое ожидание, но и

дисперсия нормально распределенной случайной вели-

чины. При отыскании доверительного интервала для

Еξ = т рассмотрим случайную величину

t = (E*

— m)

Можно доказать, что закон распределения случай-

ной величины t не зависит ни от Еξ ни от Dξ, а за-

висит лишь от числа независимых значений случайной

величины в выборке объема k. Этот закон носит

название распределения Стьюдента с (k— 1) степе-

нями свободы.

По заданной надежности γ найдем число t

такое,

чтобы

P(|t|<t

) = γ.

Для функции распределения Стьюдента составлены

таблицы, из которых по каждому значению γ отыски-

вается единственное число t

. В этом случае интер-

вал Е*ξ — t

/ < т < Е*ξ +t

с на-

дежностью γ представляет собой доверительный интер-

вал для математического ожидания Еξ = т.

с) Интервал для дисперсии. Пусть случайная вели-

чина ξ распределена по нормальному закону, в котором

неизвестна дисперсия Dξ = σ

. Для отыскания довери-

тельного интервала по выборке х

, х

, ... , х

определим

статистическую дисперсию D*ξ и рассмотрим

случайную величину Х

= (k — 1)D*ξ / σ

. Ее закон рас-

пределения называется распределением хи—квадрат

Пирсона с (k - 1) степенями свободы. Обозначим

через F(х) функцию распределения Пирсона. Подбе-

рем по заданной надежности γ положительные числа

(γ) и x

(γ) так, чтобы выполнялись равенства

F(x

(γ)) = . F(x

(γ)) =

142

Так как F(x) возрастает и непрерывна, то по любо-

му γ (0<γ<1) найдутся единственные числа x

(γ)

и x

(γ). Поэтому, используя свойство 3 функции рас-

пределения (п. 2 § 9), найдем

P(x

(γ) < x

< x

(γ)) = F(x

(x)) - F (x

(

γ)) = γ

или

P((k - 1)D*ξ/x

(х))< σ

< (k - 1) D* ξ/x

(γ)) = γ.

Следовательно, интервал ((k —1)D*ξ/x

(γ), (k—1)D*ξ/

(γ)) есть доверительный интервал для дисперсии

Dξ = σ

В статистике вместо нахождения чисел x

, х

решают

уравнение q = 1 — F (x

), для которого составлены

таблицы. Заметим, что в новых обозначениях

F(x

(γ)) = 1- q, F(x

(γ))=q и γ = 1-2q.

d) Интервал для вероятности. Укажем доверитель-

ный интервал, из которого можно выбирать значения,

приближенно дающие величину вероятности случай-

ного события. Ранее в качестве подобной характери-

стики выбирались статистическая вероятность (или

относительная частота) события в серии из доста-

точно большого числа опытов.

Пусть заданы случайные величины (связанные,

например, с выдачей книг) х

, х

,..., x

, которые

независимы и принимают значение 1, если в опыте

с номером i событие произошло (книга выдавалась),

и значение 0 — если не произошло (книга не выдава-

лась). Законы распределения х

одинаковы и имеют

вид • Относительная частота события А

равна числу ξ появлений события A, деленному на

число опытов k: Р*(A) = ξ/k. Но случайная величина

ξ = х

+ х

+... + х

, поэтому Е (Р*) = Е

= (Ех

+ ... +Ex

)/k. Подсчитаем Ех

. Оно равно

= 1•p + 0•(1-p) = p. Тогда Е(Р*)= =

= (kp)/k = р. Это указывает на несмещенность оценки

Р* ≈ р. Отыщем дисперсию случайной величины Р*.

Так как величины х

независимы, то

143

Но

= E(x

) -

(Ex

)

= 1

• р +

0•(1 -p

) -p

= p

(1 -

-p

Следовательно,

Известно (мы это не доказываем), что при достаточно

больших значениях

(более 50—100) распределение

Р*

ведет себя как нормальное распределение. Поскольку

неизвестный параметр

оказался математическим

ожиданием случайной величины

Е(Р*) = р

с диспер-

сией

D(P*) = p(1

—

p)/k,

то мы можем применить

результат решенной в пункте

а)

задачи. Именно, вы-

берем по заданной надежности

квантиль

так,

чтобы

Р(|Е*(Р*)-р|< t

)<2Ф(t

) = γ.

От неравенства | E*(Р*)

—р|< t

перейдем

к неравенству вида |

Р*

—

которое

эквивалентно

(Р*

—

р)

< t

р(1- р)/k.

Разрешая по-

следнее квадратичное неравенство относительно

р,

получим с надежностью γ доверительный интервал

для вероятности

≤ р

≤р

, где

=[ P* + t

/(2k) + (-1)

/ (1 +

/ k), ν = 1,2.

При больших k

> 100) из указанных точных значе-

ний для

можно получить приближенные фор

мулы

≈ Р* + (— l)

полезные при

практических расчетах доверительных интервалов.

4*. Непараметрический подход. В описанном выше

методе отыскания законов распределения случайных

величин все. рассуждения основывались на предполо-

жении о том, что случайная величина распределена

по некоторому закону и нам неизвестны лишь пара-

метры этого распределения. Но не менее часты на

144

Рис. 55.

практике такие случаи, когда мы не можем заранее

предположить распределенность случайной величины

по тому или иному закону.

В этом случае применяют непараметрические мето-

ды статистики, заключающиеся в непосредственном

отыскании функции распределения F(x).

Пусть задана выборка из непрерывного распреде-

ления F(x). Иными словами, х

, ..., x

представляют

собой k независимых случайных величин с функцией

распределения F(x). По этим значениям строим стати-

стическую функцию распределения F

*(х). (см. п. 1 § 12).

Она, как известно, задает статистические вероятности

событий (х

< х): Р* (х

< х) = F*

(х). Точно так же P(x

< x) = F(x). По теореме Бернулли (см. п. 4* § 8) при

увеличении k значение F*

(x) при каждом х будет почти

наверное стремиться к F(x). На рис. 55 представлены

графики F(x) и F*

(x) для выборок объема k = 5 и k =

8 соответственно. Видно, что F*

(x) становится более

похожей на F(x) при увеличении k. Судить о мере

близости между этими двумя кривыми можно по

величине D

= max|F(x) — F

*(x)|, указывающей на

наибольшее отклонение графика функции F*

(x) от

графика функции F(x). А.Н.Колмогоров

доказал, что величина

имеет при k → ∞ неко-

торое стандартное распределение (распределение Кол-

могорова), не зависящее от вида F(x). Сейчас такие

распределения построены для всех значений k = 2, 3, ...

и вычислены соответствующие таблицы значений

Р(

< ε) = λ

(ε).

10 Т-743

145

На практике результат Колмо-

горова используется для проверки

гипотез о законе распределения

F (х). По наблюдениям х

, ..., x

гипотетической функции рас-

пределения F(x) вычисляют значе-

ние D

. Затем выбирают надеж-

ность γ и по таблицам отыскивают

такое значение z

(γ), что

Р(

( γ ))≡λ

)=γ.

Рис.56

Если вычисленное п

эмпирическим данным значение

больше, чем найденное по таблицам значение

(γ), то гипотеза о законе распределения

F(x)

отвер-

гается.

С помощью распределения Колмогорова можно

указать границы, в которых лежит график неизвест-

ного закона распределения. Для этого соотношение

Р(

<ε) = λ

(ε) переписывают в виде

P(F

*(x)-

ε/

<F(x)<F

*(x) + ε/ )=λ

(ε),

где ε/

можно считать величиной

погрешности оценки закона

F(x)

посредством

*/(x),

(ε) = γ— надежностью.

Геометрически указанное соотношение показывает,

что график неизвестного закона распределения нахо-

дится внутри полосы, ограниченной ломаными

= F*

(x) - ε/ и y

= F*

(x) + ε/

полученными смещением вниз и вверх вдоль оси

ординат графика статистического закона распределе-

ния на величину точности (рис. 56).

Построение доверительной полосы для неизвест-

ного теоретического закона распределения

F(x)

с по-

мощью распределения Колмогорова осуществляется

по следующей схеме:

Вычисляют значения статистической функции

распределения y

* = F

*(x

) (см. п. 1 § 12);

По заданной надежности λ

(ε) = γ из таблиц

отыскивают значение

(γ)

(обычно берут

γ=0,95,

γ = 0,99 и γ = 0,999);

Определяют величину погрешности ε (γ) =

= z

(γ)/

146

4. По [соотношениям у

) = у

* — ε (γ), y

(х

) =

= y

* + ε (γ) вычисляют границы доверительного интер-

вала закона распределения F(x) в точках х

i = 1, ... , k.

Если найденные значения у

< 0, а y

> 1, то считают

= 0

а у

=1;

5. Строят графики по найденным точкам.

Полученная полоса с надежностью γ покрывает

график теоретической функции распределения F(х).

§ 14 Корреляционный анализ

На практике часто сталкиваются с закономерно-

стями, которые не носят детерминированного, функ-

ционального характера, а наблюдаются лишь в сред-

нем, или, как говорят, статистически. Изучение по-

добных зависимостей и выяснение степени связи между

двумя явлениями или процессами — основная задача

корреляционного анализа, с простейшими задачами

которого мы познакомимся в настоящем параграфе.

1. Корреляционная связь. В отдельных экспери-

ментах мы можем наблюдать значения сразу двух

(или даже нескольких) случайных величин. Например,

при изучении читательского спроса мы одновременно

фиксируем количество читателей, пришедших в тече-

ние дня в библиотеку (случайная величина ξ), и коли-

чество выданных книг (случайная величина η). Свойства

случайных величин, полученные нами ранее, как пра-

вило, основывались на предположении о их независи-

мости. Однако при проведении статистических экспе-

риментов не менее важной задачей является выяснение

существующих закономерностей между происходящи-

ми случайными явлениями. При этом мы можем столк-

нуться с различными видами зависимостей — функцио-

нальной и вероятностной (корреляционной).

Под функциональной зависимостью двух случай-

ных величин ξ н η понимают такую связь, когда, зная

значение одной из них, можно точно указать значе-

ние другой. Если же ξ и η связаны вероятностной

зависимостью, то можно лишь указать закон распре-

деления одной случайной величины, зависящей от

того, какое аначение приняла другая величина.

Вообще говоря, функциональную зависимость мож-

но рассматривать как предельный случай вероятности

10* 147

ной, когда тесйота связи между величинами становится

все большей. К другому предельному случаю отно-

сится полная независимость случайных величине Если

ξ и η связаны вероятностной зависимостью, то это

еще не значит, что с изменением ξ величина η пре-

образуется определенным образом. Это означает лишь,

что изменение ξ может стать причиной изменения η,

причем подобная тенденция носит случайный харак-

тер, т. е. в каждом отдельном эксперименте от нее

возможны отклонения.

При исследовании связи между двумя величинами

полезно построить по выборке поле значений. Если

точки этого поля расположены в достаточной бли-

зости вдоль некоторой линии, то между величинами

имеется тесная связь. Если же точки ложатся так,

что не обнаруживается никакой группировки, то связь

слабая или же ее нет совсем. Для построения таких

полей в системе координат ξ0η откладывают точками

значения, которые соответствуют наблюдаемым одно-

временно случайным величинам ξ и η.

Пример 1. В мини-библиотеке проводился экспе-

римент по изучению зависимости выдачи книг от

посещаемости в течение рабочей недели (6 дней).

Приведем результаты наблюдений: в 1-й день пришли

2 читателя и взяли 5 книг; во 2-й—3 читателя взяли

6 книг; в 3-й—5 читателей взяли 10 книг; в 4-й—3 чи-

тателя взяли 10 книг; в 5-й—6 читателей взяли 15 книг;

в 6-й—1 читатель взял 2 книги. Поле значений данной

выборки изображено на рис. 57. Результаты наблюде-

ний можно оформить в виде таблицы, которую назы-

вают корреляционной (табл. 33). Для этого в строке

указывают значения, принимаемые величиной ξ, в

столбце—значения, принимаемые величиной η а на

пересечении соответствующих

строк и столбцов — число наблюде-

ний с указанным количеством чи-

тателей и количеством взятых

книг.

Рассмотрев один столбец в таб-

лице, мы выясним распределение

количества книг (η)), которое берет

определенное число читателей (х

Для этого распределения (уже

Рис. 57 только одной случайной величи-

148

ны η) мы можем вычислять Таблица 33

математическое ожидание

количества выданных книг,

дисперсию и т. д. Эти

характеристики найдены в

предположении, что ξ = x

поэтому называются ус-

ловными математическими

ожиданиями и условной

дисперсией. Отыскав все

такие величины, мы определим „среднюю" зависи-

мость между ξ и η.

Определение. Уравнение у = Е (η|ξ = х) ≡ φ(х), где

отыскивается условное математическое ожида-ние

величины η при ξ = х, называется уравнением регрессии

η по ξ. Аналогично х = Е (ξ | η = у) ≡ ψ (у) называемся

уравнением регрессии ξ по η.

Отмеченные регрессии, вообще говоря, различны

я степень их различия (или близости) как раз и вы-

ражает тесноту связи между величинами ξ и η.

2. Статистический коэффициент корреляции. Для

независимых случайных величин E(ξη) = Eξ•Eη. Если

же ξ и η зависимы, то, вообще говоря, это свойство не

выполняется и поэтому в качестве показателя тесноты

связи между ξ и η можно выбрать степень отличия

Е(ξη)— Еξ•Еη от нуля (т.е. коэффициент корреляции)

(см. п. 4 § 9). Из равенства нулю ρ (ξ, η) еще не

следует независимость ξ и η а следует лишь их

некоррелируемость, т. е. отсутствие между ними всякой

связи. Статистическим аналогом коэффициента

корреляции ρ служит характеристика, введенная К. Пир-

соном.

Определение. Статистическим коэффици-

ентом корреляции Пирсона называется число

Если ρ*

(ξ, η)>0, то говорят о положительной

корреляции величин ξ, и η а если ρ*

(ξ, η) <0, то говорят

об отрицательной корреляции. Коэффициент Пир-

сона нетрудно подсчитывается при помощи корреля-

ционных таблиц.

149

Величина

1 2 3 4 5 б

2 1

15 1

Пример 1. Вычислим р*

для примера из п. 1.

Для этого вычислим:

Если величина р*

(ξ, η) близка к ± 1, то можно

утверждать, что между ξ и η существует тесная связь.

Если же р*

(ξ, η) близко к 0, то обычно считают, что

ξ и η не коррелируют. Для более обоснованных выводов

необходимо отыскать доверительный интервал

точечной оценки ρ (ξ, η) ≈ р*

(ξ, η) с той или иной сте-

пенью надежности. При этом нужно поступать так

же» как в п. 3 § 13 (мы на этом не останавливаемся).

О наличии или отсутствии коррелядионной связи

легко судить в первом приближении по графику урав-

нения регрессии η по ξ:

Y = E (η | ξ = X) ≡ φ (X),

который называется линией регрессии η по ξ.

Пример 2. Построим линию регрессии для при-

мера из п. 1 (рис. 58). Подсчитаем для каждого значе-

ния x

случайной величины ξ условное математическое

ожидание Е*( η |ξ= х

) и отложим соответствующие

точки на координатной плоскости. Затем проведем

линию, наиболее близкую к найденным точкам. Это

и будет линия регрессии η по ξ,

найденная по выборке.

3. Линейный регрессионный

анализ. Основная задача регрес-

сионного анализа — изучение зави-

симости между двумя или несколь-

кими случайными величинами и

оценка функции регрессии. Важное

место в регрессионном анализе

занимает так называемая „нормаль-

ная регрессия". Она имеет место при

следующих предложениях:

Рис. 58. Линия ре-

грессии

150