Крупкина Т.В. Математическая статистика. Практикум
Подождите немного. Документ загружается.
попаданий снарядов во время Второй мировой войны. Проверить со-
гласие опытных данных с законом распределения Пуассона, приняв за
уровень значимости α = 0, 05:
i 0 1 2 3 4 5 и более
n
i
229 221 93 35 7 1
321. Из 150 покупателей товара 61 выбрал сорт А, 53 – сорт Б,
36 – сорт С. Проверить гипотезу о равновероятности приобретения
этих трех сортов.
322. В пачке драже M&M’s – 30 % конфет коричневого цвета, по
20 % – желтого и красного и по 10 % – синего, зеленого и оранжевого.
В праздничной упаковке содержалось 370 конфет, из них:
Коричневые Желтые Красные Оранжевые Зеленые Синие
84 79 75 49 36 47
Соответствуют ли эти данные обычному составу пачки драже
M&M’s?
323. Для оценки эффективности лекарства одной группе испы-
туемых дают тестируемый препарат, проверенный на животных, а
другой – плацебо (физиологически инертное вещество, положитель-
ный лечебный эффект которого связан с подсознательным психоло-
гическим ожиданием пациента). Ниже приводятся данные о числе
появлений симптомов гриппа за двухлетний период у группы, при-
нимавшей в начале этого периода профилактическое лекарство, и у
группы, принимавшей плацебо.
Число Число пациентов, Число пациентов,
заболеваний принимавших лекарство принимавших плацебо
0 32 26
1 26 30
2 15 11
3 6 14
4 или более 6 19
Можно ли считать, что эффект от применения препарата досто-
верно превышает эффект плацебо?
81
§ 15. Модель линейной регрессии
Пусть Y – случайная величина, X
i
, i = 1, . . . , k – контролируемые (неслу-
чайные) переменные. Модель (функциональная зависимость) известна из
предварительных соображений с точностью до параметров:
Y = f(X
1
, . . . , X
k
, θ
1
, . . . , θ
s
) + ε,
где θ
i
, i = 1, . . . , s – параметры, ε – вектор ошибок. Будем считать, что E ε =
0 и ошибки некоррелированы.
Параметры выбираются так, чтобы минимизировать сумму квадратов
ошибок:
R =
P
n
i=1
(Y
i
− f(X
i1
, . . . , X
ik
, θ
1
, . . . , θ
s
))
2
→ min,
∂R
∂θ
j
= 0, j = 1, . . . , s.
Наиболее часто используются линейные по параметрам модели вида
Y = θ
1
· a
1
(X
1
) + θ
2
· a
2
(X
2
) + . . . + θ
k
· a
k
(X
k
) + ε.
(Если a
k
(X
k
) ≡ 1, будет свободный член.)
Рассмотрим основной случай, когда a
i
(X
i
) = X
i
. Тогда исходные дан-
ные имеют вид
Y = X · θ + ε.
Рассмотрим модель
Y
1
= X
11
θ
1
+ . . . + X
1k
θ
k
+ ε
1
. . .
Y
n
= X
n1
θ
1
+ . . . + X
nk
θ
k
+ ε
n
или Y = X · θ + ε.
Оценка θ, найденная из условия
R =
X
(Y
i
−
k
X
j=1
X
ij
θ
j
)
2
→ min,
равна
ˆ
θ = (X
T
X)
−1
· X
T
Y. (12)
В одномерном случае для нахождения параметров линейной модели Y =
X · θ + θ
1
+ ε удобно использовать следующие формулы, получаемые из со-
отношения
ˆ
θ = (X
T
X)
−1
· X
T
Y :
82
ˆ
θ =
SS
xy
SS
xx
,
ˆ
θ
1
= y −
ˆ
θ · x, (13)
где
SS
xy
=
X
i
(x
i
− x)(y
i
− y) =
X
i
x
i
y
i
−
(
P
i
x
i
)(
P
i
y
i
)
n
,
SS
xx
=
X
i
(x
i
− x)
2
=
X
i
x
2
i
−
(
P
i
x
i
)
2
n
.
Свойства оценок МНК
1. E
ˆ
θ = θ. (Несмещeнность).
2. K
ˆ
θ
= σ
2
(X
T
X)
−1
.
3. Теорема Гаусса – Маркова.
В классе несмещенных линейных оценок оценки МНК имеют наимень-
шую дисперсию.
В линейной модели Y = X · θ + θ
1
+ ε (одномерный случай) доверительный
интервал для коэффициента регрессии θ
ˆ
θ ± t
n−2,1−
α
2
S
ˆ
θ
,
где
S
ˆ
θ
=
s
P
i
(Y
i
−
ˆ
Y
i
)
2
(n − 2)
P
(X
i
− X)
2
;
доверительный интервал для среднего значения y при фиксированном x
0
:
ˆy ± t
n−2,1−
α
2
S
s
1
n
+
(x
0
− x)
2
P
(x
i
− x)
2
;
доверительный интервал для индивидуального значения y при фиксирован-
ном x
0
:
ˆy ± t
n−2,1−
α
2
S
s
1 +
1
n
+
(x
0
− x)
2
P
(x
i
− x)
2
,
где
S =
s
P
i
(y
i
− ˆy
i
)
2
(n − 2)
.
83
Пример 47. Найдем оценки параметров линейной модели Y = X
1
·θ
1
+
X
2
θ
2
+ ε по данным
X
1
0 1 0 1
X
2
0 0 1 1
Y 0, 1 0, 9 2, 1 3, 0
J
ˆ
θ = (X
T
X)
−1
· X
T
Y.
X
T
X =
0 1 0 1
0 0 1 1
!
·
0 0
1 0
0 1
1 1
=
2 1
1 2
!
;
(X
T
X)
−1
= 1/3 ·
2 −1
−1 2
!
=
2/3 −1/3
−1/3 2/3
!
.
X
T
Y =
0 1 0 1
0 0 1 1
!
·
0, 1
0, 9
2, 1
3, 0
=
3, 9
5, 1
!
.
ˆ
θ = (X
T
X)
−1
· X
T
Y =
2/3 −1/3
−1/3 2/3
!
·
3, 9
5, 1
!
=
0, 9
2, 1
!
;
ˆ
Y = 0, 9X
1
+ 2, 1X
2
. I
Пример 48. Найдем по данным примера 47 величину
ˆ
R, равную сумме
квадратов ошибок.
J R =
P
i
(Y
i
−
P
2
j=1
X
ij
θ
j
)
2
=
P
i
(Y
i
−
ˆ
Y
i
)
2
, где
ˆ
Y
i
– значения, вычис-
ленные по уравнению регрессии
ˆ
Y = 0, 9X
1
+ 2, 1X
2
.
X
1
0 1 0 1
X
2
0 0 1 1
Y 0, 1 0, 9 2, 1 3, 0
ˆ
Y 0 0, 9 2, 1 3, 0
|Y −
ˆ
Y | 0, 1 0 0 0
84
R =
X
i
(Y
i
−
ˆ
Y
i
)
2
= 0, 01. I
Пример 49 (модель со свободным членом). Найдем оценки парамет-
ров линейной модели Y = X
1
· θ
1
+ X
2
θ
2
+ θ
3
+ ε по данным
X
1
1 0 1
X
2
1 0 0
Y 0 −1, 1 2
J Будем считать, что переменная X трехмерна, и рассматривать мо-
дель Y = X
1
· θ
1
+ X
2
θ
2
+ X
3
θ
2
+ ε, где X
3
≡ 1:
X
1
1 0 1
X
2
1 0 0
X
3
1 1 1
Y 0 −1, 1 2
ˆ
θ = (X
T
X)
−1
· X
T
Y.
X
T
X =
1 0 1
1 0 0
1 1 1
·
1 1 1
0 0 1
1 0 1
=
2 1 2
1 1 1
2 1 3
;
(X
T
X)
−1
=
2 −1 −1
−1 2 0
−1 0 1
.
X
T
Y =
1 0 1
1 0 0
1 1 1
·
0
−1, 1
2
=
2
0
0, 9
.
ˆ
θ = (X
T
X)
−1
· X
T
Y =
2 −1 −1
−1 2 0
−1 0 1
·
2
0
0, 9
=
3, 1
−2
−1, 1
;
ˆ
Y = 3, 1X
1
− 2X
2
− 1, 1. I
85
Пример 50. Найдем оценку параметра линейной модели Y = X · θ + ε
по данным
X
1
0 1 0 1
X
2
0 0 1 1
Y
1
0, 1 3, 1 1, 9 5, 2
Y
2
−0, 1 −0, 9 0, 8 0, 1
J
(X
T
X)
−1
=
2 −1 −1
−1 2 0
−1 0 1
.
X
T
Y =
8, 3 −0, 8
7, 1 0, 9
!
.
ˆ
θ = (X
T
X)
−1
· X
T
Y =
3, 17 −0, 83
1, 96 0, 86
!
.
ˆ
Y
1
= 3, 1X
1
+ 1, 96X
2
.
ˆ
Y
2
= −0, 83X
1
+ 0, 86X
2
.
Посмотрим, насколько хорошо модель приближает данные:
X
1
0 1 0 1
X
2
0 0 1 1
Y
1
0, 1 3, 1 1, 9 5, 2
Y
2
−0, 1 −0, 9 0, 8 0, 1
I
Пример 51. Найдем оценки параметров линейной модели Y = X · θ +
θ
1
+ ε, используя формулы (13) по данным
X 1 2 3 4 5
Y 1 1 2 2 4
J
SS
xy
=
X
i
x
i
y
i
−
(
P
i
x
i
)(
P
i
y
i
)
n
= 37 −
15 · 10
5
= 7.
86
SS
xx
=
X
i
x
2
i
−
(
P
i
x
i
)
2
n
= 55 −
225
5
= 10.
ˆ
θ =
SS
xy
SS
xx
=
7
10
= 0, 7.
ˆ
θ
1
= y −
ˆ
θ · x =
10
5
− 0, 7 ·3 = 2 −2, 1 = −0, 1.
ˆ
Y = 0, 7X − 0, 1. I
Пример 52. Найдем 95 %-й доверительный интервал для коэффициен-
та регрессии θ в линейной модели Y = X · θ + θ
1
+ ε по данным:
X 1 2 3 4 5
Y 1 1 2 2 4
J Доверительный интервал равен
ˆ
θ ± t
n−2,1−
α
2
S
ˆ
θ
,
где
S
ˆ
θ
=
s
P
i
(y
i
− ˆy
i
)
2
(n − 2)
P
(x
i
− x)
2
.
ˆ
θ = 0, 7,
X
(x
i
− x)
2
= 10;
X
i
(y
i
− ˆy
i
)
2
= 1, 1; n = 5, t
3;0,975
= 3, 182.
Подставляя найденные значения, получаем доверительный интервал для ко-
эффициента регрессии:
0, 7 ± 0, 61 = [0, 09; 1, 31].
I
Пример 53. В условиях предыдущего примера найдем 95 %-й довери-
тельный интервал для среднего значения y при x = 4.
J Доверительный интервал равен
ˆy ± t
n−2,1−
α
2
S
s
1
n
+
(x
0
− x)
2
P
(x
i
− x)
2
,
где
S =
s
P
i
(y
i
− ˆy
i
)
2
(n − 2)
.
87
x = 3,
X
(x
i
− x)
2
= 10; S = 0, 61, t
3;0,975
= 3, 182.
Доверительный интервал для среднего:
2, 7 ± 3, 182 ·0, 61
r
1
5
+
(4 − 3)
2
10
= 2, 7 ±1, 1 = [1, 6; 3, 8].
I
Пример 54. Сравним интервал, полученный в предыдущем примере,
с 95 %-й доверительным интервалом для индивидуального значения
(прогноза) y при x = 4.
J Доверительный интервал для прогноза y равен
ˆy ± t
n−2,1−
α
2
S
s
1 +
1
n
+
(x
0
− x)
2
P
(x
i
− x)
2
.
Получаем
2, 7 ± 3, 182 ·0, 61
r
1 +
1
5
+
(4 − 3)
2
10
= 2, 7 ±2, 2 = [0, 5; 4, 9].
Доверительный интервал прогноза значения в 2 раза ши-
ре, чем доверительный интервал для среднего значения. I
Задачи
324. Найти по данным примера 49 величину
ˆ
R, равную сумме
квадратов ошибок, и объяснить полученный результат.
325. Найти оценку параметра линейной модели Y = X · θ + ε по
данным:
X 7 4 6 2 2 1 3
Y 2 4 2 5 7 6 5
326. По данным предыдущей задачи найти величину
ˆ
R, равную
сумме квадратов ошибок в модели Y = X · θ + ε.
327. Найти оценки параметров линейной модели Y = X ·θ + θ
1
+ε
по данным задач 325– 326:
X 7 4 6 2 2 1 3
Y 2 4 2 5 7 6 5
88
Вычислить величину
ˆ
R для этой модели. Какая из моделей является
более адекватной?
328. Найти оценки параметров линейной модели Y = X ·θ + θ
1
+ε
по данным:
X 0, 5 1 1, 5
Y 2 1 3
329. Найти оценки параметров линейной модели X = Y ·θ +θ
1
+ε
по данным:
X 0, 5 1 1, 5
Y 2 1 3
330. Найти оценки параметров линейной модели Y = X ·θ + θ
1
+ε
по данным:
X 8 5 4 6 2 5 3
Y 1 3 6 3 7 2 5
331. По данным предыдущей задачи найти величину
ˆ
R, равную
сумме квадратов ошибок в модели Y = X · θ + ε.
332. Найти оценки параметров линейной модели
Y = X
1
· θ
1
+ X
2
· θ
2
+ θ
3
+ ε
по данным:
X
1
1 0 0 1
X
2
0 0 1 1
Y −1 1 2 3
333. Найти оценки параметров модели
Y = X · θ
1
+ X
2
· θ
2
+ θ
3
+ ε
по данным:
X −2 −1 0 1 2 3
Y 2, 7 0 −1, 1 2, 8 8, 7 19
(сделать замену X = X
1
, X
2
= X
2
).
89
334. Найти зависимость производительности труда (Y ) от
фондовооруженности X
1
и изношенности фондов X
2
, если имеются
следующие данные:
Y X
1
X
2
0, 5 1 0, 6
0, 8 1, 2 0, 4
0, 6 0, 9 0, 5
0, 5 0, 7 0, 3
335. Имеются данные о спросе Y и ценах на продукцию X:
X 0 1 1
Y 4 3 0
Найти оценки параметров линейной регрессии Y на X.
90