Рыков В.В., Иткин В.Ю. Математическая статистика и планирование эксперимента

Подождите немного. Документ загружается.

Глава 5.

МНОГОМЕРНЫЙ С ТАТИСТИЧЕСКИЙ

АНАЛИЗ И ПЛАНИРОВАНИЕ

ЭКСПЕРИМЕНТА

§ 18 Понятие о статистической зависимости

18.1 Виды статистической зависимости. Модели

В рамках детерминистической теории математика изучает един-

ственный вид зависимости — функциональную (хотя эта зависи-

мость может быть довольно сложной и выраженной в неявном виде).

Основным видом зависимости при изучении случайных явлений яв-

ляется статистическая зависимость, хотя часто возникают задачи

изучения функциональных зависимостей, зашумленных случайны-

ми искажениями, например, в результате ошибок измерения.

В с татистике обычно изучают три вида зависимостей:

1) функциональная зависимость в “шуме”,

2) статистическая зависимость,

3) статистическая взаимозависимость.

Не смотря на то, что как в постановках задач, так и в методах их

решения много общего, целесообразно рассматривать задачи 1)—3)

и соответствующие м одели отдельно.

1. Под задачей исслед ования функц иональн ой з ависи мости в шу-

ме будем понимать задачу исследования функц ион альной зави-

симости между неслучайными (детерминированными) величина-

ми (x

, . . . , x

, y

, . . . , y

) предполагая наличие некоторой функци-

ональной (неизвестной) связи между ними

= f

, . . . , x

= f

, . . . , x

. . .

= f

, . . . , x

Глава 5 Планирование эксперимента 121

когда какие-либо из величин x

, . . . , x

, y

, . . . , y

или все подверже-

ны ошибкам наблюдений.

Пример 18.1.

2. Под задачей исследования статистической зависимости пони-

мают задачу исследования связи между велич инам и (X

, . . . , X

, . . . , Y

) подразумевая, что величины Y

, . . . , Y

являются зави-

симыми (статистически) от независимых (но случайных) величин

, . . . , X

Пример 18.2. Пусть (X, Y ) представляют собой количество выпав-

ших осад ков и урожайность некоторой сельскохозяйственной куль-

туры в определенном районе. Ясно, что имеет место статистическая

зависимость Y от X, но бессмысленно говорить о зависимости X

от Y .

Задача 1, когда все переменные наблюдаются с ошибками, факти-

чески идентична задаче 2, хотя между ни ми существует принципи-

альное различие, состоящее в том, что в задаче 1 предполагается

наличие определенной функциональной зависимости между величи-

нами y

и x

Принципиальное отличие задача исследования функциональной за-

висимости 1 получает, когда величины x

не только доступны точ-

ному измерению, но и выбору, т.е. когда можно планировать точк у

проведения эксперимента x = (x

, . . . , x

Решение задач 1 и 2 основывается на теории регрессии. При этом

независимые переменные называю обычно регрессионными перемен-

ными.

3. Под задачей исследования статистической взаимозависимости

будем понимать задачу исследования связи между величинами

, . . . , X

) без указания, какая из величин является зависимой, а

какая независимой переменной.

Пример 18.3. Пусть (X

, X

) представляют собой рост и вес че-

ловека. Интуитивно ясно, что между этими величинами существу-

ет взаимозависимость, причем не являющаяся функциональной, так

как ее можно выразить только “в среднем”.

Глава 5 Планирование эксперимента 122

Задачи о статистической взаимозависимости решаются обычно в

рамках корреляционной теории.

18.2 Характеристики зависимости и связи

1. Если исследуется вопрос о функциональной зависимости “за-

шумленной” ошибками изм ере ни й, то по самому существу задачи

предполагается некоторый вид этой зависимости

y = f (x), y = (y

, . . . , y

)

, x = (x

, . . . , x

)

. (18.1)

Эта зависимость ищется обычно в виде полиномов

(j)

...i

. . . x

(18.2)

или в виде разложения

(j)

. . . x

) (18.3)

по н екоторой заданной систем е функций

, . . . , x

), . . . φ

, . . . , x

)

При этом в качестве системы функций {φ

, . . . , x

)} удобно ис-

пользовать систему ортогональных (в некоторой метрике) функций.

Например, для представления одной функции одной переменной на

отрезке [a, b] ортогональной является система тригонометрическ их

функций

cos

2πjx

b − a

, sin

2πjx

b − a

, j = 0, 1, . . . , k.

2. При исследовании статистической з ависи мости векторной с.в.

Y = (Y

, . . . , Y

)

от векторной с.в. X = (X

, . . . , X

)

эту зависи-

мость, з аключе нн ую в совместном распреде лен ии век торов X и Y,

X,Y

(x, y) = P{X

≤ x

, Y

≤ y

(i = 1, n, j = 1, m)},

удобно представлять в виде регрессионной зависимости

= M[Y

= x

, (i = 1, n)] ≡ f

, . . . , x

) (j = 1, m). (18.4)

Здесь мы сталкиваемся с новым понятием регрессионной зависимо-

сти, или регрессии

Глава 5 Планирование эксперимента 123

Определение 18.1. Регрессией с.в. Y

по набору с.в.X

, (i = 1, n)

называется функция f

, . . . , x

), определяемая равенством (18.4).

График этой функции в пространстве n+1 переменной x

, . . . , x

, y

называется линией регрессии.

Важным частным случаем регрессии является случай линейной ре-

грессии, когда зависимость (18.4) линейна относительно переменных

, . . . , x

= M[Y

= x

, (i = 1, n)] = β

(j)

+ β

(j)

+ ··· + β

(j)

. (18.5)

При этом коэффициенты β

(j)

называются коэффициентами регрес-

сии.

Замечание. Важно отметить, что регрессионная зависимость яв-

ляется одним из возможных способов функционального выражения

статистической зависимости и выражает эту зависимость “в сред -

нем”.

В частности, при исследовании статистической зависимости двух с.в.

Y от X эта зависим ость может быть выражена с помощью регресси-

онной зависимости

y = f(x) = M[Y |X = x].

3. При исследовании взаимозавис имос ти системы с.в. X =

, . . . , X

)

эту взаимозависимость также можно выражать с по-

мощью регрессионной зависимости какой-либо одной случайной пе-

ременной, наприме р X

, от одной X

, группы X

, . . . X

или всех

остальных случайных переменных X

, . . . X

j−1

, X

j+1

, . . . X

. Важно

отметить, ч то здесь наряду с регрессией X

по X

y = φ(x) = M[X

= x]

полезно рассматривать регрессию X

по X

y = ψ(x) = M[X

= x].

При этом функции φ(x) и ψ(x), конечно, различны и, вообще говоря,

не являются взаимно обратными, как это обычно бывает в случае

функциональной зависимости, когда φ(ψ(y)) ≡ y.

Глава 5 Планирование эксперимента 124

При исследовании статистической зависимости и взаимозависи-

мости (или связи) полез но иметь количественную меру зависимости

или связи между отдельными с.в. или группами с.в., т.е. полезно

иметь некоторые числовые характеристики, выражающие глубину

или силу такой взаимозависимости. Представляя статистическую з а-

висимость в виде регрессионной зависимости мы имеем такие харак-

теристики в виде коэффициентов линейной регресс ии только в очень

частном случае линейной регрессии.

Известно, что симметричным коэффициентом, выражающим ме-

ру взаимозависимости (или взаимосвязи) пары с.в. (X, Y ) является

коэффициент корреляции

ρ = ρ

X,Y

= corr(X, Y ) =

cov(X, Y )

√

cov( X, Y )

, (18.6)

где

cov(X, Y ) = M[(X − µ

)(Y −µ

)], µ

= MX, µ

= MY.

Если имеется совокупность с.в. X = (X

, . . . , X

)

, то для каждой

пары с.в. (X

, X

) с помощью маргинального распределения можно

определить маргинальный коэффициент корреляции

= ρ

cov(X

, X

)

, σ

= σ

, σ

= σ

. (18.7)

С другой стороны, фиксируя значения, скажем X

= x

(k 6= i, k 6=

j), остальных с.в., кроме X

и X

, мы получим некоторое условное

распределение

, x

, k 6= i, k 6= j).

Вычисленный по этому распределению условный коэффициент кор-

реляции имеет вид

, k 6= i, k 6= j) =

k, k6=i,k6=j

)

k, k6=i,k6=j

)

k, k6=i,k6=j

)

. (18.8)

где

, k 6= i, k 6= j) = M [(X

− µ

)(X

− µ

)|X

= x

, k 6= i, k 6= j]

Глава 5 Планирование эксперимента 125

условный коэффициент ковариации с.в. X

, X

k, k6=i,k6=j

) = D [X

= x

, k 6= i, k 6= j] , r = i, j

условные дисперсии с.в. X

и X

при фиксированных значениях

остальных с.в.

В случае совместного нормального распределения условный ко-

эффициент корреляции (18.8) не зависит от значений фиксирован-

ных переменн ых X

= x

и называется частным коэффициентом

корреляции.

Лемма 18.1. В случае многомерного нормального распределения

условный коэффициент корреляции ρ

= x

k 6= i, k 6= j) имеет

вид

= x

k 6= i, k 6= j) = −

√

. (18.9)

где C

—алгебраические дополнения в ковариационной матрице.

Доказательство проведите сами в виде задачи 1.

Определение 18.2. Частным коэффициентом корреляции любой

(не только нормальной) векторной с.в. называется величина, зада-

ваемая формулой (18.9).

18.3 Многомерное нормальное распределение

Нормальное распределение играет в теории вероятностей и мате-

матической статистике особую роль. Рассмотрим многомерное нор-

мальное распределение. Пусть X

∈ N(0, 1) (i = 1, n)— н.о.р. с.в.

Тогда их совместная плотность имеет вид

p(x) = p(x

, . . . , x

) =

1≤i≤n

p(x

) =

(

√

2π)

exp







−

1≤i≤n







(18.10)

Определение 18.3. Распределение вектора X = (X

, . . . , X

)

с п.р.

p(x) (18.11) назовем n-мерным стандартным нормальным распре-

делением и обозначим через N(0, I)).

Глава 5 Планирование эксперимента 126

Характеристическая функция распределения (18.11), очевидно,

имеет вид

f(t) = M

i(t

,x)

= M

i(t

+...t

)

1≤i≤n

f(t

) = exp







−

1≤i≤n







. (18.11)

Вектор первых и матрица вторых моментов для этого распреде-

ления имеют вид:

~µ = MX = (MX

, . . . , MX

)

= (0, . . . , 0)

= 0,

DX = [M(X

)] = [δ

] = I.

Рассмотрим распределение вектора

Y = AX + b, A = [a

]

i=1,n, j=1,m

, b = (b

, . . . , b

) (18.12)

Вычислим сначала для него вектор первых и матрицу центральных

вторых мом ентов,

MY = (MY

, . . . , MY

)

= AMX + b = b,

DY = M [(Y − MY)(Y − MY)

] = M [AXX

] = AA

= C.

Полученная в результате вычислений матрица C обладает свойства-

ми, содержащимися в следующей лемме.

Лемма 18.2. Ковариационная матрица вектора Y обладает свой-

ствами:

1) симметрии: C

= C;

2) неотрицательной определенности: для любых комплексных

, . . . , z

справедливо:

C¯z =

¯z

≥ 0.

Глава 5 Планирование эксперимента 127

Доказательство. 1) C

= (AA

)

= A

= AA

= C.

2) Действи тельно, для любых z = (z

, . . . , z

)

имеем:

z = z

z = (z

A, A

z) = (g

g) =

≥ 0.

и равенство нулю имеет место тогда и только тогда, когда

= 0

для всех i = 1, m, т.е. если строки матрицы A линейно зависимы.

Заметим, что при m > n так будет всегда.

Характеристическая функция вектора Y = Ax + b равна

(t) = Me

i(t

= M exp{it

AX + it

b} =

= e

i(t

AX)

= e

i(t

A) =

= e

i(t

exp{−

t} = e

i(t

exp{−

Ct}.(18.13)

Рассмотрим п.р. вектора Y предполагая, что det A 6= 0,

(y)dy = P{y ≤ Y < y + dy} = P{y ≤ AX + b < y + dy} =

= P{y − b ≤ AX < y − b + dy} =

= P{A

−1

(y − b) ≤ X < A

−1

(y − b) + dA

−1

y} =

= p

−1

y)dA

−1

y = p

−1

y − b) det A

−1

Из эти х соотношений сл едует, что

(y) = det A

−1

(y − b) =

(2π)

det A

exp



−

(y − b)

−10

−1

(y − b)



Чтобы привести последнее выражение к естественным параметрам

распределения вектора Y заметим, что AA

= C, где C = C

являет-

ся ковариационной матрицей вектора Y. Если det A 6= 0, то det C =

Глава 5 Планирование эксперимента 128

det A · det A

= (det A)

и, стало быть, C

−1

= (AA

)

−1

= A

0−1

−1

Откуда

(y) =

(2π)

det C

exp



−

(y − b)

−1

(y − b)



. (18.14)

Таким обр азом, линейное преобразование Y = AX + b над стан-

дартным нормальным вектором X ∈ N(0, I) пр иводит к случайному

вектору с плотностью (18.14), где b—произвольный вектор, а C—

неотрицательно определенная матрица.

Определение 18.4. Распределение вектора Y = (Y

, . . . , Y

) назы-

вается многомерным нормальным распределением, если его характе-

ристическая функция имеет вид (18.13) и невырожденным нормаль-

ным, если его п.р. имеет вид (18.14).

Для произвольного многомерного нормального распределения с

вектором математических ожиданий ~µ и ковариационной матрицей

C введем обозначение N (~µ, C).

Замечание 1. Если Z = BY + c, то

Z = B(AX + b) + c = BAX + Bb + c = DX + f ,

т.е. для Z также имеет место представление (18.12)

Замечание 2. Если C вырожденная матрица, то соответствующее

распределение сосредоточено на подпространстве соответствующем

максимальному невырожденному ее минору.

Лемма 18.3. Всякая неотрицательно определенная матрица C

может быть представлена в виде C = AA

Доказательство. Доказательство проведите сами в виде задачи 2.

Замечание 3. С учетом леммы 18.3 можно утверждать,что вся-

кое многомерное нормальное распределение является результатом

линейного преобразования некоторого стандартного многомерного

нормального распределения.

Глава 5 Планирование эксперимента 129

Лемма 18.4. Пусть Y ∈ N(~µ, C), Z = BY + b. Тогда Z ∈ N(B~µ +

b, BCB

Из (18.14) следует, что ковариационная матрица двумерного нор-

мального вектора равна

C = M



− µ

)

− µ

)(X

− µ

)

− µ

)(X

− µ

) (X

− µ

)







так что

−1

1 − ρ

и,следовательно, его п.р. имеет вид

p(x

, x

) =

2πσ

1 − ρ

× exp



−

2(1 − ρ)



− µ

)

+ 2ρ

− µ

)(x

− µ

)

− µ

)



, (18.15)

18.4 Дополнения

Вопросы для контроля

1. Дайте опр еде лен ия:

а) функциональной зависимости с. в.,

б) статистической зависимости с.в.,

в) взаимозависимости с.в.,

г) многомерного нормального стандартного распределения.

2. Расскажите о характеристиках, вычисляемых для исследования

взаимозависимости с.в.

3. Какими свойствами обладают ковариационные матрицы много-

мерных нормальных с.в.?