Кузьмин С.И. Методы научных исследований в технических задачах
Подождите немного. Документ загружается.
71
Если две случайные величины независимы, то дисперсия
их суммы равна сумме дисперсий [5]:
{
}
[
]
[
]
YDXDYXD
+
=+
(5.1.)
C другой стороны по определению дисперсии имеем:
{}
(
)
[
]
{
}
(
){}()
[
]
{}
[]
{}(){}()
[]
{}
[]
[] []
{}(){}()
[]
YMYXMXMYDXD
YMYMYMYXMXMXMXM
YMYXMXMYXMYXMYXD
−−+++
=−+−−+−=
=−+−=+−+=+
2
2
22
22
(5.2.)
Для независимых случайных величин третий член урав-
нения (5.2.) равен 0. Если он не равен 0, то по определению
(см. 5.1)
X
и
Y
зависимы.
Выражение
[
]
yx
mYmXM
−
− )((
> 0 называется корреляци-
онным моментом или ковариацией Cov{XY}, а безразмерная
величина
xy
r коэффициентом корреляции:
[
]
yx
yx
xy
mYmXM
r
δδ
))((
−
−
=
.
Для независимых случайных величин
xy
r
=0. Коэффици-
ент корреляции характеризует только линейную зависимость
между
X
и
Y
.
В практических расчетах используют выборочный коэф-
фициент корреляции
*
xy
r
определяемый на основе выбороч-
ных средних и дисперсии:
yx
n
i
ii
xy
SSn
yyxx
r
)1(
))((
1
*
−
−−
=
∑
=
.
5.3. Регрессия
Зависимость между случайными величинами полностью
определяется условной функцией распределения. Использо-
вание функции распределения на практике затруднительно,
по этому пользуются условной средней
y
m
и условной дис-
72
персией
2
y
δ
. Зависимость условного среднего
y
m
от случай-
ной величины
X
называется регрессией.
Пусть имеется две случайные величины А и В, прини-
мающие соответственно значения а
i
и b
i
между которыми
есть некая статистическая зависимость. Графически эту зави-
симость можно выразить «облаком данных», соответствую-
щим значениям реализации случайных величин А и В – (a
i
,
b
i
), i = 1…n. Такая картина, как правило, возникает при экс-
периментальных исследованиях в силу названных выше при-
чин.
Если для случайных величин (А и В) задана условная
функция распределения, то в качестве кривой берут матема-
тическое ожидание случайной величины
B
, при условии, что
случайная величина
A
приняла значение
a
:
в = (В/А = a M) =
ϕ
(
(
)()
aaABMb
ϕ
=
=
=
/
a)
Уравнение
()
a
ϕ
называется уравнением регрессии
B
от
A
.
Буквально слово «регрессия» для характеристики связи
случайных величин не очень подходит. Его ввёл в математи-
ку английский учёный Ф. Гальтон. При сопоставлении роста
детей с ростом их родителей, он обнаружил довольно слабую
связь между ростом отцов и детей и объяснил это влиянием
более отдалённых предков – дедушек, прадедушек и т.д.
Движение назад он и назвал регрессией, хотя в математике
под этим термином подразумевают просто статистическую
связь между случайными величинами.
Как правило, вид уравнения регрессии
()
Xy
ϕ
=
не из-
вестен и его необходимо подобрать.
Формально, функция
(
)
Xy
ϕ
=
должна проходить через
все математические ожидания случайной величины
B
-
i
b
, и
в принципе такую функцию можно подобрать, исходя, из их
огромного многообразия. Однако на практике применяют
73
другой подход. Учитывая, что в силу разброса данных в об-
лаке, и из соображений практически- достаточной точности
модели процесса, функцию
(
)
Xy
ϕ
=
можно заменить другой
функцией
()
XfY
=
, которая наиболее близко примыкает к
исходной, и такую функцию принято называть уравнением
приближённой регрессии.
При обработке экспериментальных данных находят
уравнение приближённой регрессий, оценивая величину и
вероятность этой приближённости. Эта задача решается ме-
тодом регрессионного анализа.
5.4. Метод наименьших квадратов
Уравнение приближённой регрессии (его численные ко-
эффициенты) определяют по методу наименьших квадратов.
Основной постулат метода состоит в следующем: наилучшее
уравнение приближённой регрессии даёт та функция, для ко-
торой сумма квадратов отклонений имеет наименьшее значе-
ние:
∑
=
→−=
n
i
ii
xfyФ
1
2
min)]([
,
()
i
xf
) – принятый вид функции - как модель уравнения
регрессии.
Если
()
n
bbbbxfy ,.....,,,
210
=
дифференцируемая функция
и требуется определить значения численных коэффициентов
n
bbbb ,....,,
210
так чтобы:
∑
=
=−=
n
i
ni
bbbbxfyФ
1
2
210
min)]....,,,([
,
то необходимым условием минимума
(
)
n
bbbbФ ....,,
210
являет-
ся выполнение равенств:
0........0 ;0
10
===
n
b
Ф
b
Ф
b
Ф
∂
∂
∂
∂
∂
∂
;
или
74
∑∑
==
=−
n
i
n
i
i
ni
i
i
b
xf
bbbbxf
b
xf
y
11
0
210
0
0
)(
).....,,,(
)(
∂
∂
∂
∂
;
(5.1)
∑∑
==
=−
n
i
n
i
i
ni
i
i
b
xf
bbbbxf
b
xf
y
11
1
210
1
0
)(
).....,,,(
)(
∂
∂
∂
∂
.
………………………………………….
∑∑
==
=−
n
i
n
i
n
i
ni
n
i
i
b
xf
bbbbxf
b
xf
y
11
210
0
)(
).....,,,(
)(
∂
∂
∂
∂
Количество уравнений в системе, столько же, сколько
неизвестных коэффициентов
(
)
n
bbbb ....,,
210
входит в уравне-
ние регрессии, то есть система (5.1) является системой нор-
мальных уравнений.
Решить систему (5.1) в общем виде нельзя. Для этого на-
до задаться видом функции
f
.
Допустим, требуется определить по методу наименьших
квадратов коэффициенты линейного уравнения:
xbbY
10
+
=
по выборке объёма n.
Система нормальных уравнений имеет вид:
∑∑
==
=+−
n
i
n
i
ii
xbby
11
10
0)(
;
∑∑
==
=+−
n
i
n
i
iiii
xxbbxy
11
10
0)(
;
или
∑∑
==
+=
n
i
i
n
i
i
xbnby
11
10
;
∑∑∑
===
+=
n
i
i
n
i
n
i
iii
xbxbxy
1
2
1
1
1
0
;
коэффициенты
0
b
и
1
b
находятся из решения этой системы.
75
Выборочный коэффициент корреляции
*
r
:
yx
n
i
ii
SSn
yyxx
r
)1(
))((
1
*
−
−−
=
∑
=
.
Пример. Рассмотрим возможность составления уравне-
ния регрессии для коэффициента теплопроводности
λ
строи-
тельного материала (бетона) от его плотности
ρ
. В таблице
5.2 приведены результаты экспериментального определения
λ
для семи образцов бетона с различной плотностью.
Таблица 5.2
№ Плотность
Коэффициент тепло-
проводности
i
λ
Среднее
(
)
i
ρλ
*
2
i
ρ
λ
)
Опыта
3
/ мкг
λ
1 1,2 0,62 0,66 0,64 0,65 0,64 0,771 1,44 0,63
2 1,4 0,74 0,73 0,76 0,75 0,75 1,043 1,96 0,78
3 1,6 0,86 0,88 0,90 0,88 0,88 1,408 2,56 0,93
4 1,8 1,08 1,1 1,09 1,09 1,09 1,962 3,24 1,07
5 2,0 1,21 1,24 1,25 1,23 1,23 2,465 4,00 1,22
6 2,2 1,36 1,37 1,38 1,37 1,37 3,014 4,84 1,37
7 2,4 1,48 1,46 1,47 1,5 1,48 3,546 5,76 1,52
Сумма 12,6 7,44 14,21 23,80
Каждый образец материала изготавливался в четырех эк-
земплярах, для каждого из которых определялся
λ
.
Коэффициенты:
n
b
b
n
i
i 1
7
1
0
−
=
∑
=
=
λ
= -0,26,
∑∑
∑∑∑
=
=
=
=
=
=
=
=
=
=
⎟
⎠
⎞
⎜
⎝
⎛
−
−
=
7
1
2
7
1
2
7
1
7
1
7
1
1
n
i
n
i
ii
n
i
n
i
i
n
i
iii
n
n
b
ρρ
ρλρλ
=0,73.
Соответственно уравнение выглядит следующим обра-
зом:
26,073,0
−
=
ρ
λ
. (5.2)
76
Таблица 5.3
Рис.5.1 Апраксимация экспериментальных значений
коэффициента теплопроводности линейной моделью
После определения коэффициентов уравнения их значе-
ние необходимо сравнивать с ошибками воспроизводимости
и адекватности – то есть провести регрессионный анализ.
Обычно его проводят по следующей схеме.
1. Проверяется однородность дисперсии в каждом опыте.
Если число повторений в каждом опыте одинаково, то ее
проводят по критерию Кохрена (Кочрена) —
G
:
№
Плотность
ρ
Среднее
(
)
2
i
λλ
)
−
Опыта
3
/ мкг
λ
1 1,2 0,64 0,00010
2 1,4 0,75 0,00078
3 1,6 0,88 0,00212
4 1,8 1,09 0,00026
5 2,0 1,23 0,00006
6 2,2 1,37 0,00000
7 2,4 1,48 0,00144
Cумма: 0,00476
0,60
0,70
0,80
0,90
1,00
1,10
1,20
1,30
1,40
1,50
1,60
1,2 1,4 1,6 1,8 2,0 2,2 2,4
Плотность
Коэффициент теплопроводности
77
∑
=
=
n
i
i
S
S
G
1
2
2
max
.
Распределение
G зависит от числа опытов
n
и степени
свободы
1−= mf
. Если
()
fnp
GG
;,1−
≤
, то при выбранном уров-
не значимости
p
расхождения между дисперсиями случайны.
Следовательно, дисперсии однородны, и их можно усред-
нить.
2. Оценка значимости коэффициентов производится по кри-
терию Стьюдента-
t
:
bj
j
j
S
b
t
||
=
,
где
j
b
–
j
-й коэффициент уравнения регрессии.
bj
S
– среднеквадратичное отклонение
i
- го коэффициен-
та.
2
2
1
i
n
i
i
j
bj
S
y
b
S
∑
=
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
∂
=
∂
;
или для
0
b и
1
b
∑∑
∑
==
=
−
=
n
i
n
i
ii
n
i
iвоспр
b
xxn
xS
S
11
222
1
22
0
)(
;
∑∑
==
−
⋅
=
n
i
n
i
ii
воспр
i
xxn
nS
Sb
11
22
2
)(
.
Если
i
t
больше табличного
fp
t
,
для выбранного уровня
значимости
p
и степени свободы
1
−
=
nf
, то коэффициент
i
b
значимо отличаются от нуля. Незначимые коэффициенты
исключается из уравнения регрессии.
78
3. Адекватность проверяется по критерию Фишера-
F
:
2
2
воспр
ад
S
S
F =
;
lnf
ад
−
=
,
Где
l
– число оставшихся коэффициентов в уравнении,
после исключения незначимых.
Для одинакового числа параллельных опытов m
1
= m
2
…
m
n
= m :
ln
yym
S
n
i
ii
ад
−
−
=
∑
=1
2
2
)(
;
)1(
)(
11
2
2
−
−
=
∑∑
==
mn
yy
S
n
i
m
u
uii
воспр
.
Уравнение регрессии считается адекватным эксперимен-
ту при доверительной вероятности
β
, если выполняется ус-
ловие:
табл
ff
FF
);;(
21
β
≤
(5.3)
Проведем регрессионный анализ для нашего примера.
Критерий Кохрена
202,0
001442,0
000292,0
1
2
2
max
===
∑
=
n
i
i
S
S
G
Табличное значение критерия
),,1( fnp
G
−
при числе степе-
ней свободы
314
=
−=f
и доверительной вероятности
β
=0,95 равно
48,0
)3;7;95,0(
=G
. Следовательно, дисперсии од-
нородны.
Дисперсия воспроизводимости
воспр
S
:
001,0
)14(*7
0208,0
2
=
−
=
воспр
S
79
Среднеквадратичные отклонения коэффициентов состав-
ляют:
∑∑
∑
==
=
⎟
⎠
⎞
⎜
⎝
⎛
−
=
7
1
2
7
1
2
7
1
22
7
0
ii
ii
i
iвоспр
b
S
S
λλ
λ
=
055,0
76,1588,23*7
8,23*001,0
=
−
;
029,0
76,1588,23*7
7*001,0
7
7
1
2
7
1
2
2
1
=
−
=
⎟
⎠
⎞
⎜
⎝
⎛
−
=
∑∑
==ii
ii
воспр
b
nS
S
λλ
.
Значения критериев Стьюдента для коэффициентов
уравнения (5.2):
71,4
107,0
26,0|26,0|
0
−==
−
=
bi
S
t
;
68,24
058,0
73,0|73,0|
1
===
bi
S
t
.
Табличное значение критерия Стьюдента при числе сте-
пеней свободы воспроизводимости
21)1( =
−
=
mnf
воспр
и до-
верительной вероятности 0,95 равно
08,2
)21;95,0(
=
t
. И так, как
оба расчетных критерия Стьюдента коэффициентов больше
табличного, то, следовательно, нет оснований исключать их
из уравнения регрессии.
Проверку уравнения регрессии на адекватность экспери-
ментальным значениям выполняется по критерию Фишера
F
:
- дисперсия адекватности
0038,0
5
00476,0*4
27
)(4
7
1
2
2
==
−
−
=
∑
=i
i
ад
S
λλ
Расчетный критерий Фишера:
8,3
001,0
0038,0
2
2
===
воспр
ад
S
S
F
80
Табличное значение критерия Фишера для уровня значи-
мости p=0,05 и степеней свободы адекватности
5
1
=−= lnf
и воспроизводимости
21)14(*7)1(
2
=
−
=
−
=
mnf
равно
7,2
)21;5;95,0(
=
табл
F
, что меньше расчетного. Из этого следует, что
для приведенных условий эксперимента полученные резуль-
таты удовлетворительно не описываются линейным уравне-
нием. Здесь возникает довольно типичная ситуация: с одной
стороны максимальная ошибка в описании результатов экс-
перимента оставляет всего 4%, что вполне удовлетворитель-
но для практических расчетов, с другой стороны уравнение
не может
быть принято к использованию из-за формального
невыполнения требований проверки по критерию Фишера.
Основной причиной этого несоответствия является слишком
малая дисперсия воспроизводимости. И парадокс статистиче-
ской проверки заключается в том, что чем «тоньше» экспе-
римент, тем сложнее добиться адекватного его описания ма-
тематической функцией.
Если уравнение регрессии представляет собой полином
некоторой
степени, то для нахождения коэффициентов этого
полинома необходимо решить систему линейных уравнений.
Пусть функция имеет вид параболы второго порядка:
2
2110
xbxbbY ++=
.
При этом:
2
210
)(
;
)(
;1
)(
x
b
xf
x
b
xf
b
xf
===
∂
∂
∂
∂
∂
∂
.
Используя формулы системы (5.1), получим:
∑∑∑
===
=++
n
i
i
n
i
i
n
i
i
yxbxbnb
11
2
2
1
10
∑∑∑∑
====
=++
n
i
ii
n
i
i
n
i
i
n
i
i
xyxbxbxb
11
3
2
1
2
1
1
0
(5.4)
∑∑∑∑
====
=++
n
i
ii
n
i
i
n
i
i
n
i
i
xyxbxbxb
1
2
1
4
2
1
3
1
1
2
0