Рубан А.И. Методы анализа данных. Практикум
Подождите немного. Документ загружается.
51
(
n
m
<
), 3) либо измерения не информативны. Запишем теперь решение сис-
темы:
*
0
*111
)( HNHKK
TT
=ΦΦΦ=α
−−−
Для частного случая, когда помеха
ξ
некоррелирована и измерения
равноточные и при использовании понятия скалярного произведения функ-
ций:
∑
=
−
ϕϕσ=ϕϕ
n
i
ikilkl
uu
1
2
)()(),( ,
∑
=
−
ηϕσ=ηϕ
n
i
iill
u
1
*2*
)(),( .
Получаем систему:
ηϕ
ηϕ
=
α
α
ϕϕϕϕ
ϕϕϕϕ
),(
),(
),(),(
),(),(
*
*
11
1
111
m
mmmm
m
KK
K
K
K
Если измерения выхода объекта некоррелированы, но неравноточны,
то система сохраняет свой вид. Меняется лишь понятие скалярного произве-
дения (в него вводятся веса ni
i
,1,
2
=σ
−
):
∑
=
−
ϕσϕ=ϕϕ
n
i
ikiilkl
uu
1
2
)()(),(
,
∑
=
−
ησϕ=ηϕ
n
i
iiill
u
1
*2*
)(),(
.
Далее рассчитываем параметры модели, решая полученную систему
уравнений, которая зачастую распадается на
m
независимых уравнений.
Набор моделей для реализации в рамках расчетно-графической работы:
1.
α
=
α
η
)
,
(
u
2.
∑
=
−
=−α+α=αη
n
i
i
unuuuu
1
1
21
),(),(
3.
22121
),( uuu
α
+
α
+
α
=
α
η
4. )()(),(
222111
*
21
uuuuuu −α+−α+η=η
где
∑∑∑ ∑
== = =
==η=η
m
j
j
n
i
m
j
n
i
iij
u
m
uu
n
u
nm
1
22
1 1 1
11
*
1
,
1
,
1
.
5. Разработать две линейные модели по тому же принципу что и выше
приведенные самостоятельно.
52
При расчете параметров модели реализовать два вариант генерации
помехи: равноточный и не равноточный случаи.
Для визуализации полученных результатов можно выводить графики
примерно следующего вида (как показано на рисунке 8.1):
u
η
*
η
u
)(),(
2
1
uuu
−
α
+
α
=
α
η
),(
),(
αη
+αη
u
Dcu
),(
),(
αη
−αη
u
Dcu
1
u
*
1
η
Рисунок 8.1
8.9 Исследование простейшего алгоритма адаптивной идентифи-
кации параметров статических (линейных и нелинейных относительно
параметров) моделей объектов
Цель работы: исследование свойств простейшего алгоритма адаптив-
ной перестройки параметров статических (линейных и нелинейных относи-
тельно параметров) моделей объектов.
Рассматриваемый алгоритм относится к самым первым применяемым в
адаптации алгоритмам. В силу его предельной простоты и часто неплохих
свойств его применяют и в настоящее время либо в первозданном виде, либо
с небольшими модификациями.
На каждом
n
–м шаге, когда поступили новые измерения входа и выхо-
да объекта (
nn
u
η
,
), параметры модели (вектор-столбец)
α
корректируются
по соответствующему алгоритму, и полученные значения обозначаем через
n
α
.
53
При линейной параметризации модели (
αϕ=αη )(),( uu
T
) на итера-
циях с номерами
n
и
n
−
1
параметры модели вычисляются из условия ра-
венства выходов модели и объекта:
nn
T
n
u αϕ=η )(
*
,
11
*
1
)(
−−−
αϕ=η
nn
T
n
u
.
Первое уравнение запишем через приращение параметров на соседних
итерациях:
nn
T
nn
T
nnn
T
nn
T
n
uuuu α∆ϕ+αϕ=α−αϕ+αϕ=η
−−−
)()())(()(
111
*
.
Из этого уравнения отыскиваем приращения параметров
n
α
∆
, наложив
на них ограничение (минимум квадрата нормы приращения)
min||||
2
=α∆
n
Иллюстрация этого алгоритма вычисления
приращения
n
α
∆
приведена на рис. 8.2. Точка
n
α
выбирается из условия минимума расстояния от
1−
α
n
. Правая линия соответствует уравнению
11
*
1
)(
−−−
αϕ=η
nn
T
n
u
при
α
=
α
−1n
, а левая – урав-
нению
nn
T
n
u αϕ=η )(
*
также при
α
=
α
n
.
Алгебраический вид этого алгоритма (с использованием операции
псевдообращения матриц) имеет вид:
=ϕ
ϕϕ
αϕ−η
+α=α
−
−
)(
)()(
))((
1
*
1 n
nn
T
nn
T
n
nn
u
uu
u
K
,2,1,))()()((
1
*
1
=ϕαϕ−η+α=
+
−−
nuu
n
T
nn
T
nn
Здесь знак "+" – псевдообращения (обобщенного обращения) матрицы.
Если помеха измерения
ξ
отсутствует, то
au
n
T
n
)(
*
ϕ=η
и точкой пе-
ресечения прямых являются истинные параметры
a
объекта. Алгоритм осу-
ществляет последовательное перемещение параметров модели к этой точке.
Из рисунка 8.1 также видно, как можно многократно последовательно ис-
пользовать две пары измерений входа и выхода объекта для перемещения к
точке пересечения прямых.
2
α
1
α
n
α
1−
α
n
n
−
1
n
a
Рисунок 8.2
54
Если есть аддитивная помеха, т. е.
n
au
n
T
n
ξ+ϕ=η
∗
)(
, то из алгоритма
перестройки параметров следует, что
)(
)()(
n
nn
T
n
n
n
u
uu
a ϕ
ϕϕ
ξ
+>−−α
∞→
.
Дополнительная помеха в оценках параметров асимптотически не убы-
вает и для ее нейтрализации необходимо применять дополнительно сглажи-
вание (последовательный пересчёт оценок математического ожидания) полу-
чаемых оценок
n
α
α
α
,,,
21
K
:
....,2,1),(
1
1
1
=α−α+α=α
−
−
−
nn
nnnn
Усреднение можно провести с учетом экспоненциального забывания
информации:
)()(
1
1
1
11
1
−
−
−
=
−
=
−−
α−αδ+α=αλλ=α
∑∑
nnnn
n
i
i
in
n
i
in
n
...,,2,1,0,1
01
=
=
δ
λδ
+
=
δ
−
n
nn
1
0
<
λ
<
, например,
995
.
0
9
.
0
≤
λ
≤
; или методом скользящего среднего:
)(
ˆˆ
1
1
1
1
knnn
n
kni
in
kk
−
−
−
−+=
−
α−α+α=α=α
∑
,
...,
,
2
,
1
+
+
=
k
k
n
k
– количество усредняемых значений. Два последних алгоритм применяют
при подстройке дрейфующих параметров объекта.
Чувствительность к помехам можно уменьшить, применяя в алгоритме
дополнительный положительный параметр
γ
. Его вводят двумя способами:
K,2,1,0,)(
)()(
))((
1
*
1
=>γϕ
ϕϕ
αϕ−η
γ+α=α
−
−
nu
uu
u
n
nn
T
nn
T
n
nn
;
K,2,1,0,)(
)()(
))((
1
*
1
=>γϕ
ϕϕ+γ
αϕ−η
+α=α
−
−
nu
uu
u
n
nn
T
nn
T
n
nn
.
Второй способ часто оказывается более предпочтительным, ибо пара-
метр
γ
осуществляет дополнительно регуляризацию алгоритма, когда
)()(
nn
T
uu ϕϕ приближается к нулю.
55
При нелинейной параметризации модели
)
,
(
α
η
u
на каждом шаге мо-
дель линеаризуется и приращения параметров находится из равенства выхода
модели и линеаризованной модели
nnn
T
nnn
uu α∆αη∇+αη=η
−α−
),(),(
11
*
с учетом того же критерия минимум квадрата нормы приращения
min||||
2
=α∆
n
.
В итоге алгоритм перестройки параметров нелинейной модели приоб-
ретает вид:
),(
),(),(
)),((
1
11
1
*
1 −α
−α−α
−
−
αη∇
αη∇αη∇
αη−η
+α=α
nn
nnnn
T
nnn
nn
u
uu
u
,
K
,
2
,
1
=
n
.
При составлении плана исследований и при выполнении работы вам
поможет блок-схема последовательности выполнения операций, приведённая
на рисунке 8.3.
56
Объект
Расчёт текущего показателя близости параметрической
модели и сигнальной части выхода объекта
h
a
u
y
+
η
=
)
,
(
Генерирование
значений входного
воздействия
Текущие измерения входов и выходов объекта
Исследователь может менять вид входного
воздействия, структуру модели, а также сигнальную
часть (структуру и параметры) и помеху (при имитации
объекта)
Рисунок. 8.3. Блок-схема последовательности выполнения
операций
при адаптивной перестройке параметров статических моделей
Задание структуры модели
Расчёт текущих значений параметров линейных и
нелинейных (относительно параметров) моделей на
основе простейшего адаптивного алгоритма
57
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Рубан, А. И. Методы анализа данных. Учебное пособие / А. И. Рубан,
// уч. пособие. 2-е изд., исправл. и доп. Красноярск: ИПЦ КГТУ, 2004. 319 с.
2. Рубан, А. И. Методы оптимизации / А. И. Рубан, уч. пособие. 3-е
изд., испр. и доп. Красноярск: ИПЦ КГТУ, 2004. 528 с.
3. Гмурман, В. Е. Руководство к решению задач по теории вероятно-
стей и математической статистике / В. Е. Гмурман, уч. пособие для студентов
вузов. М.: Высш. школа, 2002. 400 с.
4. Кнут, Д. Э. Исскуство программироаня том 2. Получисленные алго-
ритмы, 3-е изд. / Д. Э. Кнут, Пер. с англ. : Уч. пособие. – М.: Издательский
дом «Вильямс», 2000. – 832 с.
58
ОГЛАВЛЕНИЕ
Введение ............................................................................................................... 3
1. Общие требования.......................................................................................... 4
1.1. Требования по оформлению ...................................................................... 4
1.2. Требования к реализации ........................................................................... 5
1.3 Пример интерфейса пользователя .............................................................. 6
1.4 Выдача и прием заданий ............................................................................. 6
2. Общая схема построения работы ................................................................. 8
2.1. Общий метод генерации непрерывных распределений ........................... 8
2.2. Генерация чисел, по нормальному закону с использованием
центральной предельной теоремы .............................................................. 9
2.3. Генерация чисел по нормальному закону методом полярных координат
...................................................................................................................... 9
3. Статистическая проверка гипотез ............................................................. 11
3.1 Исследование алгоритмов проверки гипотезы о математическом
ожидании ................................................................................................... 11
3.2 Исследование алгоритмов проверки гипотезы о дисперсиях ................. 12
3.3 Исследование алгоритмов проверки гипотезы о равенстве
математических ожиданий ........................................................................ 14
3.4 Исследование алгоритмов проверки гипотезы о выявлении аномальных
измерений .................................................................................................. 15
3.5 Исследование алгоритма проверки гипотезы об однородности ряда
дисперсий ................................................................................................... 16
3.6 Исследование алгоритма проверки гипотезы о распределениях ............ 17
4 Классификация в распознавании образов................................................. 18
4.1 Исследование байесовского правила классификации в распознавании
образов при непрерывных информативных признаках (условные
плотности известны с точностью до параметров) ................................... 18
4.2 Исследование байесовского правила классификации в распознавании
образов при непрерывных информативных признаках (условные
плотности известны с точностью до параметров) и без обучающей
выборки. ..................................................................................................... 22
5. Планирование эксперимента ...................................................................... 24
5.1 Исследование алгоритмов построения степенных моделей с
использованием ортогональных планов первого и второго порядков ... 24
6. Методы непараметрической обработки информации ............................ 35
59
6.1 Исследование оценок "К ближайших соседей" и Розенблатта – Парзена
.................................................................................................................... 35
6.2 Исследование непараметрической оценки прямой регрессии ................ 36
6.3 Исследование непараметрической оценки инверсной регрессии ........... 41
6.4 Исследование правила классификации в распознавании образов с
использованием непараметрической реализации байесовского подхода
.................................................................................................................... 42
7. Методы экспериментальной оптимизации .............................................. 44
7.1 Исследование алгоритмов одномерного поиска минимума
унимодальных функций (деление отрезка пополам и по золотому
сечению) ..................................................................................................... 44
7.3 Исследование симплексного алгоритма поиска экстремума функций... 44
7.4 Исследование градиентного алгоритма поиска экстремума функций (с
использованием планирования первого порядка) ................................... 46
7.5 Исследование алгоритма Ньютона поиска экстремума функций (с
использованием планирования второго порядка) ................................... 48
8. Идентификация статических моделей объектов ..................................... 50
8.1 Исследование алгоритма наименьших квадратов при линейной
параметризации модели ............................................................................ 50
8.9 Исследование простейшего алгоритма адаптивной идентификации
параметров статических (линейных и нелинейных относительно
параметров) моделей объектов ................................................................. 52
Библиографический список............................................................................ 57
Оглавление ........................................................................................................ 58