Шелобаев С.И. Математические методы и модели

Подождите немного. Документ загружается.

в целом многие методы КА

—

довольно простые эвристиче-

ские процедуры, которые не имеют, как правило, строгого ста-

тистического обоснования, но позволяют свести к минимуму

вероятность допущения ошибки при трактовке результатов КА.

Разные кластерные методы могут порождать различные реше-

ния для одних и тех же данных. Это обычное явление в большин-

стве прикладных исследований. Окончательным критерием счи-

тают удовлетворенность исследователя результатами КА.

Разработанные кластерные методы образуют семь основных

семейств: иерархические агломеративные методы; иерархические

дивизимные методы; итеративные методы фуппировки; методы

поиска модальных значений плотности; факторные методы; ме-

тоды сгущений; методы, использующие теорию фафов.

По данным ряда исследований, около 2/3 приложений КА

используют иерархические агломеративные методы. Рассмотрим

его сущность на примере наиболее простого

метода одиночной

связи.

Процесс кластеризации начинается с поиска двух самых

близких объектов в матрице расстояний. На последующих шагах

к этой фуппе присоединяется объект, наиболее близкий к од-

ному из уже находящихся в фуппе. По окончании кластериза-

ции все объекты объединяются в один кластер.

Отметим несколько важных особенностей иерархических аг-

ломеративных методов: 1) все эти методы просматривают мат-

рицу расстояний размерностью

Л^

•

Л^

(где

Л^

—

число объектов) и

последовательно объединяют наиболее схожие объекты. Именно

поэтому они называются

агломеративными

(объединяющими); 2)

последовательность объединения кластеров можно представить

визуально в виде древовидной диафаммы, часто называемой

дендрограммой;

3) для понимания этого класса методов не нужны

обширные знания матричной алгебры или математической ста-

тистики. Вместо этого дается правило объединения объектов в

кластеры.

Для «ОЛИМП:СтатЭксперт» разработана профамма кластер-

ного анализа, основанная на иерархической агломеративной

процедуре и позволяющая пользователю управлять процессом

кластеризации. Кратко поясним суть предлагаемого метода.

Сначала ищутся два наиболее близких объекта (предположим,

А и В). Предположим, что расстояние между объектами А и В

равно R. В один кластер объединяются объекты, расстояние ме-

жду которыми меньше чем (10—Q/J, где С

—

четкость класси-

181

фикации, параметр управления процессом, принимающий зна-

чения от

до 10, который может меняться пользователем. При

0=10 на каждом шаге объединяются только два самых близких

элемента, т. е. имеет место иерархическая агломеративная про-

цедура в чистом виде. Однако, как показывает практика исполь-

зования КА, пользователю важнее вьщелить в пространстве

фуппы объектов с разной плотностью. В этом случае величину

С необходимо уменьшать. Минимальное расстояние R пересчи-

тывается на каждом шаге КА.

Объединение.

На каждом шаге КА происходит объединение

объектов, т.е. из нескольких объектов образуется один кластер.

Процедура кластеризации заканчивается, когда все первичные

объекты исчерпаны. Допустим, на каждом шаге объединяются п

объектов. Из этих объектов образуется один кластер как центр

тяжести этих объектов (среднее арифметическое по каждой ко-

ординате).

Размерность задачи уменьшается на величину л-1 (я объек-

тов удаляются, один добавляется). Далее производится пересчет

матрицы расстояний.

В профамме реализован кластерный анализ

наблюдений,

т.е.

в результате вычислительной процедуры каждое наблюдение

относится к той или иной фуппе. Кластеризация проводится на

основе одной из двух метрик:

1) евклидово расстояние:

^ =

ll(^i-yif'

2) корреляционное расстояние:

\\-r^,

где x={xi,

Х2,...,

х^} и

У'НУХ,

У2,-,

Ук)

— две точки;

г^у

—

парный коэф-

фициент корреляции между хну.

В профамме реализованы три метода классификации.- метод

«ближайшего соседа», метод «ОЛИМП», метод А-средних.

Метод ^ближайшего соседа»

представляет иерархический аг-

ломеративный метод. Процесс кластеризации начинается с по-

иска двух самых близких объектов в матрице расстояний, далее

к этой фуппе присоединяется объект, наиболее близкий к од-

ному из уже находящихся в фуппе. По окончании кластериза-

ции все ближайшие объекты объединены в один кластер.

182

Метод <(ОЛИМП»

основан на иерархической агломеративной

процедуре. На каждом шаге КА происходит объединение объек-

тов,

т. е. из нескольких объектов образуется один кластер. Про-

цедура кластеризации заканчивается, когда все первичные объ-

екты исчерпаны. Допустим, на каждом шаге объединяются п

объектов. Из этих объектов образуется один кластер как центр

тяжести этих объектов (среднее арифметическое по каждой ко-

ординате). Размерность задачи уменьшается на величину (л—1),

так как п объектов удаляются, а один добавляется. Далее произ-

водится пересчет матрицы расстояний.

Метод

К-средних

относится к итеративным методам фуппи-

ровки. Его достоинство

—

возможность управления количеством

групп (ЛГ-фупп), на которые должны быть разнесены наблюде-

ния. Алгоритм метода:

Начать с исходного разбиения данных не некоторое за-

данное число кластеров; вычислить центры тяжести этих класте-

ров (в программе исходное разбиение выполняется методом

ближайшего соседа).

Поместить каждую точку данных в кластер с ближайшим

центром тяжести.

Вычислить новые центры тяжести кластеров; кластеры не

заменяются на новые до тех пор, пока не будут просмотрены

полностью все данные. Шаги 2 и 3 повторяются до тех пор, по-

ка не перестанут меняться кластеры.

Содержательно этот метод направлен на поиск разбиения

выборки с минимальным разбросом. В отличие от иерархиче-

ских агломеративных методов, которые требуют вычисления и

хранения матрицы сходств между объектами размерностью

•

N, итеративные методы работают непосредственно с пер-

вичными данными. Поэтому с их помощью возможно обрабаты-

вать довольно большие множества данных. Более того, итера-

тивные методы делают несколько просмотров данных и могут

компенсировать последствия плохого исходного разбиения дан-

ных, тем самым устраняя самый главный недостаток иерархиче-

ских агломеративных методов. Эти методы порождают кластеры

одного ранга, которые не являются вложенными, и поэтому не

могут быть частью иерархии. Большинство итеративных методов

не допускают перекрытия кластеров.

На результаты кластеризации существенное влияние оказы-

вает выбор

меры

расстояния.

На практике их лучше бы называть

183

мерами

несходства:

для большинства используемых коэффици-

ентов большие значения соответствуют большему сходству, в то

время как для мер расстояния все наоборот. Считается, что два

объекта идентичны, если описывающие их переменные прини-

мают одинаковые значения. В этом случае расстояние между

ними равно нулю. Меры расстояния обычно не ограничены

сверху и зависят от выбора шкалы (масштаба) измерения. В

программе кластеризация проводится на основе метрик: евкли-

дово расстояние; корреляционное расстояние; расстояние город-

ских кварталов (манхеттенское); расстояние Махаланобиса

(обобщенное расстояние), вычисляемых по формулам табл. 5.6.

Главным недостатком

коэффициента корреляции

как меры

сходства является его чувствительность к форме при сниженной

чувствительности к величине различий между переменными. Он

также часто не удовлетворяет неравенству треугольника, и кор-

реляция, вычисленная этим способом, не имеет статистического

смысла, так как среднее значение определяется по совокупности

всевозможных разнотипных переменных, а не по совокупности

объектов (смысл «среднего» по разнотипным переменным дале-

ко не ясен). Однако данный коэффициент широко используется

в приложениях кластерного анализа [37, 38, 40, 44 и др.].

Таблица 5.6.

Расчетные формулы мещ>ик кластеризации

№

п/п

Показатель

Формула расчета *

1 Евклидово расстояние Fk Г

2 Корреляционное расстояние R = \\- г 1

3 Расстояние городских кварта- Р

лов dij = ZjW'k ~ ^д|

4 Расстояние Махаланобиса / \'v^-i/ \

[xi-xj) 2^ [Xi-Xj]

* В табл.5.6 введены следующие обозначения: для пп. 1 и 2

={xi,X2,...,

дс*}

у={у\,У2,

...,

Ук)

— две точки;

г^у

— парный коэффициент

корреляции между х vi у, для пп. 3 и 4 Е — общая внутригрупповая

дисперсионно-ковариационная матрица, а Xi, Xj — векторы значений

переменных для объектов / и /

184

Несмотря на важность евклидовой и других метрик, они

имеют серьезные недостатки. Наиболее важный состоит в том,

что оценка сходства сильно зависит от различий в сдвигах дан-

ных. Переменные, у которых одновременно велики абсолютные

значения и стандартные отклонения, могут подавить влияние

переменных с меньшими абсолютными размерами и стандарт-

ными отклонениями. Более того, метрические расстоящм изме-

няются под воздействием преобразованной шкалы измеренрш

переменных, при которых не сохраняется ранжирование по евк-

лидову расстоянию. Чтобы уменьшить влияние относительных

величин переменных, обычно перед вычислением расстояния

переменные нормируют к единичной дисперсии и нулевому

среднему.

В отличие от евклидовой и других аналогичных метрик мет-

рика расстояния Махаланобиса с помощью матрицы дисперсий-

ковариаций связана с корреляциями переменных. Когда корре-

ляция между переменными равна нулю, расстояние Махалано-

биса эквивалентно квадратичному евклидову расстоянию.

Для графической интерпретации результатов кластерного

анализа приводится график расположения исходных объектов в

пространстве первых двух главных компонент. При этом объек-

ты,

попавшие в один кластер, отображаются одним цветом.

Иногда объекты из разных кластеров расположены столь близко,

что может создаться иллюзия неправильной классификации. Это

связано с тем, что классификация проводится по большому чис-

лу переменных, а фафик строится по двум координатам, хотя и

отражающим основные особенности данных, поэтому расхожде-

ния между результатом классификации и фафическим отобра-

жением неизбежны.

Частотный анализ. Вместе с долговременными изменениями

во временных рядах часто появляются некоторые регулярные

колебания, изменения наблюдаемых значений которых могут

бьггь строго периодическими или близкими к таковым, оценива-

ясь в частотном аспекте. Для вьювления наличия и устойчивости

периода этих колебаний обычно используется математический

аппарат частотного анализа: гармонический анализ, спектраль-

ный анализ, частотная фильтрация, кросс-спектральный анализ,

который в совокупности позволяет с разных позиций анализи-

ровать исследуемый показатель, но он эффективен лишь при

достаточно большом объеме данных (желательно иметь 200—

300 наблюдений, но не менее 50 наблюдений), из которых пред-

185

варительно исключена тенденция (за исключением методов час-

тотной фильтрации).

При

гармоническом анализе

временной ряд наблюдений пред-

ставляется линейными комбинациями функций sin car—cos

шГ

на

основании конечного преобразования Фурье с выявлением наи-

более существенных гармоник. Если Y{t) — временной ряд

t=l,2,...,T,

то имеем:

y^t[ajOo{y-t)

bjSin[^tjy[ar/2i-\)]^ S

(T-l)/2 ,

где у

—

оценка математического ожидания ряда

Y{t),

а последнее сла-

гаемое добавляется в том случае, когда Т

—

четное число.

Коэффициенты oj, bj,

атд

вычисляются так:

аг/2=

^^^(^^(-ОТ-

Итак, временной ряд можно представить в виде суммы гар-

моник, при этом мощность каждой из них определяется как

Л*

а*

^*' ^ Л-я гармоника считается статистически значимой,

если она вносит существенный вклад в дисперсию временного

ряда (т.е. если отвергается статистическая гипотеза о том, что

Rk=Q).

Для проверки гипотезы вычисляется критерий вида:

TRl/^],

1енка дисперсии

фактических:

где о\ — оценка дисперсии отклонения вычисляемых значений от

cT|=[l>'?-7>-(7'/fi)/2]/(7'-3).

Вычисляемая величина имеет /"-распределение с V|=2 и V2 =

-Т—Ъ

степенями свободы. Гипотеза отвергается (гармоника счита-

ется значимой), если вычисленная величина больще чем 95%-ная

точка /"-распределения с соответствующими степенями свободы.

При

спектральном анализе

периодофамму x{t),

/=0,/,...,

Г вре-

менного ряда можно рассчитать так:

4^'(/)

' r-i •'»

/=о

186

/т

Если исходные данные квантованы с интервалом 1 и часто-

той Найквиста, равной для них 0,5, то периодофамма и спек-

тральная плотность рассчитываются на интервале от

до 0,5 в

точках / (/)

=y/2Af,

у=0,1,...,

М.

Спектральную плотность

можно определить по оценке Барт-

летта, являющейся усреднением периодограмм, вычисленных по

непересекающимся отрезкам временных рядов. В профамме

«СтатЭксперт» спектральная плотность при T=LV оценивается

аналогично, при условии пересечения временных интервалов.

Пусть имеем, что

I%\f.l)

V-\

2x(v + /К)ехр{- /27i(v

IV)]

v=0

/V; / =

0,1,...,1-1,

где V

—

ширина временного интервала; / — номер интервала; S -

смещение текущего временного интервала относительно предыдущего.

Тогда оценка спекфальной плотности получается так:

V/=0

•(У)

I'^\f.l)

/L.

Спектральные оценки можно сглаживать при помощи окон,

обеспечивающих уменьшение дисперсии выборочной спектраль-

ной плотности. На практике из множества известных окон обьи-

но используются: а) прямоугольное окно вида: X,;t = \, О < к < т\

б) окно Тьюки-Хеннинга вида:

>.,(

= \

2[\

+ со&кп

т\;

в) окно

Парзена следующего вида:

-ек^{\

-к/т)/т^ при 0.йк<т/2 ;

[2(1

-к /

т)

при т/

к й

Параметры, необходимые для расчета спектра мощности,

рассчитываются по следующему алгоритму: 1) вычисляют значе-

ние V.

V=n/3

(«

—

число наблюдений); если К<10, то принима-

ют К=10; если К>50, то принимают

У=50;

2) определяют вели-

чину смещения:

S==

V/2.

При

кросс-спектральном

анализе оценивается связь между

частотными составляющими двух временных рядов на основе

параметров когерентности, фазового сдвига и коэффициента

усиления (табл. 5.7).

Аналогично спектру /^ можно получить оценку спектра fy

для ряда у. Интерпретация результатов кросс-спектрального

анализа

—

тонкий процесс. Например, когерентность аналогич-

187

на квадрату коэффициента корреляции на соответствующей час-

тоте,

коэффициент усиления

—

коэффициенту линейной регрес-

сии процесса по процессу на соответствующей частоте, фазовый

сдвиг характеризует временное смещение между составляющими

двух процессов.

Таблица

5.7.

Расчетные параметры 1д>осс-спекп^ального анализа

Показатель Формула расчета

п/п

Взаимные

(п-к / | п "-* М

коварна-

С^ДА:)

= \

Y,x,y,^^

- ^ У, £

Jc,

[ / (л - Л);

ЦИОННЫе

[»=1 ^"~'^l=k + \ /=1 /J

функции

г^ . ^ ^., ..

[/=1 ЧЯ-л,=* + 1 ,=1 yj

Ш^Т

?(w>) =

^{С..у

(0) +

СА^))

тельная

3 Квадратур- , 1 v^^ /^ ^i,\ ^ li,\\ • ь t

ный ^1™ у) = у- Z

(Суу (^)

Сух [к))

sm юу

А:,

Щу

= —,

спектр ^^

*=1

(мнимая J =

0,1,...,

/я

часть спек-

тра)

^огерент

-j^^^

^ [с(а)уf + q((iijf

/ /Ди;)/^©;)

' Sr" $(co,) = arctg[.>,)/c>,)]

' u^et^Jc-H- Л^(<о>) = Л(<»;)С(со,)/Л(со,)

ления

Спектр 7, ^д^^ ^ L ^^Q^ ^ 2£ ^,C,(*)cos

Ш;

к/2п ;

для ряда

L itTi

при частотной фильтрации, осуществляемой посредством

высокочастотного (ВУФ) и низкочастотного (НУФ) фильтра,

для каждого из них рассчитываются соответствующие силовая и

фазовая характеристики (табл. 5.8). Низкочастотный фильтр

188

предназначен для устранения тренда (низкочастотной состав-

ляющей временного ряда наблюдений). Высокочастотный

фильтр, наоборот, предназначен для вьщеления тренда из ис-

ходных данных.

№

п/п

Таблица

5.8.

Расчетные формулы параметров

филыпров*

Показатель

Выход НУФ

Выход ВУФ

Расчетная формула

jc,-2x^.,+x^2=aoe/-,+d,«^, + 02*^-2;

ао = \

к'

к42\ fl, = 2(A:^-l);

ai^l

k^-k^l;

* = tg(Q/2)

flo =

1 +

Л^

+ Л>/2

; а, =

7{к}

+1);

a2 = l

/t'-/fe>/2

» П

—

частота отсечки; е,

—

оценка ВЧ (НЧ) составляющей для НУФ

(ВУФ), при их оценке теряются два первых наблюдения. Оценкой

тренда в этом случае является ряд у^х,

—

е„ который может быть ис-

пользован для прогнозирования.

189

Глава

Структурный

анализ, обработка

нечисловой

информации и критерии принятия решений

Проведение социально-экономической политики государства

отражается в изменении пропорций между отраслями, региона-

ми,

территориями, социальными фуппами населения и др. Для

принятия эффективных решений часто необходимо определять

наличие структурных изменений, оценивать их существенность

в целом и в различных сравниваемых периодах, определять ди-

намику и тенденции структурных сдвигов.

6.1.

Стру1аурный анализ

Для проведения статистического анализа изменения структу-

ры необходимо иметь данные об исследуемом показателе не ме-

нее чем за два сравниваемых периода либо данные о двух объек-

тах за один и тот же период. Исходные данные могут быт|> пред-

ставлены в виде временных рядов наблюдений либо в фиксиро-

ванный момент времени. Изменение структуры во времени на-

зывается

структурным

сдвигом,

а различия между объектами в

конкретный момент времени

—

структурными

различиями.

В за-

висимости от исходных данных с использованием статистиче-

ских средств анализа можно оценить: а) структурные сдвиги во

времени (за ряд лет) по одному показателю; б) структурные раз-

личия объектов исследования (например, предприятий, районов,

областей) в конкретный момент времени.

При наличии данных по нескольким показателям (объем

продукции, капитальные вложения, основные фонды и числен-

ность в одном разрезе, например, в разрезе отраслей) можно для

каждого из них провести исследование, а затем, интегрировав

полученные результаты, получить более полную информацию.

Указанные задачи нельзя решить средствами описательной

статистики, включая графические средства, так как они способ-

190