Конспект лекцій - Економетричне моделювання

Подождите немного. Документ загружается.

Таблиця 9.5

Відбір власних значень для пояснення дисперсії

Сума 2,60812 4,86631 6,64964 7,39134 7,73314 7,87315 7,9817 8

Частка, % 33 61 83 92 97 98 100 100

З аналізу таблиці 9.5 випливає, що для заданого ступеня пояс-

нення дисперсії достатньо залишити перших три головних компонен-

ти. Вони пояснюють 83 % дисперсії вихідних ознак. Обчислимо фак-

торні навантаження перших трьох головних компонент за формулою

(9.17). Результат запишемо до таблиці 9.6.

Таблиця 9.6

0,7352 0,1993 0,5593

–0,0565 0,9369 –0,3008

–0,4635 0,3248 0,3679

0,3101 –0,8711 –0,1165

–0,6994 –0,6773 0,0948

0,4565 –0,0465 0,8338

–0,5383 0,0448 0,7033

0,8752 –0,1157 –0,1797

Значення головних компонент, обчислені за формулою (9.19),

занесемо до таблиці 9.7.

Таблиця 9.7

F F

2 3

–0,3064 –0,3613 0,3784

–1,1987 –0,2501 0,5741

–0,2518 –0,9911 1,2268

–0,0778 –1,3242 –0,8513

0,5239 –0,8913 –1,1477

–1,9152 1,0971 –0,1139

1,0543 1,0121 1,6296

1,3908 –0,2617 0,3840

0,6211 1,7059 –1,0621

0,1598 0,2645 –1,0179

Факторні навантаження дозволяють визначити зв’язок голов-

них факторів і вихідних ознак. Так, з таблиці 9.6 видно, що перша го-

ловна компонента має позитивний зв’язок з першою, четвертою, шос-

тою та восьмою ознакою, і негативний з рештою.

9.3. Ступінь пояснення вихідних ознак діагностичними

Як зазначалось раніше, будемо вимірювати кількість інформа-

ції, що міститься у вихідній ознаці, величиною її дисперсії. Але оскіль-

ки всі ознаки стандартизовані, то дисперсія кожної рівна 1. Тому загаль-

на кількість інформації, що міститься в стандартизованих вихідних

ознаках, звідси дорівнює

Як було зазначено раніше, при застосуванні таксономічних ме-

тодів використовується матриця відстаней, яка будується на основі

кореляційної матриці стандартизованих ознак.

Те, що у формулі відстані між ознаками вживається лінійний

коефіцієнт кореляції, рівнозначно прийняттю передумови про лінійну

залежність між будь-якими двома ознаками. Це припущення виправ-

дується тим, що отримані діагностичні ознаки надалі застосовуються

при побудові лінійних економетричних моделей.

Відомо, що в лінійній регресії квадрат лінійного коефіцієнта

кореляції характеризує ступінь пояснення дисперсії однієї ознаки ін-

шою ознакою. Саме цей підхід будемо використовувати для обчислен-

ня ступеня пояснення вихідних ознак діагностичними.

1. Таксономічний показник. Якщо використовується таксоно-

мічний показник, то ступінь пояснення сумарної дисперсії усіх вихід-

них ознак цим показником визначається так:

∑

(9.21)

де

r – коефіцієнт кореляції i-ї вихідної ознаки Z

i i

з таксономіч-

ним показником

2. Індивідуальні діагностичні ознаки. Що стосується індиві-

дуальних діагностичних ознак, то оцінити ступінь пояснення або дис-

персії вихідних ознак можна в два етапи. Спочатку визначають ступінь

пояснення дисперсії вихідних ознак, що входять до складу групи од-

норідних ознак, за наступною формулою:

,,...,2,1,

Kkr

∑

(9.22)

де

k – номер групи подібних ознак;

– кількість ознак в однорідній групі;

– коефіцієнт кореляції між діагностичною ознакою групи k і

l-ю ознакою, що входить до складу групи k подібних ознак.

Остаточна формула, за якою визначається ступінь пояснення дис-

персії усіх вихідних ознак індивідуальними діагностичними ознаками:

∑

(9.23)

де

K – кількість виділених підмножин однорідних ознак.

3. Загальні фактори. Ступінь пояснення дисперсії вихідних

ознак загальними факторами (або головними компонентами) залежить від

кількості факторів (компонент). Чим вона більша, тим вищий ступінь

пояснення дисперсії вихідних ознак. Для того щоб знайти потрібну нам

величину, використовуються коефіцієнти кореляції між вихідними озна-

ками і побудованими факторами. Як випливає з формули (9.7), вони до-

рівнюють відповідному значенню коефіцієнтів факторних навантажень. З

їхньою допомогою визначають ступінь пояснення дисперсії однієї ознаки

отриманими загальними факторами або головними компонентами:

∑∑

ϖ==

FZi

(9.24)

де

k – кількість факторів або головних компонентів;

– коефіцієнт кореляції i-ї ознаки і j-гo фактора або голов-

ного компонента;

– відповідне факторне навантаження.

Ступінь пояснення дисперсії усіх вихідних ознак отриманими

загальними факторами або головними компонентами встановлюється

як середнє значення за формулою:

∑

. (9.25)

Питання для самоперевірки

1. Поясніть призначення методів факторного аналізу. Який

вид діагностичний ознак можна побудувати такими методами?

У чому полягає сутність методу головних компонент?

Що являє собою матриця факторних навантажень?

Поясніть алгоритм обчислень за методом головних компонент.

Як можна побудувати агрегатні діагностичні ознаки?

Як визначається ступінь пояснення дисперсії вихідних ознак

діагностичними?

ЕВРИСТИЧНІ МЕТОДИ ЗМЕНШЕННЯ

КІЛЬКОСТІ ВИХІДНИХ ОЗНАК

10.1. Природа евристичних методів

Наведені раніше методи скорочення розмірності досліджува-

ного ознакового простору, і в першу чергу, методи факторного аналізу,

припускали інтерпретацію у термінах тієї чи іншої строгої імовірніс-

ної моделі і, отже, мали на увазі можливість дослідження властивос-

тей цих процедур в рамках теорії математичної статистики. У цьому

випадку мова піде про методи, підпорядковані деяким частковим

цільовим установкам (найменше спотворення геометричної струк-

тури початкових “вибіркових точок”, найменше спотворення їх

еталонного розбиття на класи і т.д.), але не формульованих у тер-

мінах ймовірносно-статистичної теорії. Процедура вибору цільової

установки, відповідної саме для цього конкретного завдання, практич-

но не формалізована, носить евристичний характер, тощо, як прави-

ло, обумовлюється лише досвідом та інтуїцією дослідника. Тому

такі методиназивають

евристичними.

За відсутності апріорної або вибіркової попередньої інформації

про природу досліджуваного вектора спостережень і про генеральні су-

купності, з яких ці спостереження витягуються, точно в такому самому

невигідному положенні знаходяться і методи факторного аналізу і голов-

них компонент. Проте для них все-таки існує принципова можливість

теоретичного обґрунтування (за наявності відповідної додаткової інфор-

мації), тоді як лише деякі з евристичних методів вдається згодом теоре-

тично обґрунтувати в рамках строгої математичної моделі.

Підкреслимо, що факт опису тут методів зниження розмірності,

що не використовують попередньої інформації, наприклад, навчальних і

квазінавчальних вибірок, доцільно розцінювати лише як наслідок ви-

знання неминучості ситуацій, в яких такої інформації немає, але не як

прагнення рекламувати ці методи як найбільш ефективних. Насправді ж

обґрунтування і ефективне рішення задач зниження розмірності без слі-

пої надії на успіх можна, на нашу думку, одержати лише на шляху гли-

бокого професійного аналізу, доповненого статистичними методами, що

використовують попередню вибіркову (навчальну) інформацію.

10.2. Метод екстремального групування ознак

При вивченні складних об’єктів, які задані багатьма парамет-

рами, виникає завдання розбиття параметрів на групи, кожна з яких

характеризує об’єкт з певного боку. Однак одержання результатів, що

підлягають легкій інтерпретації, ускладнюється тим, що в багатьох

застосуваннях вимірювані параметри (ознаки) лише побічно відобра-

жають істотні властивості, що характеризують об’єкт.

Отже, в багатьох випадках зміна вимірювання деякого загаль-

ного фактора позначається не однаково на вимірюваних ознаках. На-

приклад, вихідна сукупність з

n ознак може мати природне розбиття на

відносно невелику кількість груп. При цьому вимірювання ознак, що

належать певній групі, обумовлюється одним загальним фактором,

своїм для кожної групи. Після прийняття такої гіпотези розбиття на

групи природно будувати таким чином, щоб параметри, що належать

одній групі, були корельовані досить сильно, а параметри, що нале-

жать різним групам, навпаки, слабко. Після такого розбиття для кож-

ної групи ознак будується випадкова величина, яка найбільш сильно

корельована з представниками цієї групи. Ця величина інтерпретується

як шуканий фактор, від якого залежать всі параметри цієї групи.

Очевидно, що подібна схема побудови діагностичних ознак є

частковим випадком логічної схеми факторного аналізу. Однак на від-

міну від розглянутих класичним моделей факторного аналізу при ев-

ристично-оптимізаційному підході групування ознак і виокремлення

загальних факторів здійснюються на основі екстремізації деяких еври-

стично введених функціоналів. Розбиття, що оптимізують функціонал,

називається

екстремальним групуванням параметрів. Взагалі під

завданням екстремального групування набору випадкових величин

, X , … , X

n 2

на наперед визначену кількість класів p розуміють від-

шукання такого набору підмножин

S , S

1 2

, … , S

натурального ряду

чисел 1, 2, … ,

p і такої самої кількості p нормованих факторів F

, F

, … , F

які оптимізують певний критерій оптимальності. При цьому підмно-

жини

, S

, … , S

не перетинаються і разом з тим в об’єднанні охоп-

люють весь досліджуваний ряд чисел.

1. Перший алгоритм екстремального групування. Перший

алгоритм екстремального групування ознак в ролі критерію оптималь-

ності використовує функціонал:

,)],([

...)],([)],([

∑

∑∑

∈

∈∈

++=

FXcorr

FXcorrFXcorrJ

(10.1)

де

corr(X, F) – парний коефіцієнт кореляції між ознакою X та

фактором

Позначимо через

A = {X , i

∈

k i k

}, k = 1, 2, …, p – групу від-

повідних ознак при заданому розбитті. Максимізація функціонала

(10.1) як по розбиттю вихідних ознак, так і по вибору факторів відпо-

відає вимогам такого розбиття параметрів, коли в одній групі виявля-

ються найбільш близькі між собою ознаки в сенсі їх кореляційного

зв’язку. Дійсно, при максимізації функціонала (10.1) для заданого на-

бору факторів

, F , … , F в одну групу A

p k 2

потраплять такі ознаки,

що найбільш корельовані з фактором

. У той самий час серед мож-

ливих наборів випадкових величин

F , F

1 2

, … , F

буде обиратись та-

кий, щоб кожна з

була найбільш близькою до представників своєї групи.

Очевидно, що при заданих класах

S , S , … , S

p 1 2

оптимальний

набір факторів

, F

, … , F

утворюється в результаті незалежної мак-

симізації кожного з доданків виразу (10.1). Звідси

маємо, що:

∑

∈

FXcorr

)],([

∑

λ=

FFF

,...,,

max

, (10.2)

– власне значення матриці R

де

i i

, що складається з коефіці-

єнтів кореляції змінних, які входять складу групи

При цьому оптимальний набір факторів

, F

, … , F

зада-

ється формулами:

∑

∈

Sji

raa

)()(

)(

, (10.3)

де

= corr(X

, X

(k) (k)

a = (a

, a

(k) (k)

, … , a ) – власний вектор матриці R

mk k

, який

відповідає власному значенню

λ .

З іншого боку, вважаючи відомими фактори

, F

, … , F

неважко побудувати розбиття

, S

, … , S , що максимізує J

p 1

при за-

даному наборі факторів, а саме:

},,...2,1),,(),(:{

pqFXcorrFXcorriS

qikik

=≥=

. (10.4)

Співвідношення (10.3) та (10.4) є необхідними умовами мак-

симізації

J .

Для одночасного знаходження оптимального розбиття

, S

, … , S

і оптимального набору факторів F , F

1 2

, … , F

пропонується ітерацій-

них алгоритм, який послідовно здійснює вибір оптимальних (по від-

ношенню до розбиття, одержаного на попередньому кроці) факторів, а

потім вибір розбиття, оптимального до факторів, одержаних на попе-

редньому кроці. Тобто, спочатку обирається деяке розбиття вихідних

ознак на групи. Далі для кожної групи будується фактор за формулою

(10.3). Після цього здійснюється нове розбиття вихідної сукупності

ознак на групи за правилом (10.4), тобто, ознака

відноситься до гру-

пи

A , якщо квадрат коефіцієнта кореляції цієї ознаки з фактором F

k k

не

менший за квадрат коефіцієнта кореляції цієї ознаки з іншими факто-

рами. При цьому якщо буде мати місце випадок, коли декілька таких

значень будуть однаковими, то віднесення ознаки

до однієї з груп

здійснюється на основі змістовного аналізу

. Очевидно, що на кожному

кроці значення функціоналу (10.1) не зменшується. А отже, процес

буде вести до його максимізації. Недоліком наведеного алгоритму є те,

що одержаний максимум функціоналу може бути локальним.

2. Другий алгоритм екстремального групування. Інший під-

хід до визначення екстремального групування параметрів полягає в

максимізації функціонала:

.),(

...),(),(

212

∑

∑∑

∈

∈∈

++=

FXcorr

FXcorrFXcorrJ

(10.5)

У змістовному сенсі функціонал

схожий на J

, і його мак-

симізація також відповідає основній вимозі до характеру розбиття ви-

хідних ознак на групи. Необхідними і достатніми умовами максимуму

функціонала (10.5) є наступні:

− розбиття параметрів на групи A

, A , … , A

є таким, що

функціонал

∑∑

=∈

iSi

XgDJ

)(

сягає максимуму як за розбиттям на

групи, так і за значеннями коефіцієнтів

, які приймають значення або

+1, або –1; символ

D означає дисперсію випадкової величини;

− фактори F

визначаються співвідношеннями:

∑

∈

Sji

ijji

rgg

. (10.6)

Порядок максимізації функціонала J

базується на попередній

максимізації

. Для цього циклічно перебираються значення ознак

, X , … , X

n 2

і на кожному кроці приймається рішення про віднесен-

ня ознаки

до однієї з груп A , A

1 2

, … , A та визначається знак g

p i

Таким чином, на черговому кроці одержується розбиття вихідних

ознак

, X

, … , X

на групи A

(t)

, A

(t)

, … , A

(t)

і обчислюються від-

повідні коефіцієнти

(t)

, g

(t)

, … , g

(t)

з урахуванням максимізації

виразу . Далі будується

p допоміжних коефіцієнтів g

)(

∑

∈

XgD

i,k

(t+1)

за формулою:

∑

∈

≠=

)(

)()1(

jirgsigng , 10.7)

і для всіх k = 1, 2, … , p обчислюються величини:

∑∑

≠

∈

≠

∈

−+=Δ

kij

XgDXgXgD

)()(

2)()1(

)()1(

)()(

. (10.8)

Далі обирається такий номер k = k*, для якого:

)1(

max

≤≤

Δ=Δ

, (10.9)

і ознака X виключається з з групи A

i k

та приєднується до групи A

Тобто, на цьому кроці лише одна ознака змінює свою належність одній

з груп. Інші групи ознак на цьому кроці залишаються без змін. У ре-

зультаті одержується нове розбиття ознак на групи. Коефіцієнти

i,k*

(t+1)

обчислюються за правилами:

)1(

)()1(

≠=

ijgg

(10.10)

На наступному кроці аналогічно розглядається параметр

i+1

Якщо всі параметри розглянуті, починається їх повторний перегляд з

першого.

Процес завершується, коли при розгляді всіх параметрів чер-

гового циклу збереглись як розбиття ознак на групи, так і значення

всіх коефіцієнтів

g .

Цей метод має свою “ідейну” близькість з центроїдним мето-

дом факторного аналізу. Аналізуючи обидва способи, можна відміти-

ти, обидва є досить трудомісткими з обчислювальної точки зору.

10.3. Метод кореляційних плеяд

Метод кореляційних плеяд, так само як і метод екстремального

групування призначений для знаходження таких груп ознак – “пле-

яд”, коли кореляційний зв’язок – тобто сума модулів коефіцієнтів ко-

реляції між параметрами однієї групи достатньо велика, а зв’язок між

параметрами з різних груп (міжплеядна) – мала. За певним правилом

за кореляційною матрицею ознак утворюють креслення – граф, який

потім за допомогою різних прийомів розбивають на підграфи. Елемен-

ти, що відповідають кожному з підграфів, і утворюють плеяду.

Розглянемо кореляційну матрицю

R початкових ознак. Намалю-

ємо

n кружків; усередині кожного кружка напишемо номер однієї з

ознак. Кожен кружок з’єднується лініями зі всією рештою кружків; над

лінією, що сполучає

i-й та j-й елементи (ребром графа), ставиться зна-

чення модуля коефіцієнта кореляції. Одержане таким чином креслення

розглядаємо як початковий граф.

Задавшись (довільним чином або на підставі попереднього вив-

чення кореляційної матриці) деякими пороговими значеннями коефіці-

єнта кореляції

, виключаємо з графа всі ребра, які відповідають кое-

фіцієнтам кореляції, меншим за модулем від порогового значення. По-

тім задаємо деяке

r >r

1 0

і відносно нього повторюємо описану проце-

дуру. При деякому достатньо великому

граф розпадається на декіль-

ка підграфів, тобто таких груп кружків, що зв’язки (ребра графа) між

кружками різних груп відсутні. Очевидно, що для одержаних таким

чином плеяд внутрішньоплеядні коефіцієнти кореляції будуть більше

r , а міжплеядні – менші нього.

У іншому варіанті кореляційних плеяд пропонується упоряд-

ковувати ознаки і розглядати тільки ті коефіцієнти кореляції, які відпо-

відають зв’язкам між елементами у впорядкованій системі.

Впорядкування проводиться на підставі принципу максималь-

ного кореляційного шляху: всі

n ознак зв’язуються за допомогою (n – 1)

ліній (ребер) так, щоб сума модулів коефіцієнтів кореляції була мак-

симальною. Це досягається таким чином: у кореляційній матриці зна-

ходять найбільший за абсолютною величиною коефіцієнт кореляції,

наприклад

⏐r

⏐ = r

(1)

. При цьому коефіцієнти кореляції, що стоять на

головній діагоналі матриці та рівні одиниці, не розглядаються.

Малюємо кола, відповідні параметрам

та X

, і над

“зв’язком” між ними пишемо значення

(1)

. Потім, виключивши зна-

чення

(1)

з вихідної кореляційної матриці, знаходимо найбільший ко-

ефіцієнт в

j-му стовпці матриці (це відповідає знаходженню ознаки,

яка найтісніше після

X пов’язана з X

i j

) і найбільший коефіцієнт в i-му

рядку матриці (це відповідає знаходженню ознаки, що найсильніше

після

X пов’язана з X

j i

). Із знайдених таким чином двох коефіцієнтів

кореляції обирається більший – позначимо його через

(2)

. Малюємо

нове коло, позначаємо його відповідним індексом і сполучаємо з тим,

який відповідає обраному значенню коефіцієнта кореляції. Далі для

кожної з цих трьох ознак знаходимо найбільш близькі до них і обирає-

мо ту, для якої зв’язок найщільніший, тобто, коефіцієнт кореляції за

абсолютною величиною найбільший. Малюємо чергове коло і

з’єднуємо його з, одним із тих, що вже є за аналогічним наведеному

вище правилом. Для того, щоб опрацьована ознака повторно не увійш-

ла у граф, на кожному кроці вона виключається з розгляду. У резуль-

таті такого процесу буде зображено

n кіл, з’єднаних (n–1) ребром. По-

тім задаємо порогове значення

, вилучаємо з графа всі ребра, які від-

повідають меншим за модулем значенням коефіцієнтів кореляції, ніж

порогове.

Назвемо незамкненим граф, для якого для довільних двох

його кіл існує єдина траєкторія з його ребер, що з’єднує ці кола. Оче-

видно, що другий варіант методу кореляційних плеяд дає побудову

лише незамкнених графів, що відсутнє у першому способі. Тому

результати побудови графів, одержані різними методами, можуть не

збігатися.

Питання для самоперевірки

1. Поясніть природу евристичних методів зменшення ознако-

вого простору.

У чому полягає сутність методу екстремального групу-

вання ознак? З якими іншими методами зменшення ознакового прос-

тору він має зв’язок?

У чому полягає сутність методу кореляційних плеяд?

100