Моклячук М.П., Ямненко Р.Є. Лекції з теорії вибору та прийняття рішень (на укр. языке)

Подождите немного. Документ загружается.

W буде додатною лише для таких значень w, для яких ω>ω

i ω>

max (x

,...,x

) . Тому p (ω|x

,...,x

) > 0 лише коли ω>ω



,деω



визна-

чено формулою (4.5.1). Далi, при ω>ω



p (ω|x

,...,x

) ∝

α+n+1

. (4.5.4)

Зi спiввiдношення (4.5.4) видно, що апостерiорний розподiл W повинен

бути розподiлом Парето зi значеннями параметрiв, заданими у теоремi.

У наступнiй теоремi ми розглядаємо рiвномiрний розподiл на iнтервалi,

обидва кiнцi якого невiдомi.

Теорема 4.5.2. Нехай X

,...,X

– повторна вибiрка з рiвномiрного

розподiлу на iнтервалi (W

),дезначенняW

i W

невiдомi, i не-

хай апрiорний спiльний розподiл W

i W

є двостороннiй двовимiрний

розподiл Парето з параметрами r

, r

i α,деr

, α>0

p (ω

,ω

,α)=



α(α+1)(r

−r

)

(ω

−ω

)

α+2

при ω

,ω

0 в iнших випадках,

(4.5.5)

E(W

αr

− r

α − 1

, E(W

αr

− r

α − 1

, (4.5.6)

Var (W

)=Var (W

α(r

− r

)

(α − 1)

(α − 2)

. (4.5.7)

Тодi апостерiорний сумiсний розподiл W

i W

при X

= x

, i =1,2,...,n,

є двостороннiй двовимiрний розподiл Парето з параметрами r



, r



α + n,де



=max{r

,...,x

},r



=max{r

,...,x

} (4.5.8)

Приклад 4.5.1. Розглянемо числовий приклад, який показує, як застосо-

вується остання теорема. Припустимо, що деяка частинка проходить через

посудину з водою i горизонтальне вiдхилення частинки, вимiряне у вiдпо-

вiдних одиницях, рiвномiрно розподiлене на iнтервалi (W

), де значе-

ння W

та W

невiдомi. Припустимо, що W

< −0,4 та W

> 0,1.Якщо

оцiнки такого роду невiдомi статистику заздалегiдь, то вони можуть бути

визначенi пiсля того, як маємо данi спостережень горизонтальних вiдхи-

лень принаймнi двох частинок y

. Справдi, оскiльки y

та y

повиннi

лежати в iнтервалi (W

), то (нехай y

), W

i W

Припустимо далi, що статистик хоче вибрати двостороннiй двовимiр-

ний розподiл Парето як апрiорний розподiл W

та W

i, вiдповiдно до

його прогнозу, довжина W

− W

iнтервалу (W

) повинна складати

221

приблизно 2,5. Якi значення параметрiв r

,α апрiорного розподiлу вар-

то вибрати? Зi знайдених ранiше оцiнок для W

i W

випливає, що можна

взяти r

= −0,4 i r

=0,1. З рiвностi (4.5.6) випливає, що при α>1

E(W

− W

(α +1)(r

− r

)

α − 1

. (4.5.9)

Якщо припустити, що E(W

− W

)=2,5,тоα =1,5.Фiксацiяцього

значення завершує визначення апрiорного розподiлу.

Припустимо тепер, що спостерiгаються вiдхилення п’яти частинок зi

значеннями −0,27; −0,45; −0,36; −0,12; 0,47. Оскiльки мiнiмум цих п’яти

значень дорiвнює −0,45,амаксимумдорiвнює0,47, то за останньою тео-

ремою значення параметрiв r



та α



апостерiорного розподiлу W рiвнi



= −0.45, r



=0.47 i α



=6,5. Ми знаємо тепер, що W

< −0,45 i

> 0,47. В силу спiввiдношення (4.5.8) середня довжина E(W

− W

)

дорiвнює тепер 1,25.

Припустимо, що знайдено вiдхилення ще п’яти частинок вiдповiдно

−0,39; −0,07; 0,43; 0,01; −0,14.Параметрамиr



i α



нового апостерiор-

ного розподiлу W

i W

будут r



= r





= r



i α



=11,5.Тому,вiдповiдно

до спiввiдношення (4.5.9), маємо E(W

− W

)=1,10. Оскiльки iнтервал

(−0,45,0,47) довжини 0,92 мiститься в iнтервалi (W

), асереднядов-

жина iнтервалу (W

) є 1,10, то статистик має тепер порiвняно точну

iнформацiю про значення W

i W

. Справдi, з рiвностi (4.5.7) випливає,

що дисперсiї величин W

i W

мають тепер спiльне значення 0,0093.

4.6. ВИБIРКА З МУЛЬТИНОМIАЛЬНОГО РОЗПОДIЛУ

Наступна теорема показує, що сiмейство розподiлiв Дiрiхле є спряже-

ним сiмейством для спостережень, що мають мультиномiальний розподiл.

Теорема 4.6.1. Нехай випадковий вектор X =(X

,...,X

) має муль-

тиномiальний розподiл з параметрами n i W =(W

,...,W

),деn –

вiдоме цiле число, а компоненти вектора W невiдомi. Припустимо, що

апрiорний розподiл W є розподiл Дiрiхле з параметричним вектором

α =(α

,...,α

) ,α

> 0,i =1,...,k. Тодi апостерiорний розподiл W при

= x

,i =1,2,...,n, є розподiл Дiрiхле з параметричним вектором

∗

=(α

+ x

,...,α

+ x

) .

Доведення. Нехай Ω позначає множину точок w =(w

,...,w

) таких, що

> 0,i =1,...,k i w

+ ···+ w

=1. Щiльнiсть розподiлу випадкового

222

вектора X =(X

,...,X

) має вид:

f (x

,...,x

|w) ∝

i=1

. (4.6.1)

Для w ∈ Ω апрiорна щiльнiсть розподiлу W задовольняє спiввiдношенню

p (w) ∝

i=1

−1

. (4.6.2)

Тому при w ∈ Ω апостерiорна щiльнiсть розподiлу p (ω|x

,...,x

) параме-

тра W задовольняє умовi

p (w|x

,...,x

) ∝

i=1

−1

. (4.6.3)

Функцiя в правiй частинi спiввiдношення (4.6.3) пропорцiйна щiльностi

розподiлу Дiрiхле, параметричний вектор якого визначений у теореми.

Приклад 4.6.1. Припустимо, що в деякiй великiй партiї виробiв є вироби

k рiзних типiв. Для i =1,...,k нехай W

позначає частку виробiв i-го

типу. Припустимо, що апрiорний розподiл вектора W =(W

,...,W

) ,

є розподiл Дiрiхле з параметричним вектором α =(α

,...,α

) . Нехай

випадково вибирається з партiї по одному виробу. З теореми випливає,

що апостерiорний розподiл W на кожному кроцi вибiрки буде розподiлом

Дiрiхле, причому i- та компонента параметричного вектора α(i =1,...,k)

зростає на 1 кожного разу, коли вибраний вирiб є типу i.

4.7.1. Задачi для самостiйної роботи

1. Нехай W – невiдома ймовiрнiсть того, що деяка машина зробить де-

фектну деталь. Припустимо, що апрiорний розподiл W рiвномiрний

на iнтервалi (0,1).Припустимотакож,щопiсляконтролюдеталейз

деякої випадкової вибiрки апостерiорний розподiл W єбета-розподiл

зпараметрамиα =7, β =95. Покажiть, що було перевiрено 100 де-

талей i шiсть з них виявилися дефектними.

2. Припустимо, що при деякому процесi виробництва магнiтної стрiчки

середнє число W дефектiв у котушцi стрiчки довжини 1200 метрiв

невiдомо. Нехай апрiорний розподiл W єгамма-розподiлiзсереднiм

2iдисперсiєю1.НехайприW = w число дефектiв у котушцi має

розподiл Пуассона iз середнiм w. Нехай, далi, пiсля вибору навма-

ння деякого числа котушок i пiдрахунку числа дефектiв у кожнiй

223

середнє значення апостерiорного розподiлу W виявилося рiвним 1,6,

адисперсiя0,16.Покажiть,щобулообрано8котушокiсереднє

число дефектiв на одну котушку у вибiрцi виявилося 1,5.

3. Невiдома частка W виробiв, якi виготовленi деякою машиною, ма-

ють дефекти. Припустимо, що апрiорний розподiл W єбета-розподiл

зпараметрамиα =1, β =99. Припустимо далi, що з виробiв, якi ви-

готовила машина, випадково вибирається i перевiряється по одному

доти, поки не з’явиться рiвно 5 дефектних виробiв. Нехай пiсля за-

кiнченнi вибiрки середнє апостерiорного розподiлу W дорiвнює 0,02.

Покажiть, що в процесi вибору з’явилося 195 не дефектних виробiв.

4. Припустимо, що в деякiй великiй сукупностi виборцiв у США частка

W тих, що належать до лiберальної партiї невiдома. Нехай апрiорний

розподiл W є бета-розподiл з параметрами α =1, β =10.

а) Якщо у випадковiй вибiрцi iз 1000 виборцiв 123 виявилися чле-

нами лiберальної партiї, то який апостерiорний розподiл W ?

б) Нехай тепер виборцi обстежуються по одному, поки не набереться

рiвно 123 виборцiв, що належать до лiберальної партiї. Нехай для

цього потрiбно було обстежувати 1000 виборцiв. Який апостерiорний

розподiл W ?

5. Термiн служби ламп, якi виготовляються за допомогою деякого те-

хнологiчного процесу, має експоненцiйний розподiл з невiдомим зна-

ченням параметра W. Нехай апрiорний розподiл W єгамма-розподiл

з коефiцiєнтом варiацiї 0,5. Робиться випадкова вибiрка ламп iз ре-

єстрацiєю термiну служби кожної лампи. Покажiть, що якщо ми

хочемо зменшити коефiцiєнт варiацiї апостерiорного розподiлу до

0,1, то варто випробувати 96 ламп.

6. Розглянемо нормальний розподiл з невiдомим середнiм W iдис-

персiєю 4 i припустимо, що апрiорний розподiл W нормальний з

дисперсiєю 9. Яким повинен бути об’єм повторної вибiрки з даного

нормального розподiлу, для того щоб можна було видiлити iнтервал

довжини 1 такий, що ймовiрнiсть попадання W уцейiнтервалбуде

принаймнi 0,95? (Вiдповiдь: n =62.)

7. Нехай значення мiри точностi W нормального розподiлу невiдоме i

розподiл W є гамма-розподiл з параметрами α, β.НехайV –дис-

персiя даного нормального розподiлу.

а) Знайдiть щiльнiсть розподiлу ймовiрностей V.

б) Покажiть, що E(V )=β (α − 1) при α>1.

в) Покажiть, що Var (V )=

(α−1)

(α−2)

при α>2.

224

8. Нехай повторна вибiрка зроблена з нормального розподiлу з вiдо-

мим значенням середнього i невiдомою мiрою точностi W. Нехай

апрiорний розподiл W є гамма-розподiл i коефiцiєнт варiацiї апо-

стерiорного розподiлу треба знизити до значення 0,1. Покажiть, що,

яке б не було значення коефiцiєнта варiацiї апрiорного розподiлу, ця

умова буде виконана, якщо взяти об’єм вибiрки n = 200.

9. У певної людини час очiкування ранкового автобуса, яким вiн їде на

роботу, рiвномiрно розподiлено на iнтервалi (0,W ), де значення W

невiдоме, проте вiдомо, що апрiорний розподiл W єрозподiлПарето

зпараметрамиw

> 0 та α =1. Протягом скiлькох ранкiв ця людина

повинна фiксувати час очiкування, перш нiж вона зможе вказати iн-

тервал довжини 0,01 такий, що ймовiрнiсть того, що значення log W

лежить у цьому iнтервалi, не менше 0,95? (Вiдповiдь: n = 299.)

10. Розглянемо знову апрiорний розподiл W зпопередньоїзадачi.Скiль-

ки ранкових спостережень буде потрiбно людинi, щоб знизити кое-

фiцiєнт варiацiї апостерiорного розподiлу W до 0,01? (Вiдповiдь:

n = 101.)

11. Розглянемо рiвномiрний розподiл на iнтервалi (W

), де значення

та W

невiдомi, i припустимо, що апрiорний сумiсний розподiл

та W

є двовимiрний двостороннiй розподiл Парето з параметра-

ми r

> 0, r

> 0, α =2. Якого об’єму потрiбно зробити повторну

вибiрку з рiвномiрного розподiлу, щоб коефiцiєнт варiацiї апостерi-

орного розподiлу випадкової величини W

− W

зменшився до зна-

чення 0,01? (Вiдповiдь: n = 140.)

12. Нехай в урнi N куль, серед яких невiдоме число W червоних куль,

а iншi кулi синi. Припустимо, що апрiорний розподiл W –гiпергео-

метричний з параметрами A,B,N, де A i B –додатнiцiлiчислатакi,

що A + B ≥ N.

а) Припустимо, що точне значення W невiдоме, проте статистик

знає, що r ≤ W ≤ s, де r i s –цiлiчислаi0 <r≤ s<N.

Покажiть, що iснують єдинi значення A i B такi, що при апрiорному

гiпергеометричному розподiлi

P {r ≤ W ≤ s} =1, Pr {W = r} > 0, Pr {W = s} > 0

б) Припустимо тепер, що статистику вiдомо лише, що 0 ≤ W ≤

N. Покажiть, що будь-який апрiорний гiпергеометричний розподiл

такий, що A ≥ N i B ≥ N, буде приписувати додатню ймовiрнiсть

кожному з чисел 0,1,2,...,N.

225

в) Нехай з урни вибирається навмання куля. Яка ймовiрнiсть того,

що при даному апрiорному розподiлi вона буде червоною?

г) Нехай n куль (1 ≤ n ≤ N) вибираються з урни без повернення i

x з цих куль виявилися червонi. Покажiть, що апостерiорний розпо-

дiл числа червоних куль серед N − n куль, що залишилися в урнi,

гiпергеометричний з параметрами A − x,B − (n − x),N − n.

13. Нехай у великiй сукупностi деталей є k рiзних типiв деталей i

– невiдома частка деталей i-го типу у цiй сукупностi (i =

1,2,...,k). Нехай апрiорний розподiл вектора W =(W

,...,W

) є

розподiл Дiрiхле з параметричним вектором α =(α

,...,α

) таким,

що α

+ ···+ α

=6. Який об’єм повторної вибiрки деталей необ-

хiдний для того, щоб для будь-яких значень компонент вектора α i

спостережень апостерiорна дисперсiя кожної частки W

(i =1,...,k)

була не бiльшою 0,005? (Вiдповiдь: n =43.)

226

Роздiл V

Оцiнювання.

5.1. ОЦIНЮВАННЯ ПАРАМЕТРА

Задача оцiнювання – це задача прийняття рiшень, у якiй рiшенням

статистика є оцiнка значень параметра W =(W

,...,W

),щоналежить

множинi Ω ⊂ R

,k ≥ 1. Оскiльки статистик оцiнює значення W,томно-

жина рiшень D спiвпадає з множиною значень параметра Ω.Припустимо

для простоти, що Ω=D = R

, маючи на увазi, що ймовiрнiсть того, що

W лежить у деяких областях R

, може бути рiвною 0. Рiшення стати-

стика d =(d

,...,d

) ∈ R

– це його оцiнка значення w =(ω

,...,ω

)

параметра W,айоговтратиL(w,d) вiдображають розбiжнiсть мiж значе-

нням w та оцiнкою d. Тому в задачах оцiнювання вважають, що функцiя

втрат L(w,d) має вигляд

L(w,d)=γ(w)Λ(w − d), (5.1.1)

де Λ – невiд’ємна функцiя вiд вектора похибок (w − d) така, що Λ(0) =

0, γ(w) – невiд’ємна вагова функцiя, яка визначає вiдносну значимiсть

заданого вектора похибок для рiзних значень параметра W .Якщовтрати

L(w,d) залежать лише вiд вектора похибок (w − d),томожнавважати,

що функцiя γ(w) сталанавсьомупросторiR

Розглянемо задачу оцiнювання, в якiй функцiя втрат L(w,d) має ви-

гляд (5.1.1), i припустимо, що апостерiорна щiльнiсть розподiлу параметра

W є p. Байєсiвське рiшення d

∗

або, у нашому випадку, байєсiвська оцiн-

ка d

∗

визначається, як точка d ∈ R

, в якiй досягається мiнiмум ризику

ρ(p,d):

ρ(p,d)=



γ(w)Λ(w − d)p(w)dν(w). (5.1.2)

Зауважимо, що такий же iнтеграл мiнiмiзується i в задачi оцiнювання, де

функцiя втрат L

∗

(w,d) має вигляд L

∗

(w,d)=Λ(w − d),аапостерiорна

щiльнiсть розподiлу p

∗

параметра W задовольняє умовi p

∗

∝ γ(w)p(w).

Iншими словами, однi i тi ж байєсiвськi рiшення отримуємо незалежно

вiд того, чи є невiд’ємна функцiя γ(w) множником при функцiї втрат, чи

вона є множником при щiльностi розподiлу параметра W .Цейрезультатє

наслiдком формули (5.1.2). Тому при обговореннi задач теорiї оцiнювання

можна вважати, що функцiя γ(w) в (5.1.1) є сталою.

227

Якщо параметр W одновимiрний, тобто його значення лежать в R

то функцiю втрат в задачах оцiнювання часто вибирають такою, що має

вигляд

L(ω,d)=a|ω − d|

, (5.1.3)

де a>0,b > 0. Розглянемо бiльш детально такi функцiї втрат при значен-

нях b =1та b =2.

5.2. КВАДРАТИЧНА ФУНКЦIЯ ВТРАТ

Найкраще вивченою функцiєю втрат в задачах оцiнювання дiйсного пара-

метра W є квадратична функцiя. Вона задається рiвнiстю

L(ω,d)=a(ω −d)

. (5.2.1)

Функцiя втрат (5.2.1) зручна для математичних викладок. Крiм того, на-

ступнi не зовсiм строгi, але кориснi мiркування показують, чому така

функцiявтратчастовикористовується.

Припустимо, що втрати L(ω,d) залежать лише вiд рiзницi ω −d.Нехай

L(ω,d)=Λ(ω − d),деΛ – невiд’ємна двiчi диференцiйовна функцiя i

Λ(0) = 0. Якщо розкласти функцiю Λ в ряд Тейлора з точнiстю до членiв

другого порядку, то отримаємо

L(ω,d)=Λ(ω − d) ≈ a

+ a

(ω −d)+a

(ω −d)

. (5.2.2)

Якщо статистик має достатню кiлькiсть iнформацiї про значення W ,щоб

вибрати оцiнку d,якабудеблизькоюдоω,точленибiльшвисокогопо-

рядку в (5.2.2) вiдносно малi i ними можна знехтувати. Той факт, що

Λ(0) = 0,означає,щоa

=0,азневiд’ємностiΛ випливає, що a

=0i

≥ 0. Отже, спiввiдношення (5.2.2) зводиться до (5.2.1).

Якщо функцiя втрат задається рiвнiстю (5.2.1), то байєсiвське рiшення

∗

при довiльному розподiлi W визначається як значення d, яке мiнiмiзує

значення ризику

E[(W − d)

]=E(W

) − 2d E(W )+d

. (5.2.3)

Тут ми припускаємо, що E(W

) < ∞. Квадратичний полiном вiд d в (5.2.3)

буде мiнiмальним при d = E(W).Притакомувиборid мiнiмальне значення

ризику в спiввiдношеннi (5.2.3) дорiвнює

E[(W − E(W))

]=Var(W ). (5.2.4)

Припустимо, що X – спостереження (яке може бути i випадковим

вектором) з (узагальненою) щiльнiстю розподiлу f (x|ω) при W = ω.Не-

хай p(ω) позначає апрiорну щiльнiсть розподiлу W ,аp(ω |x) позначає

апостерiорну щiльнiсть розподiлу W при X = x.Тодiлегкознайтибайє-

228

сiвську оцiнку δ

∗

iбайєсiвськийризикρ

∗

(p) для квадратичної функцiї

втрат (5.2.1). За рахунок вибору системи одиниць можна вважати, що у

виразi (5.2.1) a =1. Для довiльного значення X = x байєсiвське рiшен-

ня δ

∗

= E(W |x),деE(W |x) – середнє значення апостерiорного розподiлу

W . Далi, пiсля спостереження x та вибору оцiнки δ

∗

(x) ризик дорiвнює

дисперсiї Var(W |x) апостерiорного розподiлу W .Томубайєсiвськийризик

має вигляд

∗

(p)=E[Var(W |X)]. (5.2.5)

Математичне сподiвання у спiввiдношеннi (5.2.5) пiдраховується за мар-

тингальною (узагальненою) щiльнiстю розподiлу ймовiрностей g величини

X, яка задається спiввiдношенням

g(x)=

∞



−∞

f(x|ω) p(ω)dν(ω). (5.2.6)

Для пiдрахунку байєсiвського ризику E[Var(W |X)] зручно використову-

вати спiввiдношення

Var (W )=E[Var (W |X)] + Var [E(W |X)]. (5.2.7)

Приклад 5.2.1. Як приклад, в якому кожне середнє iснує та легко пiдра-

ховується, розглянемо повторну вибiрку X

,...,X

iз розподiлу Пуассона

з невiдомим значенням параметра W . Припустимо, що апрiорний розподiл

W є гамма-розподiл з параметрами α, β. За теоремою 4.3.1 апостерiорний

розподiл W при X

= x

,i =1,...,n – це гамма-розподiл з параметрами

α +



i=1

та β + n.

Нехай функцiя втрат має вигляд (5.2.1) з a =1.Звиразудлясере-

днього значення гамма-розподiлу видно, що байєсiвська оцiнка δ

∗

визна-

чається рiвнiстю

∗

,...,X

α +



i=1

β + n

. (5.2.8)

Для довiльних значень X

,...,X

дисперсiя апостерiорного розподiлу до-

рiвнює

Var(W |X

,...,X

α +



i=1

(β + n)

. (5.2.9)

Оскiльки E(X

|W )=W, i =1,...,n,то

E(X

)=E[E(X

|W )] = E(W )=

. (5.2.10)

229

Тому зi спiввiдношень (5.2.6) (5.2.9) i (5.2.10) виводимо наступну формулу

для Байєсiвського ризику:

∗

(p)=

β(β + n)

. (5.2.11)

Припустимо тепер, що цiна одного спостереження у вибiрцi дорiвнює c

(c>0) i що статистик може вибирати об’єм вибiрки. З формули (5.2.11)

видно, що для вибiрки об’ємом n спостережень загальний ризик дорiвнює

β(β + n)

+ cn. (5.2.12)

Цей загальний ризик буде мiнiмальним при

n =



cβ



1/2

− β. (5.2.13)

Зрозумiло, що n повинно бути натуральним числом або нулем. Якщо зна-

чення, яке отримане з формули (5.2.13), вiд’ємне, то оптимальний об’-

єм вибiрки n =0. В цьому випадку не потрiбно робити спостережень i

статистик може оцiнювати W за апрiорним розподiлом. Якщо значення

(5.2.13) – додатне, але не цiле, то оптимальний об’єм вибiрки – це одне з

найближчих до нього цiлих чисел.

Нехай функцiя втрат L замiсть спiввiдношення (5.2.1) задається спiв-

вiдношенням:

L(ω,d)=

(ω − d)

. (5.2.14)

Знову припустимо, що апрiорний розподiл W є гамма-розподiл з параме-

трами α i β. Тодi для довiльних значень спостережень X

,...,X

таких,

що α +



i=1

> 1, байєсiвська оцiнка δ

∗

,...,X

) має вигляд

∗

,...,X

α +



i=1

− 1

β + n

. (5.2.15)

Байєсiвський ризик ρ

∗

(ξ) дорiвнює

∗

(ξ)=

(β + n)

. (5.2.16)

Загальний ризик буде мiнiмальним при

n =





1/2

− β. (5.2.17)

230