Козлов В.Н. Системный анализ и принятие решений

Подождите немного. Документ загружается.

Таки образом, рован ия определяют

необходимые и достаточные условия для задач выпу

программирования, и могут использоваться для создания новых

4.2. Методы оптимизации на основе еоремы Куна-Такк

Рассмотренная теорема Куна-Таккера позволяет

вной оптимизации.

1. Метод вспомогательной переменной. Обсудим решение

ледующей задачи квадратичного программирования: вычислить

∈ℜ

Таккера. Функция

Лагранжа

м сформули ные услов

клого

методов оптимизации.

т ера

сформулировать ряд методов усло

arg max{ ( ) , 0 | , 0}

TT T

Amn

∗

∈ℜ <

=ϕ=+=>=≥x x x x Dx D D Ax b x

с использованием следствий из теоремы Куна-

для данной задачи имеет вид

(, ) ( ) (

T T

= + − = + −x () )

Cϕ +

bAx xxDx

bAxL

Град переменнымиенты функции Лагранжа по

равны

∂∂

+− −

CDxAy bAx

Условия Куна-Таккера с учетом дифференциальных со ,

данных в таб . 4.1, примут вид, в табл. 4.2.

∂∂

отношений

л определенный

Таблица 4.2

O+−≥CDxAy

***

(, 2 )0

−=xC Dx Ay

* n

0≥x

∂

−=

∂

Ax b

(, )0

−

=yb Ax

произв олен

Введем вспомогательную переменную , такую, что

Тогда условия Куна-Таккера примут вид, данный в табл. 4.3.

0V ≥

*** *

2,0

O+−−= ≥CDxAyV .

111

Таблица 4.3

***

O+−−=CDxAyV

(, )0

≥x

* m

решении

O−=Ax b

допустимом

произволен

Выполнены про

Как следует из данных табл. 4.3, для отыскания оптимального

решения (седловой точки функции Лагранжа) следует решить

систему равенств (неравенств)

аким образом, метод Била позволяет свести задачу условной

минимизации квадратичного функционала к решению стемы

2. Метод Била. Рассмотрим обобщенную задачу выпуклого

квадратичного программирования (по сравнению задачей (1 п.

(1)

Предположим, что систему ограничений задачи

разрешить относительно первых компонент, т.е. из ограничений

задачи

****

** *

(, ) 0, , 0.

=≥ ≥

xV x V

O=+ − −=Ax b C Dx A y V

си

линейных равенств и неравенств.

с ),

4.1): вычислить

arg max{ ( ) , 0 | , 0}

TT T

∗

=ϕ=+=>=≥∈ℜx x x x Dx D D Ax b x

(1) удается

11 22

xAx Ax=+ b=

можно определить

где

Представим далее как функцию свободных переменных.

огда функционал определит новую задачу математического

чный

функционал данной задачи принимает

преобразованный вид

11 22

()

−

=−xAbAx

– свободные переменные.

()ϕ x

программирования, в которой минимизируемый квадрати

112

11 22

()

bAx

11 2

11122

1 1 22 22

221111

() ( , )

( ) (20)

[2 ]

[

TTT

−

=−

−

−−

⎛⎞

ϕ= + +

⎜⎟

⎝⎠

=−+

++ + =

xCxCx xx

AbAx Cx

xDx xD x xDx

xAADA

21112222

2].

const

−

+++AAADDx

Выражение квадратных скобках в (20) есть не то иное,

. Если , то полученное решение

21 22

⎜⎟

⎝⎠

1111 1122 222

11 1 2 2 2 2 2

11 1 2 2

()

TTTT

TTT

−

=+−−+Γ=

=+−−

Ab A C x x x

Ab A C

в ч как

2 2

оптимально. Если некоторые компоненты

(/ )/∂ϕ ∂

x /0∂ϕ ∂ ≥x

(, )

=xxx

∂

ϕ∂ <x

, то можно

увеличить значение

()ϕ x

. При увеличении некоторой переменной

возможны две ситуации.

1. Некоторая переменная

базисных переменных

обращается в нуль, и в дальнейшем увеличение невозможно.

Тогда можно найти значение

ее

, котором к

симплекс-методе (см. раздел 2.3). Затем надо сделать пересчет

перем

з этого условия

при

x =

, ак в

енных и снова проверить решение на оптимальность.

2. Производная

∂ ∂ =

внутри допустимой области.

Тогда и но найти

мож

, и пересчитать решение, а

затем снова проверить новое решение на оптимальност в

соответствии с условиями Куна-Таккера.

Т я идея метода Била содержит

пров ость

а н

в результате вве обо

нкина и Дорфмана. Рассмотрим задачу

условной минимизации квадратичного програмирования:

аким образом, описанна

ерку на оптимальн в соответствии с условиями Куна-

Таккер и пересчет переменных а основе соотношений симплекс-

метода. При этом вычисления проводятся в пространстве меньшей

размерности дения св дных переменных.

3. Метод Бара

113

вычислить вектор

Условия Куна-Таккера для данной задачи имеют вид,

представленный в табл. 4.4.

Таблица 4.4

arg max{ ( ) , 0 | , 0, }.

TT T mn×

∗

=ϕ=+=>=≥∈ℜxxCxxDxDDAxbxA

***

−−=−Dx A

O≥x

* m

O−=Ax b

Выполнено на

допустимом

произволен

решении

состоит именении к ограничениям

типа данной задачи ряда симплексных зований, в

результате которых тигается выполнение условия

Идея метода в пр линейного

преобра

дос

и проведении симплексПр ных преобразований (см. раздел 2)

прове ет е ре

е усл

тся

(1)

нейные

многообразия, определяемые ограничениями задачи.

ря ся одноврем нно допустимость шений.

Таким образом, условия Куна-Таккера порождают ряд

вычислительных схем, сочетающих аналитически овия и

вычислительные процедуры.

4.3. Метод проекции градиента

Метод проекции градиента являе универсальным для задач

выпуклой минимизации, использует проецирование на допустимое

множество в процессе вычисления текущих решений. Рассмотрим

алгоритмы, использующие проекции для различных огран чений.

1. Методы проекции градиента на линейные

многообразия. Рассмотрим решение задачи квадратичного

программирования: вычислить

arg max{ ( ) , 0 | , }

TT T mn×

∗

=ϕ=+=>=∈ℜ∈ℜxxCxxDxDDAxbA

используя проектирование текущих решений на ли

114

Известно, что точка называется проекцией точки

а множество

, если удовлетворяет условию

()P=zz

()z

inf ) , ( , )

∈

−=−zx z z

( =

yyy

(

Рассмотрим аналитическое представление

проектирования точки на линейное многообразие

стим, что множество

операторов

{| , ,

mn m×

==∈ℜ∈ℜ≠xAx bA bD

не пусто, т.е. система огра

} ∅

. Допу

ничений

ой Кроне

кера-

был равен

имеет

Капелли необходимо

рангу расширенн

решение. Для

ой

этого в соответствии с теорем

достаточно, чтобы ранг матрицы

матри

цы

(

)Ab

. Пусть необходимо найти проекцию точки z на

В со ветстви с определен ем (2) необходимо найти

()

от и и

.доставляющий минимум

()P

−

=−zx z z

при ограничениях

=Ax b

. Другими словами, надо решить задачу: вычислить

() argmn{ | , , }

−=∈ℜ<zxzAxbA .

Поскольку данная задача укладыв ется в рамки обычн й

«лагранжевой» схемы, известной

а о

из математического анализа, то

составим функци

ю Лагранжа:

(, ) (, )

−+ −xy x z y Ax bL .

и выпишем известные необходимые условия Лагранжа:

(, (, )

2( )

OO=−+ = =−=

∂∂

x xy

xz Ay Axb

)

∂∂

Тогда из первого условия имеем , откуда

определяется выражение для

() /2

=−xy z Ay

через z с учетом того, что

() : 2( ) 2( )

TT−−

== −Ax y b y AA Az AA b .

115

Из п с учето

м 3) ид

на ное Если

линейное многообразие преобразует во

ератор

ровке вычислител

оследнего равенства м условия

() /2

=−xy z Ay

находим проекцию

z на D

() () ()

TT TT

−−

⎡⎤

=− +

⎣⎦

zEAAAAzAAA

(3)

Таким образо , соотношение ( устанавливает в оператора

проектирования линей многообразие.

O=b

, то

ся в линейное подпространст

(содержит нулевой вектор), а оп проектирования на

линейное подпространство задается матрицей вида

() ( )

−

⎡⎤

=−

⎣⎦

zEAAAAz

Полученные представления операторов проектирования

позволяют перейти к формули ьной схемы метода:

(())

kkkk k

=+xx

где, направление строится с помощью проекции градиента

функционала на линейное многообразие. Алгоритм решения задачи

в методом с м

вектор , удовлетворяющий

ограничениям задачи, полагаем

(1), согласо анный с опряженных градиентов (с . п. 3.3),

имеет следующий вид:

Шаг 1. Вычисляется

Шаг 2. Вычисляется вектор

)

()(

′

−− ϕEP x

ред

, где

еленные

Шаг 3. Вычисляется новое приближение:

()

TT−

=PAAA A, причем матрица A имеет строки, оп

в (1). Полагаем k 1=

111kkkk

+++

=−xx

где шаг определяется равенств м

111

(( ), )/( ,

kkkk

)

′

−ϕ x

Шаг 4. Определяется новое направление в соответствии с

равенством:

116

()()

()

′

−ϕ

′

=− − ϕ

EP x

()

()()

−

′

−ϕ

Px p

EP x

Шаг 5. Полагается

,1,

kk k k

=+ =xx

ы Куна-

Таккера. Общая задача квадратичного программирования

формулируется в следующем виде: вычислить

Шаг 6. Если

kn= , то - переход к шагу 7, иначе – к шагу 3.

Шаг 7. Останов

Рассмотренный алгоритм предназначен для частной задачи

квадратичного программирования.

Общий метод проекции градиента для общей задачи

квадратичного программирования на основе теорем

min

(,) 0, ;

biJ

∗

=+ −≤∈xCxxDxax

(4)

(,) 0, , } .

biJiJJ−= ∈ ∈ ℜax ∪

∈

Идея решения этой общей задачи состоит в организации

итеративного процесса:

(())

kkkk k

=+xx

где е ходя и

нейно , образованное активными

ограничениями сти выполняется по

Куна-Таккера.

Определени за

точке очередного приближения, называются

акти

Другими словами, идея метода остоит в последовательном

ешении семейства простейших задач квадратичного

ожествах сменяющих друг дру

лине

льных условий теоремы Куна-Таккера.

направлени

вычисляется, ис з проектирования

градиента на многообразие (ли е)

. Проверка оптимально теореме

е. Ограничения дачи (4), выполняемые как

равенства в

вными ограничениями.

программирования типа (1) на мн га

йных многообразий с проверкой оптимальности на основе

дифференциа

117

Определение общей идеи алгоритма позволяет

сформулировать алгоритм метода.

Шаг 1. Вычисляем точку , используя какие-либо методы

реше енств и равенств.

оим

ния линейных нерав

Шаг 1а. Стр индексное множество

, состоящее из

ров

активных ограничений

номе (выполняющихся в точке как

равен

ства):

00 0

(){|(,) 0, }

Ji biJJ== −=∈xax ∪ . Другими

слова , ми

– множество номеров активных ограничений.

Шаг 1б. Если

J ≠∅

, то переходим к шагу 2, иначе положим

P = O

и перейдем к шагу 4.

Шаг 2. Вычислим матрицу

и вектор :

00 0

(), (

JJ J

)

′

==−WAAAU Wxϕ. Строки матрицы

есть

векторы , соответствующие уравнен и неравенствам,

выполняющимся в точке

иям

как равенства.

Шаг 3. Вычисляется оператор

00000

()

TTT

ся направление движения на данном шаге:

JJ J

−

==PAWAAA A.

Шаг 4. Определяет

()

′

=− − ϕ( )

EP x

Шаг 5а. Если

)

(

′

−ϕ()≠0P x

, о, положив

, переходим

к шагу 6б, иначе – к шагу 5б.

Шаг 5б. Если

()

′

−ϕ()=0EP x

и все компоненты вектора

0≥U

, то

–

решение задачи, и обходимо перейти к шагу 7,

иначе – к ш гу а.

Шаг 6а. Формируется но

не

а 6

вое индексное множество

полученное из

путем исключения i , для которых

U <

, и если

≠

, то числяется оператор

*** *

)

(

вы

JJ J

−

=PA A

Положив

A A

, переходим к шагу 6б, иначе – (если

≠

∅

)

переходим к шагу 1б.

118

Шаг 6б. Вычисляется

110

()

′

−− ϕ()

EP x

(см. ша ).

Шаг 6в. Вычисляются

г 4

(( ), )/( ,

kk k

:( , ) 0

min ( ( , )) / ( ,

iik ik

);

) .

′

=−ϕ xp p

=−

ax ap

Шаг 6г. Если m

< , то переход к шагу 6д, иначе – к ша 6з.

Шаг 6д

гу

. Вычисление

11kkk

+xx p

Шаг 6е. Полагаем

1kk

и вычисляем вектор нового

направления

()(

′

−ϕ

()()

)

−

′

−ϕ

EP x

Шаг 6ж. Если (или

()()

′

=− − ϕ

pEPx

k +

≠p

), то переход к ша , наче

(когда

ли kn= ) полагается

0 k

гу 6в и

, и происходит переход

к шагу 1б.

Шаг 6з. Вычисляется

1kk 1k

+ p

. Полагается

01k

=xx

, и

- пер

Шаг 7. Останов.

Как следует из схемы алгоритма, минимизация на

подп о

метода сопряженных градиентов.

миними

Найдем решение следующей

≤

С форм

вычис

еход к шагу 1б.

ространстве осуществляется с помощью бъединения

проекции градиента и

Прои оцедуруллюстрируем пр зации.

Пример. задачи: вычислить

arg min{ ( )=ϕ=xx

1212

( ) / 2 | 2 2, 0,5 1,x x xx xx+−+≤−−+

12 12

0, 25 0, 8} .xx xx−≤ +≤

Решение. формулируем задачу в стандартной е:

лить

arg m ( ) ( ) }

⎛⎞

in{

⎛⎞

=ϕ= ≤∈ℜ

⎜⎟

⎝⎠

xx Axb,

119

2−

⎡

1 1

0, 25 1 0

⎤

⎥

⎢⎥

−

⎢⎥

⎣⎦

−

⎡⎤

⎢⎥

⎣⎦

Шаг 1а. Вычисляется допустимое решение ,

испол

нерав

индексн

0,5

⎢

−

⎢

етод ения системы линейных равенств и

(4,3)

ьзуя м реш

енств.

Шаг 1б. Формируется ое множество

{

}

J =

Шаг 1в. Множество

≠

∅

, поэтому – переход к шагу 2.

Шаг 2. Вычисляется матрица и вектор

уется оператор

⎟

⎠

Шаг 5а. Если вектор

0,5

(0 ,1) (0,4,0,8);

⎡ ⎤

=− =−

⎢⎥

⎠

,5,1) (0,5

(0,4 , 0,8) 0,8.

−

⎛⎞

−

⎜⎟

⎝

⎣⎦

⎛⎞

=− =−

⎜⎟

⎝⎠

Шаг 3. Формир

0,5 0,2 0, 4

(0, , 0,8)

40,8

−−

⎛⎞ ⎞

⎜⎟ ⎜ ⎟

−

⎝⎠ ⎝ ⎠

Шаг 4. Вычисляется вектор направления

10,

⎛

01 0,4 0,8 3 2,2

=− − =−

⎢⎥

⎜⎟⎜ ⎟⎜⎟⎜

−

⎝⎠⎝ ⎠⎝⎠⎝

⎣⎦

1 0 0,2 0,4 4 4,4⎡−⎤

⎛⎞⎛ ⎞⎛⎞⎛⎞

, то, положив 0k

≠

, происходит

перех

б. Если вектор

од к шагу 6а, иначе – к шагу 5б.

Шаг 5

и все компоненты вектора ,

то – решение задачи, и необходимо перейти к шагу 7, ина е к

ш а.

Шаг 6а. Вычисляется вектор

0≥U

агу 6

120