MANUALIA UNIVERSITATIS STUDIORUM SPALATENSIS

UDŽBENICI SVEUČILIŠTA U SPLITU

FAKULTET ELEKTROTEHNIKE, STROJARSTVA I BRODOGRADNJE

Damir Vučina

METODE INŽENJERSKE
NUMERIČKE OPTIMIZACIJE

S PRIMJERIMA PRIMJENE U
PROGRAMSKOM JEZIKU C I MATLAB

FESB
Split, 2005
MANUALIA UNIVERSITATIS STUDIORUM SPALATENSIS
UDŽBENICI SVEUČILIŠTA U SPLITU

Nužni uvjet za ekstrem kod problema s ograničenjem jednakosti

Problemi zadani prema (1.2) i (1.5), odnosno

min f(x) , x Є Rn ,
uz hj(x) = 0 , j= 1, r

razmatraju se uvođenjem tzv. Lagrangeovih množitelja [1, 2], koji se

mogu fizikalno interpretirati kao 'poopćena sila' potrebna za nametanje
ispunjenja uvjeta ograničenja. U ovom slučaju može se reducirati broj
varijabli problema eliminacijom na osnovu ograničenja h(x) = 0, no to
općenito nije praktičan postupak numeričkog rješavanja.

Ako se uzme jednostavan slučaj [1, pogl. 3.4.2] funkcije dvije varijable
f(x1, x2) te jedno ograničenje h(x1, x2)=0, može se pretpostaviti da se iz
jednadžbe ograničenja može izraziti ovisnost x2=φ(x1), kada funkcija cilja
postaje f(x1, φ(x1)). Tada se može napisati nužni uvjet za ekstrem

df ( x1 , x2 ) ∂f ( x1 , x 2 ) ∂f ( x1 , x2 ) dϕ
= + ⋅ = 0.
dx1 ∂x1 ∂x 2 dx1
Deriviranjem ograničenja (u optimumu) dh( x1 , x2 ) / dx1 = 0 dobije se
analogni izraz iz kojeg se može odrediti potrebni član dϕ / dx1 , te uvrstiti,
kada u točki optimuma slijedi:

∂f ( x1 , x2 ) ∂h( x1 , x2 ) ∂f ( x1 , x2 ) / ∂x2
+µ⋅ = 0 , uz µ = −
∂x1 ∂x1 ∂h( x1 , x2 ) / ∂x2

te analogni izraz za x2 , što uz jednadžbu ograničenja hj(x) = 0

predstavlja nužne uvjete za minimum uz zadovoljenje ograničenja.

Alternativnim putem [2] se Lagrangeovi uvjeti mogu dobiti na način da se

uz f(x) te jedno ograničenje h(x) zapiše:

∂f ∂f
df = dx1 + ... + dxn = 0 uvjet za minimum
∂x1 ∂x n
1.Uvod i osnovni pojmovi

∂h ∂h
te dh = dx1 + ... + dxn = 0 varijacija jednadžbe ograničenja.
∂x1 ∂x n

Zbog postojanja ograničenja, dxn se može izraziti preko ostalih prirasta te

izravno uvrstiti u prvi izraz. Lagrangeov je pristup međutim množenje
druge jednadžbe s nekom konstantom μ, te pribrajanje prvoj kada slijedi
n  ∂f ∂h 
suma ∑  ∂x +µ⋅
∂xi
 ⋅ dxi = 0 . Umjesto eliminacije dxn odabire se
i =1  i 
vrijednost konstante μ tako da faktor koji množi dxn iščezne, odnosno
n −1  
∂f ∂h ∂f ∂h
∂xn
+µ⋅
∂xn
= 0 . Prethodna suma je sada ∑  ∂x +µ⋅
∂xi
 ⋅ dxi = 0 , tj. do
i =1  i 
(n-1) neovisnih dxi . Da bi zbroj neovisnih komponenti bio nula mora
∂f ∂h
općenito vrijediti uvjet +µ⋅ = 0 , i = 1, n − 1 odnosno uz prethodni
∂xi ∂xi
uvjet ukupno:
∂f ∂h
+µ⋅ = 0 , i = 1, n
∂xi ∂xi
uz ograničenje h(x)=0 što daje (n+1) jednadžbu za određivanje x i μ .

Dobiveni uvjeti za nužni uvjet minimuma funkcije s ograničenjem

jednakosti mogu se alternativno zapisati putem Lagrangeove funkcije. U
tom smislu općenito vrijedi: kod postupka na osnovi Lagrangeovog
teorema, kombinacijom funkcije cilja i ograničenja pomnoženih s
Lagrangeovim množiteljima μ dobiva se Lagrangeova funkcija

r
L(x, µ) = f(x) + µT h(x) = f(x) + ∑µ
j =1
j ⋅ h j ( x) (1.25)

Na ovakav način, u odnosu na zadanu funkciju cilja, broj varijabli u

Lagrangeovoj funkciji L(x, µ) je proširen za r Lagrangeovih množitelja
µ, ali zato nužni uvjeti za ekstrem Lagrangeove funkcije istovremeno
osiguravaju i ispunjenje ograničenja.

Nužni uvjeti za ekstrem L(x, µ) daju

∇L(x, µ) = 0 (1.26)

D. Vučina: Metode inženjerske numeričke optimizacije 3

1.Uvod i osnovni pojmovi

odnosno:
r
∂L(x, µ)/∂xi = ∂f(x)/ ∂xi + ∑ µj ⋅ ∂hj(x)/∂xi = 0 , i=1,n (1.27)
j =1

∂L(x, µ) / ∂µj = hj(x) = 0 , j=1,r (1.28)

Iz uvjeta (1.28) slijedi zadovoljenje ograničenja a iz (1.27) proizlazi da je

u točki minimuma gradijent funkcije cilja linearna kombinacija
gradijenata ograničenja pomnoženih sa Lagrangeovim množiteljima,
odnosno
r
∇f = − ∑ µ j ⋅ ∇h j .
j =1

U geometrijskom smislu nužni uvjet (1.27) znači da u točki optimuma

gradijent funkcije cilja i suma gradijenata ograničenja pomnoženih s
faktorima µ imaju jednak iznos i suprotan smjer.

U točki optimuma, za koju su zadovoljeni uvjeti (1.27) i (1.28), bilo koji

pomak iz te točke optimuma rezultira ili u povećavanju vrijednosti
funkcije cilja ili u narušavanju uvjeta ograničenja.

Putem (1.26) - (1.27) problem određivanja minimuma funkcije s

ograničenjima (1.2) uz uvjete (1.5) svodi se na određivanje minimuma
bez ograničenja Lagrangeove funkcije (1.25), ali sa povećanim brojem
varijabli (r+n). Lagrangeovi množitelji za ograničenja jednakosti (1.5) su
slobodnog predznaka te se mogu fizikalno interpretirati kao sila potrebna
za nametanje ograničenja.

Lagrangeovi uvjeti (1.27)-(1.28) mogu se numerički rješavati kao sustav

nelinearnih jednadžbi (primjerice Newton-Raphson iterativnim
postupkom) no to općenito nije najučinkovitiji postupak te stoga ovi
izrazi predstavljaju podlogu za druge numeričke postupke.

Primjer 1.7. [1]: Odrediti optimalne dimenzije

cilindričnog spremnika volumena V

Model: varijable: radijus R, visina l

D. Vučina: Metode inženjerske numeričke optimizacije 4

1.Uvod i osnovni pojmovi

funkcija cilja: minimalni utrošak materijala

f = 2R2π + 2Rlπ
2
ograničenja: R πl = V

l V

1. Način rješavanja: redukcijom broja varijabli na

temelju ograničenja jednakosti:
Kako je riječ o jednostavnom primjeru sa jednim
ograničenjem jednakosti, to ograničenje se može
iskoristiti za eliminaciju jedne od varijabli,
npr:
l = V/(R2π) .

Sada zadani problem postaje 1D problem bez

ograničenja s funkcijom cilja

f~ = R2 + V/( Rπ)

te se može riješiti analitički postavljanjem

nužnog uvjeta za optimum:

2R - V/( R2π) = 0

Optimum se dobije kao:

R = (V/2π)1/3 , l = (4V/π)1/3

2. Način rješavanja: primjenom Lagrangeove

funkcije:

funkcija cilja: f = 2R2π + 2Rlπ

ograničenje: h = R2πl - V = 0 .

Slijedi Lagrangeova funkcija

L(R,l,μ) = R2 + Rl + μ(R2πl - V)

i nužni uvjeti za ekstrem za L(R, l, μ) daju:

2R + l + 2R μ πl = 0

D. Vučina: Metode inženjerske numeričke optimizacije 5

1.Uvod i osnovni pojmovi

R + μR2π = 0
R2πl - V = 0 .

Dobiveni nelinearni sustav može se riješiti po

varijablama (R,l,μ) te se dobije isto rješenje
kao i kod 1. načina. Dodatno se dobije
Lagrangeov multiplikator

μ = - 2/(Vπ2)1/3 .

Česta je primjena određivanja optimuma problema s ograničenjima u

mehanici. Fizikalni model problema se izvodi putem energetskih metoda
odnosno metoda analitičke mehanike, a jednadžbe kinematičkih veza
među tijelima sustava (zglobovi, klizači, itd.) mogu se ugraditi kao
ograničenja jednakosti putem članova s Lagrangeovim množiteljima.

Nužni uvjet za ekstrem kod problema s ograničenjima nejednakosti

Problemi s ograničenjima nejednakosti (1.4)

min f(x) , x Є Rn ,
uz gj(x) ≤ 0 , j= 1, p

transformiraju se u ograničenja jednakosti (1.5) uvođenjem p dodatnih

varijabli ('slack variables') te poprimaju oblik ograničenja jednakosti

gi(x) + si2 = 0

Ova transformacija vrijedi jer za proizvoljnu vrijednost si vrijedi si2 ≥ 0

pa iz gi(x) = - si2 slijedi gi(x) ≤ 0 , te vrijedi ekvivalencija (1.6). Kada
bi se koristila dodatna varijabla si umjesto si2 , bila bi nužna dodatna
ograničenja si ≥ 0.

Dodatni uvjet kod ograničenja nejednakosti je da odgovarajući

Lagrangeovi množitelji ('multiplikatori') moraju biti nenegativni (νj ≥ 0)
čime je osigurano da su gradijenti funkcije i ograničenja suprotno
usmjereni. Kod ograničenja koje je neaktivno u trenutnoj točki
(zadovoljeno sa g<0) multiplikatori su jednaki nuli (νj = 0).

D. Vučina: Metode inženjerske numeričke optimizacije 6

1.Uvod i osnovni pojmovi

Kuhn- Tuckerovi (KT) nužni uvjeti za ekstrem funkcija s

ograničenjima

Kada se promatra općeniti problem s ograničenjima (1.4), (1.5) jednakosti

i nejednakosti

min f(x) ,
uz hj(x) = 0 , j= 1, r
gj(x) ≤ 0 , j= 1, p
x Є Rn ,

analogno postupku navedenom kod Lagrangeove funkcije s

ograničenjima jednakosti, ukupna Lagrangeova funkcija se može zapisati
kao ( [1]- [4]):

L(x, µ, ν, s) = f(x) + µT h(x) + νT ( g(x) + s2 ) (1.29)

gdje su µ Lagrangeovi množitelji uz zadana ograničenja jednakosti, ν

Lagrangeovi množitelji uz ograničenja jednakosti dobivena
transformacijom ograničenja nejednakosti, a s dodatne varijable koje
ograničenja nejednakosti svode na ograničenja jednakosti prema (1.6).

Grafički se 2D problem s ograničenjima može prikazati prema slikama

1.8 i 1.9:

x2 f = const
dopustivo područje

∇f fi
g1 fi+1

∇ g1 fi > fi+1

D. Vučina: Metode inženjerske numeričke optimizacije 7

1.Uvod i osnovni pojmovi

x1

Slika 1.8. Gradijenti funkcije cilja i ograničenja kod 2D problema

sa jednim ograničenjem (gradijenti su kolinearni)

fi
x2 fi > fi+1 f = const g3 (neaktivno)
fi+1
g1
dopustivo područje

∇f g2

∇ g1
∇ g2 x1

Slika 1.9. Gradijenti funkcije cilja i dva aktivna ograničenja kod

2D problema

Sada Lagrangeova funkcija formalno ima isti oblik kao kod postojanja
samo ograničenja (1.25), te nužni uvjeti za ekstrem L daju:

∂L(x,µ,ν,s)/∂xi= ∂f(x)/∂xi +Σµj⋅∂hj(x)/∂xi +Σνj⋅∂gj(x)/∂xi =0 , i=1,n

(1.30)

D. Vučina: Metode inženjerske numeričke optimizacije 8

1.Uvod i osnovni pojmovi

∂L(x, µ, ν, s) / ∂µj = hj(x) = 0 , j=1, r (1.31)

∂L(x, µ, ν, s) / ∂υj = gj(x) + sj2 = 0 , j=1, p (1.32)

∂L(x, µ, ν, s) / ∂sj = νj sj = 0 , j=1, p (1.33)

νj ≥ 0 , j=1, p (1.34)

pri čemu se (1.30)-(1.34) nazivaju Kuhn- Tucker (KT) nužnim uvjetima.

Uvjet (1.34) osigurava karakter (≤ ) ograničenja nejednakosti (1.4). Iz
uvjeta (1.33) je vidljivo da je u optimumu za trenutno aktivna ograničenja
(kada je izraz (1.4) ispunjen sa znakom jednakosti) odgovarajući
multiplikator νj nenegativan, dok je za neaktivna ograničenja jednak
nuli. Drugim riječima, određivanje s u KT sustavu jednadžbi daje način
zadovoljenja ograničenja zbog (1.32). Za aktivno ograničenje j koje je u
optimumu zadovoljeno sa gj(x)=0 vrijedi sj=0 te νj≥ 0. Za neaktivno
ograničenje koje je u optimumu zadovoljeno sa gj(x)<0 odnosno sj2>0
zbog (1.33) vrijedi νj = 0. KT uvjeti su primjenjivi i za optimume unutar
domene u kojima nisu aktivna ograničenja.

Slično kao kod postojanja samo ograničenja jednakosti, uvjet (1.30)

kazuje da je u točki optimuma s ograničenjima negativni gradijent
funkcije cilja (smjer najbržeg pada funkcije cilja) jednak linearnoj
kombinaciji gradijenata aktivnih ograničenja pomnoženih s pripadnim
Lagrangeovim multiplikatorima. U slučaju kao na slici 1.9. vrijedi

∇f = − {ν 1 ⋅ ∇ x g1 + ν 2 ⋅ ∇ x g 2 } (1.30.a)

gdje su gradijenti po zadanim varijablama x . U izraz (1.30.a) ne ulaze

neaktivna ograničenja, ili se mogu uključiti s multiplikatorom jednakim
nuli.

KT uvjeti ukupno daju (n+r+2p) jednadžbi za isto toliki broj nepoznanica

(x, µ, ν, s) . Zbog složenosti rješavanja KT nelinearnog sustava jednadžbi
(1.30)-(1.34) i uvjeta grananja u potprobleme prema (1.33) ('switching
conditions') sa slučajevima:
(1) νj=0 , (2) sj=0 , te iznimni slučaj (3) νj= sj=0 ,

D. Vučina: Metode inženjerske numeričke optimizacije 9

1.Uvod i osnovni pojmovi

odnosno ukupno 2p slučajeva (+ evtl. iznimni slučajevi), KT uvjeti nisu

praktični za izravno numeričko rješavanje stvarnih problema Newton-
Raphson postupkom (vidjeti primjer 4.7) ili drugim postupcima za
rješavanje nelinearnih sustava jednadžbi.

KT uvjeti predstavljaju nužne uvjete za ekstrem funkcija s ograničenjima.

Kod konveksnih problema, gdje su domena problema i funkcija f(x)
konveksni odnosno f{αx2 +(1-α)x1} ≤ αf(x2) + (1-α)f(x1) lokalni
ekstrem je ujedno i globalni te su KT uvjeti nužni i dovoljni uvjeti.

D. Vučina: Metode inženjerske numeričke optimizacije 10