Validacija i verifikacija simulacionih modela 1/13

UVODNE NAPOMENE
• Jedna od veoma važnih faza u razvoju simulacionog modela jeste i ocena valjanosti,
odnosno davanja odgovora na pitanje da li model predstavlja dovoljno dobru sliku
stvarnosti koju reprezentuje.
• Potvrdan odgovor na pitanje valjanosti znači da se i zaključci izvedeni iz simulacionih
eksperimenata mogu smatrati ispravnim, dok u protivnom gotovo da nemaju nikakvu
vrednost, što svakako upućuje i na značaj koji ocena valjanosti modela ima na
uspešnost simulacije.
• Simulacioni model u osnovi objedinjuje konceptualni i računarski model pa se ispitivanje
valjanosti, sledstveno, odnosi na dve kategorije ispitivanja: funkcionisanja računarskog
modela sa jedne, i saglasnost konceptualnog modela sa sistemom koji je predmet
simulacije, sa druge.
• Potreba sprovođenja ovih ispitivanja, u cilju ocene valjanosti modela, u početnim
fazama razvoja simulacije nije bila prepoznata kao nužnost, pa se određenje
komponenti tog procesa kristališe tek u 80-ih godina prošlog veka, kada se preciznije
definišu značenje pojmova „verifikacija simulacionog modela“ i „validacija
simulacionog modela“, koji su danas opšteprihvaćeni (Sargent & Balci, 2017).
• Ako model ne daje valjanu predstavu o sistemu koji se posmatra onda ni
zaključci izvedeni iz simulacionih eksperimenata sprovedeni na tom modelu
nemaju praktično nikakvu vrednost.

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 2/13

• Imajući rečeno u vidu, validacija i verifikacija jesu među najznačajnijim koracima

simulacionog projekta.
Značenje pojmova
• Validacija označava proces u kome se procenjuje da li je konceptualni model tačna
predstava sistema koji se analizira. U suštini, validacija se odnosi na gradnju pravog
modela.
• Verifikacija je proces u kome se procenjuje da li računarski simulacioni program radi
na predviđeni način. U suštini, verifikacija se odnosi na gradnju modela na pravi
način.

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 3/13

Definisanje pojmova
• Balci (1995), pojmove definiše na sledeći način:

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 4/13

• Sargent (2011), verifikaciju i validaciju definiše tako što pored validacije konceptualnog
modela i verifikacije računarskog modela skup pojmova proširuje, slično kao Gass
(1983), i operativnom validacijom kao i validnošću podataka:

• Premda se u literaturi obično navode samo koraci verifikacije i validacije simulacionog

modela, koji se sprovode tim redosledom, ne treba da zbunjuje prethodni koncept u
kome se nakon verifikacije modela vrši operativna validacija.
• Naime, dok se verifikacija modela odnosi prevashodno na analizu i proveru
računarskog modela, često po modulima, i kontrolu tačnosti konverzije konceptualnog

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 5/13

modela u izvršni program, tek nakon dostizanja pune funkcionalnosti programa moguće
je pristupiti sofisticiranijem testiranju. Taj proces, koji Sargent (2011) naziva operativna
validacija impicitno pominju i Banks i dr., (2005), navodeći ga kao deo validacije, gde se
model poredi sa ponašanjem realnog sistema.
Tehnike verifikacije simulacionih modela
• O načinu i tehnikama sprovođenja verifikacije i validacije u poslednje tri decenije dosta
je pisano. Balci (1994 i 1997) klasifikuje tehnike verifikacije i validacije simulacionih
modela.
Balci, (1994) definiše 45 tehnika u sledećim kategorijama: static, dynamic,
symbolic, constraint, and formal
Kasnije to proširuje na 115 VV&T tehnika grupisanih u tri grupe: conventional,
adaptive, and specific VV&T (Balci, 1997), gde se 77 VV&T tehnika
konvencionalne simulacije kategorizuje u informal, static, dynamic, and formal, a
preostalih 38 VV&T tehika za adaptivnu i specifičnu VV&T su namenjene object-
oriented simulation

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 6/13

VV&T Taxonomy (Balci, 1994)

http://what-when-how.com/information-science-and-technology/a-road-map-for-the-validation-verification-and-testing-
of-discrete-event-simulation-information-science/

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 7/13

Uobičajene tehnike verifikacije simulacionih modela

• Korišćenje dobre prakse u programiranju:
Korišćenje modula i podprograma.
U principu uvek je bolje krenuti sa razvojem “umereno detaljnog” modela koji se
kasnije razvija ako je to potrebno.
• Korišćenje “struktuiranog prolaska kroz model”:
Saradnja sa još nekim sa kime se može analizirati peogram.
• Korišćenje “trace” opcije:
Kada god je moguće koristiti „trace“ opciju za prikaz toka rada i međurezultata
tokom izvršavanja programa i porediti te rezultate sa onima dobijenim ručnom
proverom kako bi se videlo da li program radi na način kako je planirano.
• Provera logičnosti izlaznih rezultata simulacije:
Pokretanje simulacije sa različitim scenarijima ulaznih veličina i provera logičnosti
dobijenih rezultata.
Za neke instance izabrati određene mere performansi koje se „ručno
izračunavaju“ pa ih porediti sa vrednostima dobijenim simulacijom.
• Animacija:
Korišćenjem animacije korisnih vizuelno prati dinamiku simuliranih procesa.
Na osnovu toga i poznavanja realnog sistema analitičar može oceniti i validnost
modela i verifikovati računarski program.

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 8/13

• Poređenje simuliranih sa vrednostima dobijenim nekom analitičkom metodom:

Može se verifikovati rezultat simulacije pojednostavljenog procesa, koji se po
pravilu može modelirati i analitički. Ukoliko nema značajnijih razlika, simulaciju je
moguće sprovesti na složenijem procesu.
Tipičan primer je korišćenje teorije masovnog opsluživanja (TMO) i poređenje tako
sračunatih veličina sa onima dobijenim simulacijom. Naravno, problem koji je ovde
prisutan povezan je sa raspoloživim analitičkim modelima TMO. No, test može biti
sproveden i sa ulazima simulacionog modela koji dopuštaju primenu nekog od
modela TMO.
Trostepeni pristup validaciji simulacionog modela
• Kao pomoć procesu validacije, Naylor and Finger [1967] formulisali su trostepeni
pristup koji se široko primenjuje:
1. Razvoj modela koje je „očigledno validan“:
Cilj je da se razvije model koji na izgled potpuno odgovara sistemu koji se
modelira, tako da je to očigledno svima koji poznaju realni sistem.
Realizacija ovog koraka bazirana je observacijama realnog sistema, diskusiji sa
onima koji sistem dobro poznaju i na intuiciji
Važno je da kreator modela misaono prođe kroz konceptualni model pre nego
model bude prezentiran zainteresovanim korisnicima, da bi se u najvećoj mogućoj
meri proverila tačnost pretpostavki i saglasnost sa realnim sistemom.

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 9/13

2. Empirijska provera ispravnosti uvedenih pretpostavki:

U ovom koraku pretpostavke napravljene u polaznoj fazi proveravaju se
kvantitativno. Na primer, saglasnost empirijskih podataka sa nekom teorijskom
raspodelom proverava se grafičkim metodama i testovima saglasnosti.
Analiza osetljivosti koristi se ciljem utvrđivanja da li se izlaz modela značajno
menja sa promenom ulaznih veličina. Ukoliko je to tako, ulazne veličine na čiju
promenu je model osetljiv moraju biti pažljivo određene.
3. Utvrđivanje reprezentativnosti izlaznih podataka dobijenih modelom:
Jedan od najboljih testova validnosti modela je onaj u kome se se ispituje razlika
izlaznih rezultata modela i realnog sistema, za iste ulazne podatke.
U tu svrhu koristi se Turingov test. Izlazni rezultati simulacije se prezentuju ljudima
koji dobro poznaju realni sistem, i to u formatu u kome se prate na realnom
sistemu. Ukoliko eksperti utvrde razlike, njihovo objašnjenje razloga može
poboljšati model.
U procesu poređenja rezultata modela i podataka iz realnog sistema koriste se
statističke metode.

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 10/13

Poređenje rezultata dobijenih simulacijom i podataka iz

realnog sistema
• Po pravilu su i rezultati simulacije i podaci iz realnog sistema nestacionarni i
autokorelativni, pa tradicionalni statistički testovi (t-test, hi-kvadrat test, Kolmogorov-
Smirnov test, itd.) koji zahtevaju I.I.D podatke (nezavisne podatke sa identičnim
raspodelama verovatnoća), najčešće ne mogu biti direktno korišćeni.
• Otuda se za poređenje rezultata dobijenih simulacijom i podataka iz realnog sistema
koriste:
Inspekcijski pristup
Pristup baziran na intervalu poverenja
• Ova faza validacije je veoma značajna i najčešće se označava kao definitivni ili konačni
test ispravnosti simulacionog modela (Banks i dr., 2005). Ujedno, smatra se i
najobjektivnijim pristupom budući da je baziran na rezultatima primene statističkih
metoda a ne subjektivnih procena.

• Inspekcijski pristup
Pokretanje simulacionog modela sa realnim ulaznim podacima umesto teorijskim
raspodelama i poređenje izlaznih rezultata sa izlazima uočenim u realnom
sistemu.
Na taj način rezultati modela i realnog sistema su u korelaciji.

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 11/13

U suštini, ako su X izlazi iz realnog sistema i Y odgovarajući izlazi simulacionog

modela, potrebno je utvrditi razliku µ X − µ Y
Za ocenu razlike µ X − µ Y utvrđuju se vrednosti Xj - Yj (za j = 1, 2, …, n)
Ako Xi i Yi označavaju vrednosti i-tog para srednjih vrednosti posmatrane
statistike utvrđene, respektivno, iz podataka o realnom sistemu i simulacije, tada
se, zapravo, ovim pristupom testiraju razlike di = X i − Yi svih parova vrednosti u
uzorku i = 1,K, n .
U ovom slučaju za testiranje navedenih razlika koristi se t-test za uparene podatke
(paired t-test), koji je, iako je reč o dve grupe podataka (podaci iz realnog sistema
i podaci iz modela), u suštini t-test podataka jednog uzorka (one-sample t-test), tj.
uzorka razlika di. Primena t-testa za uparene podatke podrazumeva postavljanje
nulte hipoteze H0: µ d = 0 , gde je, očigledno, pretpostavljeno da nema razlike
između srednjih vrednosti podataka iz realnog sistema i modela, jer se očekuje da
su dovoljno bliske ukoliko je model validan. Logično je i da je alternativna hipoteza
u ovom slučaju H1: µd ≠ 0 .

Potom, potrebno je utvrditi vrednosti t-statistike kao i srednju vrednost d i

standardno odstupanje razlika sd , na način kako je to pokazano u nastavku.
H 0 : µd = 0 , H1 : µd ≠ 0

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 12/13

d − µd
t= 1 n 1 n
s d , d = ∑ di , s d =
n i =1
∑
n − 1 i =1
(di − d )2
n
Inspekcijski pristup (poznat i kao trace driven method) može obezbediti validan
uvid u adekvatnost simulacionog modela u nekim simulacionim studijama.
U suštini, to može biti i jedini izvodljiv pristup u nekim složenijim realnim sistemima
Pri tome, posebna pažnja treba biti posvećena interpretaciji rezultata tog pristupa
• Pristup zasnovan na intervalu poverenja
Ovo je mnogo pouzdaniji pristup poređenju rezultata simulacionog modela i
realnog sistema, ali zahteva ogroman broj podataka.
Pretpostavimo da smo sakupili m nezavisnih skupova podataka na realnom
sistemu i n nezavisnih skupova podataka iz modela (m i n mogu biti i jednaki).
Neka je Xj srednja vrednost j-tog skupa podataka iz realnog sistema čije je
matematičko očekivanje µX = E( X j ) i neka je Yj izlaz j-te replikacije simulacionog
modela pri čemu je µY = E(Yj )
Cilj je da se odredi interval poverenja za ζ = µ X − µY .
U slučaju da su Xj i Yj korelativni (napr. pri korišćenju “trace driven pristupa”), neka
je m = n i neka su Zj = Xj -Yj za j=1, 2 …, n. Zj su nezavisne identično
raspoređenje slučajne promenljive sa matematičkim očekivanjem E(Zj) = ζ .
1 n 1 n
Neka su ponovo
d = ∑ di s d =
n i =1
∑
n − 1 i =1
(di − d )2

Milorad Vidović - Simulacija logističkih sistema

Validacija i verifikacija simulacionih modela 13/13

Onda je, 100(1- α) procentna vrednost INTERVALA POVERENJA

Ukoliko interval poverenja ne sadrži nulu, tada se vrednosti µ X i µY statistički

razlikuju na nivou α

Milorad Vidović - Simulacija logističkih sistema