FAKULTET ZA INFORMACIONE TEHNOLOGIJE I DIZAJN

Predmet:

Sistemi u realnom vremenu

UVOD – ZNAČAJ NOVIH SISTEMA

Prof. dr Mladen Radivojević

 Prof. dr Mladen Radivojević

– Objavio 30 knjiga: (neke od njih su:)

• Nove tehnologije u reformi javne uprave,
• Poslovna korespodencija
• e-Uprava – od vizije do implementacije
• Digitalna ekonomija
• POSLOVNA INTELIGENCIJA
• Od elektronskog poslovanja do poslovne inteligen
cije u javnoj upravi
• ELEKTONSKO POSLOVANJE
– 225 naučna rada
– Vodi veći broj projekata, ...
 Vodio sljedeće projekte
• Elektronski potpis,
• Problem 2000-te (Y2K),
• Stepen razvijenosti opština u BiH,
• Video nadzor zgrade vlade,
• Evidencije ulazaka i izlazaka zaposlenih u Vladi Republike Srpske
• Kompjuterizacija matičnih službi u opštinama (rođeni, vjenčani, umrli),
• Internet i Intranet javne uprave,
• ITC-forum (e-Government UNDP),
• Strategija za smanjenje siromaštva u BiH
• Strategiju i Akcioni plan razvoja e-Uprave U BiH pod pokroviteljstvom UNDP-ij
a,
• Sistemski pregled javne uprave (Evropska komisija),
• Strategija razvoja lokalne samouprave,
• Implementacija poslovne inteligencije u Elektroprivredi RS, itd …

3
 Literatura:

• Udžbenik:

• POSLOVNA INTELIGENCIJA

Dodatna literatura:
– Mladen Radivojević: e-Prezentacije i predavanja
–Knjige i materijali ostalih autora
 Ispit

• Seminarski rad

• Kolokvijumi (intergalin test)

• Usmeni ispit
 Pitajte ?

• Ima li nešto što bi željeli znati od

opštih stvari prije nego pređemo
na samo predavanje?
• Jezik, jasnoća izražavanja, dolazak
, glasnost,........

6
 Šta trebamo naučiti danas?

Šta su Sistemi u realnom vremenu?

Osnovne pojmove o NOVIM SISTEMI
MA
Razvoj NOVIH SISTEMA
Neophodnost korištenja
 Sistemi u realnom vremenu su: računarski siste
Definicija
mi koji upravljaju i nadgledaju fizičke procese.
•Dio su nekog većeg sistema ili uređaja
•Nazivaju se i ugrađeni (embedded) mikroproces
orski sistemi.
•Razlikuju se od računarskih sistema opšte namje
ne, jer se projektuju se za unaprijed određenu pr
imjenu.
•Primjena diktira hardversku i softversku struktur
u.
Primjeri:

Gdje se mogu primjenjivati?

Navedite neke primjere?

 Svjetlosni sistemi u tunelima
PRIMARNI CILJ:Omogućiti siguran i pouzdan ul
az, prolazak i izlaz iz tunela

SEKUNDARNI CILJ: Omogućiti primarni cilj bez

obzira na količinu prometa. Ostvarivanje napo
menutih ciljeva direktno je povezano s odabir
om odgovarajuće tunelske rasvjeteom
Sistemi u realnom vremenu
Ključna karakteristika:
 vrijeme odziva,
 svoju funkciju mora da izvrši u
unaprijed zadatom vremenu
• Visoko pouzdan rad
Inteligentni transportni sistemi
Sistemi u realnom vremenu - RTS

• Kod uređaja široke potrošnje, iz razloga ekono

mičnosti, zahtjeva se minimalno korišćenje har
dverskih resursa (8/16 bitni CPU, mala količina
memorije).

• Projektovanje RTS sistema predstavlja složen z

adatak i dugotrajan proces
Sistemi u realnom vremenu - RTS

Sastoje se od:

•Upravljačkog sistema - predstavlja elektrons

ki podsistem fizičkog sistema
•Upravljanog sistema - okruženje sa kojim up
ravljački sistem interaguje.
Sistemi u realnom vremenu - RTS

Na primer: u automatizovanoj fabrici –

•upravljani sistem je fabrički pogon koji se sastoj

i od: robota, manipulatora, pokretnih traka, itd,
•upravljački sistem - čini računar zajedano sa
interfejsom koji upravlja i koordiniše sve
aktivnosi u fabričkom pogonu.
Sistemi u realnom
Osnovne funkcije vremenu
RTS sistema - RTS
su sljedeće:
1. Prikuplja informacije o tekućem stanju fi
zičkog sistema, npr. nadgleda fizičke veličine kao
što su: temperatura, pritisak, hemijski sastav.
2. Obrađuje prikupljene informacije na bazi
matematičkog modela fizičkog sistema.
3. Generiše izlazne signale koji utiču na po
našenje fizičkog sistema, a u cilju upravljanja ili o
stvarivanja nekog zadatka.
Upravljački sistem
• Upravljački sistem - uvezan sa okruženjem na ba
zi informacija o prikupljenih preko senzora.
• Treba biti usklađen sa stvarnim stanjem okuržen
ja.
• Ne smije se desiti da upravljački sistem peduzim
a akcije na bazi pogrešne predstave o stanju okr
uženja, što može imati katastrofalne posledice. Iz
tog razloga:
• Neophodno je obezbediti pravovremeno prikupl
janje i pravovremenu obradu informacija.
 Kakav treba biti novi sistem?
• Zasnovan na poslovnoj inteligenciji;
• Razumljiv svim korisnicima;
• Jednostavan u radu i prezentovanju;
• Pouzdan;
• Da omogućava razmjenu podataka i znanja u v
rlo kratkim vremenskim intervalima;
• Da obezbjedi funkcionalnost.
• INTELIGENTAN
 OSNOVNI POJMOVI

Inteligentni sistemi

Neuronske mreže

Vještačka inteligencija
SPO I DSS
• Vještačka inteligencija

• Pametan sisitem

• Inteligentan sistem
 Funkcije inteligentnih sistema

1. Prikupljanje i obrada informacija

2. Interakcija s vanjskim svijetom (okolinom)
3. Komunikacija sa čovjekom i /ili s drugim intelig
entnim sistemima
4. Prikupljanje znanja (učenje)
5. Rukovanje znanjem
6. Obrada znanja i zaključivanje
7. Planiranje
 Svojstva inteligentnih sistema
Pokazuje prilagodljivo ciljno pona
šanje.
Uči na osnovu iskustva.
Koristi velike količine znanja.
Pokazuje svojstva svjesnosti.
 Svojstva inteligentnih sistema

Komunicira sa čovjekom prirodnim jez

ikom i govorom.
Toleriše pogreške i nejasnoće u komu
nikaciji.
Odgovara u stvarnom vremenu.
Kako do inteligentnog sistema?
 NEURONSKE MREŽE

• NEURONSKA MREŽA je jedan oblik implement

acije sistema vještačke inteligencije koji preds
tavlja sistem koji se sastoji od određenog broja
međusobno povezanih procesora (čvorova) ili
procesnih elemenata.
 ŠTA SU NEURONSKE MREŽE

• Matematički modeli po uzoru na mozak

• Biološka i vještačka NM
 LJUDSKI MOZAK I VNM

• Mozak: • VNM:
– 1010 neurona – Do 200 000 neurona
– 1013 veza između ne – Brzina rada na nivou na
urona nosec
– Brzina rada na nivou – Simulacija paralelnog ra
da
milisec
– Potpuno paralelni ra
d
 Biološka neuronska mreža

Osnovna jedinica nervog sistema je nervna ćelija ili neuron.

Ima četiri osnovna dijela:
– ulazni dio ćelije - sadrži skup razgranatih niti nazva
nih dendriti,
– tijelo ćelije - obrađuje signale koje dobija od dendrit
a,
- izlazni dio ćelije - dobijajeni izlazni impuls se
proslijeđuje na sve krajeve razgranate niti - aksone, i
– sinapse - mjesto gde se akson dodiruje sa dendritim
a neke druge ćelije.
Biološka neuronska mreža
Vještačka neuronska mreža
 Svijet oko nas?
• Većinu podataka koje ne obrađujemo ‘ručno’ ob
rađuju digitalni računari.
• Ko, Šta i Kada obrađuje većinu podataka danas?

Mozgovi životinja i ljudi

 Tražimo drugačiji koncept obrade podataka koji bi bio sličniji f

unkcioniranju mozga.
 INTELIGENTNI SISTEM koji uspješno oponaša rad LJUDSK
OG mozga bio bi inteligentan.
 NEURONSKE MREŽE

• Istraživanja mozga pokazuju da se sastoji od ve

likog broja neurona koji rade paralelno.

• Kako obezbjediti računarski sistem u kome se

procesni elementi podatke obrađuju paralelno

• Paradigma:
umjetna neuronska mreža - UNM
 NEURONSKE MREŽE
• 1940. McCulloch i Pitts (MIT) – matematički m
odel neurona.
• Procesorska moć računara je bila slaba sve do
pojave VSI računara.
• 1951. Minsky i Edmonds: učenje stroja zasnov
anog na mrežnoj strukturi.
• 1957. Rosenblatt – Perceptron.
• 1969. Nestaje entuzijazma.
 NEURONSKE MREŽE
‘Credit assignment pro
blem’
Kako odrediti koliko je svaki proce
sni element odgovoran za pogreš
ku mreže na izlazu?!

Minsky i Papert: ‘Perceptrons’, 1969.

 Zaključuju: nema mnogo nade da će se problem učenja vi
šeslojne mreže ikada riješiti.
 VNM padaju u zaborav 20-tak godina.
 Daljnja istraživanja devdesetih godina.
•
NEURONSKE
Renesansa VNM:
MREŽE
– 1982. Hopfield uvodi pojam energije mreže – fizič
ari postaju zainteresovani (fizika materijala).
– Pronađeno rješenje za ‘credit assignment proble
m’ – back error propagation (BACKPROPAGATION
)

• VNM vraćaju se na scenu ’90.

• Porast istraživanja u tom području (razvoj mat
ematike, razvoj tehnologije,...).
 Vještačka neuronska mreža
• Vještačke neuronske mreže čine računari koji s
e razlikuju od tradicionalnih, klasičnih, računar
a sa Von Neumann-ovom arhitekturom.
• Kod klasičnog računara jedan centralni proces
or sekvencijalno obavlja instrukcije zadate prog
ramom.
• Pri tome procesor može da obavlja stotinu i viš
e osnovnih naredbi, kao što su sabiranje, oduzi
manje, množenje, punjenje, pomjeranje i drugo
.
 Von Neumannovo računar 1946

• Podaci i instrukcije programa pohranjeni su zajedno u

jednoj memoriji i ne razlikuju se.
• Postoji samo jedan tok podataka i jedan tok instrukcija
• Svi podaci i sve operacije prolaze tim tokom - von Neu
mmanovo ‘usko grlo’ (Backus 1978.)
• Fizičko, ali i mentalno ograničenje.
 VNM - Neumann
• Vjerovalo se da je svako znanje moguće formal
izovati u algoritamski oblik.
• Pokazalo se da su mnogi svakodnevni zadaci pr
eviše složeni za simboličko predočavanje, npr.
Raspoznavanje uzoraka.

> Majku možemo prepoznati u 0.1 s

> Neuroni u mozgu pale se svake ms
> U seriji, dakle, pali samo 100 neurona
> Očigledno paralelna obrada!
 VNM - Neumann

• Bitne razlike dviju paradigmi:

von Neumann VNM

Unaprijed detaljno opisujemo Uči samostalno ili s učitelje

algoritam kroz korake m
Samo se precizni podaci adek Podaci mogu biti nejasni (šu
vatno obrađuju m) ili neizraziti
Funkcionalnost zavisi o svako Obrada i rezultat ne zavise
m elementu mnogo o jednom elementu
Implicitno znanje (teška inter
Eksplicitna veza
pretacija)
 Primjena VNM

• Odlično rješavaju probleme klasifikacije i pred

viđanja – sve probleme kod kojih postoji slože
na (nelinearna) veza ulaza i izlaza
• Neke osobine:
– Mogu raditi sa nejasnim ili manjkavim podacima.
– Robusne na pogreške u podacima.
– Rade sa velikim brojem varijabli i parametara.
– Prilagodljive okolini.
– Sposobne da uče. ...
•
 NM
• Pokazuju dobre rezultate prilikom predviđanj
a i modeliranja sistema, gdje fizički procesi ni
su jasni ili su veoma kompleksni.
• Elastične su prema poremećajima u ulaznim
podacima.
• Uspješno rješavaju probleme koji su previše
kompleksni za konvencionalne tehnologije (n
a primjer, problemi koji nemaju algoritamsko r
ješenje)
 Biološki i vještački neuron

• Osnovni delovi: telo(soma), dendriti(ulazi), aks

on(izlaz), sinapse(spojevi)
 Vještački neuron

output = f (w1in1+ …+wninn)

 Model vještačkog neurona
Gdje su:
•u1...n – ulazni podaci,
•w1...n – težinski koeficijenti,
•f( ) – aktivaciona funkcija, i
•i – izlazni podatak.
 Osnovni elementi vještačkog neurona

• Ulazna funkcija sumiranja

• Funkcija transfera
• Ulazi sa težinskim koeficijentima
• Izlaz
 FUNKCIJE TRANSFERA

Linearna

Odskočna

Sigmoidna
 NM

• Koeficijenti veza između neurona podešavaju

na osnovu ulaznih podataka, tako da neuroni „
uče“ preko primjera i posjeduju sposobnost za
generalizaciju poslije unijetog primjera.
Neuronske mreže možemo
NM klasifikovati prema:
•Broju slojeva:
– Jednoslojne;
– Višeslojne.
•Vrsti veza između neurona.
•Vrsti obučavanja neuronskih mreža.
•Smjeru prostiranja informacija:
– feedforward (nepovratne);
– feedback (povratne).
•Vrsti podataka.
Vrste NM prema arhitekturi
 Vještačka neuronska mreža
• U VNM procesorske jedinice su povezane određeno
m topologijom – strukturom paralelnog distribuirano
g procesiranja (PDP).
• Istovremeno radi više procesorskih jedinica, a rezult
ati njihove obrade PDP strukturom prelaze na druge
jedinice, itd.
• Procesorske jedinice u jednoj VNM su jednostavne i
mogu obavljati samo jednu ili eventualno nekoliko o
peracija i međusobno su povezane tako da u jednoj
NM postoji mnogo više veza nego procesorskih jedi
nica.
 Vještačka neuronska mreža

• NM se ne „programiraju“ već "obučavaju".

• Prije nego što se počnu primenjivati, ulaže se
dosta vremena za obučavanje, učenje ili trenir
anje NM.
• Proces obučavanja se najčešće zasniva na až
uriranju težinskih koeficijenata veza.
• Težinski koeficijenti veza su koeficijenti koji su
dodjeljeni u svakom trenutku vezama NM. Za
vrijeme obučavanja ovi se koeficijenti ažuriraju
.
 Vještački neuron
• Ulazni sloj se sastoji od ulaznih procesorskih jedin
ica. Svakoj jedinici se dodjeljuje određena vrijedno
st u zavisnosti od vrijednosti pojedinih elemenata
niza.
• Sa svojih izlaza, ove procesorske jedinice proslije
đuju signale do slijedećeg sloja prema topologiji d
ate mreže.
 Neuronsku mrežu čine:

•Arhitektura mreže (šema vezivanja neurona).

•Prenosna funkcija neurona.
•Zakoni učenja.
 Neuronske mreže

• Arhitekturu vještačke neuronske mreže

predstavlja specifično uređenje i povezivanj
e neurona u obliku mreže.

• Po arhitekturi, neuronske mreže se razlikuju pr

ema broju neuronskih slojeva. Obično svaki slo
j prima ulaze iz prethodnog sloja, a svoje izlaze
šalje narednom sloju.
 Neuronske mreže

• Prvi sloj prenosi signale slijedećem sloju (sk

rivenom sloju), koji obrađuje ove podatke i izd
vaja osobine i šeme iz primljenih signala.
• Podaci koji se smatraju važnim se upućuju izl
aznom sloju, posljednjem sloju mreže. Na izla
zima neurona trećeg sloja se dobijaju konačni
rezultati obrade.
• Složenije NM mogu imati više skrivenih slojev
a.
• Učenje NM se svodi na učenje iz primjera, kojih treb
a da bude što Neuronske
više. mreže
• Proces učenja dovodi do korigovanja sinaptičkih teži
na.
• Postoji tri tipa obučavanja:
– Nadgledano obučavanje: mreži se predstavljaju ulazni po
daci i očekivani izlazni podaci;
– Obučavanje ocjenjivanjem: mreži se ne predstavljaju oče
kivani izlazni podaci, nego joj se poslije izvjesnog vremena pre
dstavlja ocjena prethodnog rada.
– Samoorganizacija: mreži se predstavljaju isključivo ulazi.
 NM

• Neuronske mreže su sistemi sastavljeni od više j

ednostavnih elemenata (neurona), a obrađuju
podatke paralelno.
• Svaki elemenat NM operiše samo lokalnim infor
macijama, radi sinhronizovano, kao da nema sist
emskog sata.
 NM
• Vještačke NM su po strukturi, funkciji i obradi i
nformacija slične biološkim NM, mada se radi
o vještačkim tvorevinama.
• Biološke NM su daleko komplikovanije od svoji
h matematičkih modela, koji se koriste za vješt
ačke NM.
• One predstavljaju sistem sastavljen od velikog
broja jednostavnih elemenata za obradu podat
aka.
• NM su sposobne za prikupljanje, memorisanje i
NM znanja.
korištenje eksperimentalnog
• Sastavljene su od više jednostavnih procesora (j
edinica, neurona), gdje svaki od njih ima lokaln
u memoriju u kojoj pamti podatke koje obrađuj
e. Te jedinice su povezane komunikacionim kan
alima (vezama).
• Jedinice obrađuju samo svoje lokalne podatke
i ulaze koje primaju preko konekcije.
 Koraci u izgradnji NM

• Priprema podataka i modeliranje.

• Provođenje treniranja i testiranja neu
ronskih mreža.
• Tumačenje rezultata neuronskih mre
ža i izbor najboljeg modela.
 Neuronske mreže
• Arhitektura neuronske mreže predstavlja specifično pove
zivanje neurona u jednu cjelinu.
• Struktura se razlikuje po broju slojeva.
– Prvi sloj se naziva ulazni, a poslednji izlazni, dok se slojevi iz
među nazivaju skriveni slojevi. Najčešće ih ima tri.
– Prvi sloj prima podatke iz spoljašnje sredine,
– Skriveni sloj prosleđuje relevantne podatke do trećeg (izlaz
nog) sloja.
– Na izlazu trećeg sloja dobijamo konačan rezultat.

Složenije neuronske mreže imaju više skrivenih slojeva.

Vještački neuron
KARAKTERISTIKE: Neuronske mreže
•Mogu paralelno da obrađuju podatke.
•Komponente su nezavisne jedne od drugih.
•Istovremeno radi više procesorskih jedinica, da bi rezultati njih
ove obrade prešli na sljedeće jedinice (neurone).
•Procesorske jedinice u jednoj neuronskoj mreži su jednostavne
i mogu obavljati samo jedno ili eventualno nekoliko računarskih
operacija i međusobno su povezani tako da u jednoj neuronskoj
mreži postoji mnogo više veza nego procesorskih jedinica.
•Broj veza između neurona predstavlja njenu snagu.
 Zаšto neuronske mreže?
• Omogućavaju inteligentno procesiranje bez pr
ethodno definisanog modela ili algoritma već
na osnovu podataka o ponašanju nekog sistem
a.
• Imaju sposobnost učenja.
• Primenjive su na širok spektar problema.
• Efikasno mogu da rješavaju veoma složene pro
bleme koji bi inače bili teško rješivi nekim algo
ritamskim postpupkom.
 Neuronske mreže

• Neuronske mreže se ne programiraju, već se tr

eniraju, tako da je potrebno dosta vremena za
njihovo obučavanje, prije nego što počnu da s
e koriste.
 RAZLIKE
• broju slojeva IZMEĐU
(dvoslojne NM
i višeslojne),
• tipu veze između neurona,
• vezi između ulaznih i izlaznih podataka (autoas
ocijativne i heteroasocijativne),
• ulaznim i izlaznim (prijenosnim) funkcijama,
• pravilu učenja,
• ostalim parametrima (sigurnosti ispaljivanja, v
remenskim karakteristikama, ...
 UČENJE NM

• Učenje - proces mijenjanja težina u mreži.

• Odvija se kao odgovor na podatke izvana koji s

u predstavljeni ulaznom sloju.

• Podaci koji se predstavljaju izlaznom sloju su ž

eljene vrijednosti izlaznih varijabli.
• Prije učenjaUČENJE
treba: NM
– definisat model (ulazne i izlazne varijable),
– prikupiti podatke iz prošlosti na kojima će se primij
eniti mreža.
• Prikupljene podatke treba podijeliti u tri poduz
orka:
– uzorak za treniranje i
– uzorak za testiranje.
– uzorak za validaciju).
Preporuka - 70% za treniranje, 10% za testiranje i 20
% za validaciju.
•
UČENJE NM
Učenja je proces podešavanja težina u mreži, a
odvija se u više iteracija ili prolaza kroz mrežu.
• Jedna iteracija predstavlja učitavanje jednog p
romatranja iz podataka (jednog ulaznog i izlaz
nog vektora).
• Za brže učenje može se učitati više promatranj
a odjednom.
• Mreža se trenira u nekoliko hiljada iteracija.
 UČENJE NM

• Koliko dugo trenirati mrežu?

– Ne postoje pravila za dužinu tre
niranja.
 Kako trenirati NM? (1)
• Mreža se trenira na određenom broj
u iteracija (npr. 10000),
• Naučena mreža se testira na uzorku z
a testiranje, i spremi dobijeni rezultat
i mreža.
• Nastavlja se trenirati sa npr. još 1000
0.
 Kako trenirati NM? (2)
• Dobijeni rezultat uspoređuje sa prethodno s
premljenim.
• Ako je ponovnom učenju dobijen bolji rezul
tat, pohranjuje se novi rezultat i nova mreža
.
• Postupak se ponavlja sve dok se rezultat pre
stane poboljšavati
• Najbolja spremljena mreža ulazi u daljni pos
tupak validacije.
•
Testiranje mreže
Testiranje mreže - druga faza rada neuronske mr
eže.
• Razlika između faze učenja i faze testiranja - u dr
ugoj fazi mreža se više ne uči - težine fiksne.
Pri testiranju mreži se predstavljaju novi ulazni vek
tori koji nisu sudjelovali u procesu učenja, a od
mreže se očekuje da za predstavljen novi ulazni v
ektor proizvede izlaz.
• Ocjenjivanje mreže obavlja se izračunavanjem gr
eške ili neke druge mjere tačnosti.
 GREŠKE

• Greška mreže - rezultat kojim se tumači uspješ

nost ili neuspješnost neuronske mreže i njezin
a korisnost u primjeni za predviđanje na buduć
im podacima.
• Najčešća greška koja se računa kod neuronskih
mreža je srednja kvadratna greška prema form
uli:
•Gdje je: GREŠKE
– ti - izračunati izlaz koji daje mreža
– oi - željeni (stvarni) izlaz
– n - broj slučajeva u uzorku
Greška se posmatra prema broju izlaznih varijabli i u
odnosu na broj slučajeva u uzorku na kojem se raču
na.
 TEŽINA VEZE

• Težina veze w je jačina veze između dva neuro

na. Ako je, na primjer, neuron j povezan s neu
ronom i, wji označava težinu veze od neuron
a j prema neuronu i
 TEŽINA VEZE
• Promjena težina obavlja se prema nekom od p
ravila učenja, a najčešće se koristi Delta pravilo
učenja prema formuli: