SEMINARSKI RAD IZ INFORMACIONIH

SISTEMA

Tema: Neuronske mreže

Student: Profesor:
Ivan Dudaš-110/09 Dragan Soleša
Seminarski rad-Neuronske mreže

Sadržaj

SADRŽAJ…………………………………………………...............……………………………........................…
2

1.UVOD.......................................................................................................................................
3

2.OSNOVNO O NEURONSKIM MREŽAMA……........……………………………………….................4

3.VRSTE NEURONSKIH MREŽA…...….........…………………………………………..................………5

4.PODJELA NEURONSKIH MREŽA………........…………………...…………………….................…...7

4.1 PODELA NEURONSKIH MREŽA PREMA BROJU

SLOJEVA…........................................7
4.2 PODELA NM PREMA VRSTI
VEZA....................................................................................7
4.3 VRSTE OBUČAVANJA NEURONSKIH MREŽA….............................................................7
4.4 PODELA NM PREMA SMERU PROSTIRANJA INFORMACIJA......................................8
4.5 PODELA NEURONSKIH MREŽA PREMA VRSTI PODATAKA........................................8

5.UČENJE NEURONSKIH MREŽ............................................................................................9

6.PRIMENA NEURONSKIH MREŽA.....................................................................................10

7.ZAKLJUČAK..........................................................................................................................11

8.LITERATURA………………………..............……………………………………......................
…………...12

2
Seminarski rad-Neuronske mreže

1.UVOD

Oblast koju danas poznajemo kao neuronske mreže nastala je kao rezultat spoja nekoliko
veoma različitih pravaca istraživanja: obrade signala, neurobiologije i fizike. Neuronske
mreže predstavljaju tipičan primer interdisciplinarne oblasti. S'jedne strane, to je pokušaj
da se razume rad ljudskog mozga, a sa druge da se to stečeno znanje primeni u obradi
složenih informacija. Postoje i mnogi drugi napredni, nealgoritamski sistemi, kao što su
algoritmi koji uče, genetski algoritmi (kojima ćemo se baviti u drugom delu), adaptivne
memorije, asocijativne memorije, fazi logika. Međutim, opšti je utisak da su neuronske
mreže za sada najzrelija i najprimenljivija tehnologija. Navešćemo osnovne razlike između
između klasičnih računara i neuronskih mreža. Konvencionalni računari rade na logičkoj
osnovi, deterministički, sekvencijalno ili sa vrlo niskim stepenom paralelizma. Sofver
napisan za takve računare mora biti gotovo savršen da bi ispravno radio. Za tako nešto je
potreban dugotrajan i skup proces projektovanja i testiranja. Neuronske mreže spadaju u
kategoriju paralelnog asinhronog distribuiranog procesiranja. Mreža je tolerantna na
oštećenje ili ispadanje iz rada relativno malog broja neurona. Takođe, mreža je tolerantna i
na prisustvo šuma u ulaznom signalu. Svaki memorijski element je delokalizovan smešten je
u celoj mreži i ne možemo identifikovati deo u kome se on čuva. Klasično adresiranje ne
postoji, jer se memoriji pristupa preko sadržaja, a ne preko adrese.

3
Seminarski rad-Neuronske mreže

2.OSNOVNO O NEURONSKIM MREŽAMA

1
*Početak neuro-računarstva obično se vezuje za 1943. godinu i članak Warrena McCullocha i
Waltera Pittsa “Logički račun ideja svojstvenih nervnoj aktivnosti”. Ovaj članak je često citiran.
Kibernetičar Norbert Winer i matematičar John von Neumann su smatrali da bi istraživanja na polju
računarstva, inspirisana radom ljudskog mozga, mogla biti izuzetno zanimljiva. Knjiga Donalda
Hebb-a iz 1949. godine “The Organization of behavior” (Organizacija ponašanja) iskazuje ideju da je
klasično psihološko uslovljeno ponašanje prisutno kod svih životinja, jer je ono svojstvo neurona.
Ova ideja nije bila nova, ali ju je Hebb više razradio od prethodnika, predlažući određeni zakon
učenja za sinapse, a pomoću njega je izveo kvalitativno objašnjenje nekih eksperimentalnih rezultata
iz psihologije.
Početkom pedesetih godina, najviše uticaja na dalji razvoj neuronskih mreža je imao rad Marvin
Minsky-a koji je u tom periodu konstruisao neuroračunar pod imenom Snark (1951). Frank
Rosenblatt je zaslužan za otkriće jednoslojne neuronske mreže, zvane perceptron. Ovaj računar je
mogao uspešno da podešava težinske koeficijente, međutim ovaj računar nije postigao značajnije
praktične rezultate. Tek krajem pedesetih godina (1957-1958), Frank Rosenblatt i Charles Wightman
sa svojim saradnicima su uspeli da razviju računar pod nazivom Mark I koji predstavlja prvi
neuroračunar.*
Nešto posle Rosenblatta, Bernard Widrow je sa svojim studentima (najpoznatiji je Ted Hoff, kasnije
tvorac mikroprocesora) razradio novi tip “neurona” - ADALINE (ADAptivini LINearni Element,
prenosna funkcija f(x)=x) i odgovarajući zakon učenja.
U periodu od 1950-tih do ranih 1960-tih godina napisano je nekoliko knjiga i osnovano nekoliko
kompanija koje se bave neuroračunarima. Međutim, sredinom 1960-tih godina došlo je do zastoja
zbog dva očigledna problema. Prvo, većina istraživača je prišla problemu sa kvalitativne i
eksperimentalne strane, zanemarujući analitički pristup. Drugo, početni entuzijazam je bio toliko jak
da su uveliko publikovana predviđanja da nas od veštačkog mozga deli samo nekoliko godina
istraživanja. Ovakav zanos je dalje diskreditovao ovu oblast i odbio veliki broj istraživača. Mnogi od
ovih ljudi su napustili neuroračunarstvo i prešli u srodna polja.
Sredinom 1960-ih godina je pristup rešavanja problema neuronskih mreža okarakterisan kao
pogrešan, nakon što Marvin Minsky i Seyour Papert u knjizi “Perceptrons” objavljuju matematički
dokaz da jednoslojna neuronska mreža “Perceptron” ne može da nauči funkciju XOR, uz
pretpostavku da dodavanjem više slojeva neurona taj problem neće biti prevaziđen. Tačno je da
neuron nije u stanju da izvede pomenutu funkciju, ali za iole složeniju mrežu od nekoliko neurona to
predstavlja veoma jednostavan zadatak. Njihov dokaz je diskreditovao istraživanja neuronskih
mreža, a finansiranja su preusmerena na druge oblasti veštačke inteligencije.
U periodu između 1967. do 1982. godine pojavljuju se istraživači koji daju značajan doprinos
razvoju ove oblasti kao što su Teuvo Kohonen, Kunihiko Fukushima i Stephnen Grossberg. Naročito
se istakao Teuvo Kohonen, koji je otkrio nekoliko tipova neuronskih mreža koje su po njemu dobile
naziv. U ovom periodu se pojavio i backpropagation algoritam. U radu na ovom algoritmu su se
posebno istakli sledeći načunici: Amari (1967.) dodaje unutrašnje slojeve perceptronskoj mreži,
Bryson i Ho (1969.) razvijaju algoritam sličan backpropagation algoritmu, Werbos (1974) nezavisno
od prethodnika razvija backpropagation algoritam, a Parker (1982) unapređuje backpropagation
algoritam.

1
http://www.phy.pmf.unizg.hr/~planinic/diplomski/Kenan_Mackic.pdf
4
Seminarski rad-Neuronske mreže

Početkom 80-ih, američka vojna agencija DARPA (Agencija za odbrambene istraživačke projekte)
postala je zainteresovana za NM i finansiranja su ponovo započela. Sredinom 80-tih, poznati fizičar
John Hopfield dao je veliki doprinos popularizaciji neuronskih mreža, objavljujući rad u kome je
napravio paralelu između neuronskih mreža i određenih fizičkih sistema.

Početkom devedesetih, Bart Kosko u knjizi “Neural Networks and Fuzzy Systems” dokazuje da
neuronske mreže i fuzzy logika opisuju isti skup problema i samim tim otvara novu oblast koja se
naziva soft computing.
Rumenel, Hinton i Williams (1986) dokazuju veliku promenljivost i potencijal backpropagation
algoritma. Krajem 80-tih i početkom 90-tih, neuronske mreže i neuro računarstvo se uvodi kao
predmet na nekoliko elitnih univerziteta u SAD, dok se danas neuronske mreže gotovo mogu sresti
na svim univerzitetima.
Iako su NM imale neobičnu istoriju, one su još uvek u ranoj fazi razvoja. Možda se sad može reći da
smo na kraju početka. Danas NM nalaze veoma širok spektar primena u različitim

3.VRSTE NEURONSKIH MREŽA

Postoje dve kategorije neuronskih mreža: veštačke i biološke neuronske mreže. Predstavnik
bioloških neuronskih mreža je nervni sistem živih bića. Veštačke neuronske mreže su po strukturi,
funkciji i obradi informacija slične biološkim neuronskim mrežama, ali se radi o veštačkim
tvorevinama. Neuronska mreža u računarskim naukama predstavlja veoma povezanu mrežu
elemenata koji obrađuju podatke. One su sposobne da izađu na kraj sa problemima koji se
tradicionalnim pristupom teško rešavaju, kao što su govor i prepoznavanje oblika. Jedna od važnijih
osobina neuronskih mreža je njihova sposobnost da uče na ograničenom skupu primera.. Biološke
neuronske mreže su daleko komplikovanije od svojih matematičkih modela koji se koriste za
veštačke neuronske mreže. NM predstavljaju sistem sastavljen od veoma velikog broja jednostavnih
elemenata za obradu podataka. Ovakvi sistemi su sposobni za prikupljanje, memorisanje i korišćenje
eksperimentalnog znanja. Ne postoji jedinstvena definicija neuronskih mreža. Međutim, većina ljudi
bi neuronske mreže definisala na sledeći način:

Neuronska mreža je sistem sastavljen od više jednostavnih procesora (jedinica, neurona), svaki od
njih ima lokalnu memoriju u kojoj pamti podatke koje obrađuje. Te jedinice su povezane
komunikacionim kanalima (vezama). Podaci koji se ovim kanalima razmenjuju su obično numerički.
Jedinice obrađuju samo svoje lokalne podatke i ulaze koje primaju preko konekcije. Ograničenja
lokalnih operatora se mogu otkloniti tokom treninga.

Veliki broj NM su nastale kao modeli bioloških neuronskih mreža. Istorijski gledano, inspiracija za
razvoj NM proizilazi iz želje da se konstruiše veštački sistem sposoban za prefinjeno, možda
“inteligentno”, izračunavanje na sličan način kao što to ljudski mozak rutinski izvodi. Potencijalno,
NM nam pružaju mogućnost za razumevanje rada ljudskog mozga. Veštačke neuronske mreže su
kolekcija matematičkih modela koji simuliraju neke od posmatranih osobina bioloških nervnih
sistema i povlače sličnosti sa prilagodljivim biološkim učenjem. Sačinjene su od velikog broja
međusobno povezanih neurona (obrađujućih elemenata) koji su, slično biološkim neuronima,
povezani svojim vezama koje sadrže propusne (težinske) koeficijente, koje su po ulozi slične
sinapsama.

5
Seminarski rad-Neuronske mreže

Učenje se kod bioloških sistema obavlja putem regulisanja sinaptičkih veza koje povezuju aksone i
dendrite neurona. Učenje tipičnih događaja putem primera se ostvaruje preko treninga ili otkrića do
tačnih setova podataka ulaza-izlaza koji treniraju algoritam ponavljanjem podešavajući propusne
(težinske) koeficijente veza (sinapse). Ove veze memorišu znanje neophodno za rešavanje
specifičnog problema. Većina NM ima neku vrstu pravila za “obučavanje”, čime se koeficijenti veza
između neurona podešavaju na osnovu ulaznih podataka.

Drugim rečima, NM “uče” preko primera (kao što deca uče da prepoznaju konkretan predmet,
objekat, proces ili pojavu preko odgovarajućih primera) i poseduju sposobnost za generalizaciju
posle trening podataka. Veliki potencijal NM se nalazi u mogućnosti paralelne obrade podataka,
tokom izračunavanja komponenti koje su nezavisne jedne od drugih. Neuronske mreže su sistemi
sastavljeni od više jednostavnih elemenata (neurona) koji obrađuju podatke paralelno. Funkcije koje
su NM u stanju da obrađuju određene su strukturom mreže, jačinom konekcije a obrada podataka se
izvodi u neuronima. Svaki elemenat operiše samo lokalnim informacijama. Svaki elemenat radi
asinhronizovano, kao da nema sistemskog sata. 2*Iako NM postoje od 1940-tih godina, one nisu
imale značajniju praktičnu primenu sve do 1980-tih, kada su algoritmi postali dovoljno prefinjeni za
opštu upotrebu (aplikacije). Danas se NM primenjuju za rešavanje sve većeg broja svakodnevnih
problema sa značajnom kompleksnošću. U programiranju se mogu koristiti kao “generator” (engleski
engine) koji je u stanju da vrši različita prepoznanja i klasifikacije i koji ima sposobnost da izvrši
generalizaciju prilikom odlučivanja pri nepreciznim ulaznim podacima. NM nude idealno rešenje za
raznovrsno klasifikovanje problema, kao što je prevođenje teksta u govor, prepoznavanje slova,
rešavanje problema za koje ne postoji algoritamsko rešenje.* Pokazuju dobre rezultate prilikom
predviđanja i modelovanja sistema gde fizički procesi nisu jasni ili su veoma kompleksni. Prednost
NM leži u visokoj elastičnosti prema poremećajima u ulaznim podacima i u sposobnosti da uči. NM
često uspešno rešava probleme koji su previše kompleksni za konvencionalne tehnologije (na primer,
problem koji nema algoritamsko rešenje ili za koji je algoritam previše komplikovan da bi bio
pronađen) i one su često dobra pratnja problemima koje ljudi rešavaju.

2
http://sr.wikipedia.org/sr-el/neuronske_mreze

6
Seminarski rad-Neuronske mreže

4.PODJELA NEURONSKIH MREŽA

Postoji veliki broj različitih realizacija neuronskih mreža, a samim tim postoji i mnogo podela. NM
možemo klasifikovati prema:

broju slojeva,
vrsti veza između neurona,
vrsti obučavanja neuronskih mreža,
prema smeru prostiranja informacija,
prema vrsti podataka.

4.1 Podela neuronskih mreža prema broju slojeva

Jedna od najopštijih podela NM je prema broju slojeva. Mreže možemo podeliti na:
jednoslojne
višeslojne.

4.2 Podela NM prema vrsti veza

NM se mogu podeliti prema vrstama veza tj. arhitekturi na:

slojevite Neuroni su raspoređeni tako da formiraju slojeve. Na ulaz jednog

neurona se dovode izlazi svih neurona sa prethodnog sloja, a njegov izlaz se
vodi na ulaze svih neurona na narednom sloju. Neuroni sa prvog (ulaznog)
sloja imaju samo po jedan ulaz. Izlazi neurona sa zadnjeg (izlaznog) sloja
predstavljaju izlaze mreže. Predstavnik: backpropagation algoritam.
potpuno povezane Izlaz jednog neurona se vodi ka ulazu svih neurona u mreži.
celularne Međusobno su povezani samo susedni neuroni. Bez obzira na
lokalnu povezanost, signali se prostiru i na neurone i van susedstva zbog
indirektnog prostiranja informacija. Predstavnik: CNN – Cellular Neural
Network.

4.3 Vrste obučavanja neuronskih mreža

Postoje tri različita pristupa obučavanju neuronskih mreža:

Nadgledano obučavanje - Supervised training

Nadgledano obučavanje

Delimično nadgledano obučavanje Delimično nadgledano učenje radi na

principu da mreža uči samostalno, a povremeno dobija ocenu prethodnog rada.
Primer ovakve mreže je mreža koja balansira štap. Dok je štap uspravan sve je
u redu, ali kada štap padne, mreža treba da koriguje ponašanje da bi štap ostao
uspravan. Sličan slučaj je i sa partijom šaha. Ukoliko je partija izgubljena
znači da je došlo do greške, ali se ne zna u kome trenutku je povučen pogrešan
potez, niti koji je potez doveo do gubitka partije.

7
Seminarski rad-Neuronske mreže
Nenadgledano obučavanje u nenadgledanom učenju mreža je nezavisna. Pri
obučavanju se predstavljaju samo ulazni podaci koje NM pokušava da
generalizuje i “uoči” zajedničke osobine. Predstavnik: Kohonenove
samoorganizujuće mape.

4.4 Podela NM prema smeru prostiranja informacija

NM se mogu podeliti prema smeru prostiranja informacija kroz mrežu:

Feedforward (nerekurzivne, nerekurentne ili nepovratne) - Viši slojevi ne

vraćaju informaciju u niže slojeve. Vrše prostiranje signala samo u jednom
smeru (od ulaza prema izlazu) odnosno propagaciju signala.Predstavnici:
Višeslojni perceptron sa primenjenim backpropagation algoritmom.
(Feedback) rekurzivne ili rekurentne ili povratne - Viši slojevi vraćaju
informacije nazad u niže slojeve. Izlaz iz neurona se vraća u niže slojeve ili u
isti sloj. Predstavnici: Hopfildove, Celularne NM, Kohonenove NM,
dvostruko asocijativne NM. Feedback mreže imaju mnogo veće procesne
sposobnosti od Feedforward mreža.
4.5 Podela neuronskih mreža prema vrsti podataka

Prema vrsti podataka koje obrađuju NM se mogu podeliti na:

analogne i
diskretne.
Ova podela se retko koristi pošto su gotovo sve NM diskretne.

8
Seminarski rad-Neuronske mreže

5.UČENJE NEURONSKIH MREŽA

Obučavanje neuronskih mreža se svodi na učenje iz primjera kojih bi trebalo da bude što više da bi
mreža mogla da se ponaša preciznije u kasnijoj eksploataciji. Podaci iz trening skupa se periodično
propuštaju kroz neuronske mreže. Dobivene vrijednosti na izlazu mreže se upoređuju sa očekivanim.
Ukoliko postoji razlika između dobivenih i očekivanih podataka, prave se modifikacije na vezama
između neurona u cilju smanjivanja razlike trenutnog i željenog izlaza. Ulazno-izlazni skup se
ponovo predstavlja mreži zbog daljih podešavanja težina, pošto u prvih nekoliko koraka mreža
obično daje pogrešan rezultat. Proces učenja dovodi do korigovanja sinaptičkih težina. Poslije
podešavanja težina puta za sve ulazno izlazne sheme u trening skupu, mreža nauči da reaguje na željeni
način. 3*Neuronska mreža je obučena akp može tačno da rješava; zadatke za koje je obučavana.
Neuronska mreža je sposobna da izdvoji važne osobine i sheme u klasi trening primjera. Nakon
obučavanja sa određenom vjerovatnoćom, neuronska mreža može da generalizuje nove ulazne
podatke za koje nije obučavana. Na primjer, generalizaciju možemo vidjeti na primjeru mreže
obučavane da prepoznaje serije slika: ako na ulaz takve mreže dovedemo slike za koje mreža nije
obučavana, ona do izvjesne mjere može uspješno da klasifikuje takve slike. Kada uzorci koji se
predstavljaju mreži ne dovode više do promjene ovih koeficijenata, smatra se da je mreža obučena.
Proces obučavanja neuronskih mreža započinje zadavanjem slučajnih vrijednosti težinskih
koeficijenata veza i dovođenjem oblika na ulazni sloj. Zatim se mreža aktivira i upoređuju se izlazni i
zadati (zahtjevani, onaj koji treba da se dobije) izlazni oblik. Obučavanje se vrši tako da se ažuriraju
težinski koeftcijenti sa ciljem da se u sljedećoj iteraciji dobiva izlaz koji je bliži zadatoj vrijednosti. U
trenutku kada se postigne zadovoljavajući rezultat sa jednim ulaznim oblikom, na ulaz se dovodi drugi,
itd. Kad se završi sa ovim oblicima iz obučavajućeg skupa, na ulaz mreže se dovodi ponovo prvi
ulazni oblik. Ova se procedura nastavlja sve dok se ne dođe do zadovoljavajućih rezultata za sve
oblike iz obučavajućeg skupa. Jednom kada je obučavanje mreže završeno, težinski koeficijenti veza
egzistiraju nepromjenjeni. Tek sada, poslije obučavanja, mreža se može primjeniti za predviđeni
zadatak.
Mada je u najviše slučajeva mreža sa adaptivnim težinskim koeficijentima veza, postoje mreže čije
su težine fiksne i za vrijeme obučavanja. Tada se mjenjaju samo aktivacioni nivoi pojednih
neurona. * Opisani proces se naziva obučavanje sa nadglejdanjem (eng; Supervised). Dobiveni izlaz
se upoređuje sa zadatim i onda se na osnovu dobivene razlike obavlja ažuriranje pojedinih težinskih
koeficijenata. Nasuprot takvom načinu obučavanja postoji i obučavanje bez nadgledanja (eng.
Unsupervised). Izlazna vrijednost se ne upoređuje; sa zadatom vrijednošću. Ovom metodom
mreža klasifikuje ulazne oblike u više grupa. Broj jedinica u izlaznom sloju odgovara broju različitih
grupa - to znači da u jednom datom trenutku postoji samo jedan aktivan izlaz.

3
http://www.cet.rs/CETcitaliste/CitalisteTekstovi/289.pdf
9
Seminarski rad-Neuronske mreže

6.PRIMENA NEURONSKIH MREŽA

U početku su NM koristili naučnici računarskih i kognitivnih nauka koji su pokušavali da

modeliraju čulni sistem živih organizama. Danas neuronske mreže predstavljaju veoma atraktivnu
oblast istraživanja i postoje brojne oblasti u kojima se koriste. Primenjuju se za:

prepoznavanje oblika,
prepoznavanje rukopisa,
prepoznavanje govora,
finansijske i ekonomske modele,
predviđanje kretanja cena na tržištu,
upravljanje sistemima,
upravljanje proizvodnim procesima,
analizu električnih kola,
psihijatrijske procene,
kompresovanje podataka,
naftna istraživanja,
kriminološka istraživanja,
analizu medicinskih testova,
ispitivanje EEG i EKG signala,
pronalaženje optimalnog rešenja,
upravljanje robotima,
analiziranje podataka pri pirolizi i spektroskopiji,
u bioračunarskim sistemima,
vremensku prognozu i
u drugima oblastima.

Primenu neuronskih mreža je moguće podeliti na tri karakteristične oblasti:

procesiranje senzorskih informacija

analiza podataka
kontrola upravljanja

10
Seminarski rad-Neuronske mreže

7.ZAKLJUČAK

Primena neuronskih mreža u današnjem svetu tehnologije neminovna je. Zbog sve većeg broja
korisnika koji pristupaju internetu kao i sve zahtjevnijih programa u poslovnom svetu gotovo je ne
moguće pristupiti računaru, a da se pritom ne aktiviraju neuronske mreže bez kojih bi rad mnogih
aplikacija bio nezamisliv. Najjednostavniji primer rada neuronskih mreža je Google pretraživač.
Ukoliko tražimo neki pojam, a nismo sigurni kako se on tačno piše, tu nam pomaže pretraživač koji
radi kao jedna velika optimalno istrenirana neuronska mreža. Njihova sposobnost da uče na skupu
podataka, čini ih vrlo fleksibilnim a i modnim. Nema potrebe izmišljati algoritam kako bi se obavio
određeni zadatak,tj. nema potrebe da razumemo interne mehanizme za određeni zadatak. One su nam
takođe pogodne za sastave realnog vremena zbog brzog odaziva i kratkog računarskog puta,
zahvaljujudi njihovoj paralelnoj strukturi. Neuronske mreže pridonose i mnogim naučnim
disciplinama kao što su neurologija, psihologija itd. Zahvaljući mogućnosti neuronskih mreža da
prepoznaju uzorke (znakovi pisani rukom, detekcija lica, glasa, otpornost materijala itd)
omogućen je napredak i olakšan je rad u mnogim drugim područjima. Najzanimljiviji aspekt
neuronske mreže, je mogućnost da se u bliskoj budućnosti proizvedu „mrežesavesti“ koje bi u
potpunosti oponašale ljudsku vrstu.

11
Seminarski rad-Neuronske mreže

8.LITERATURA

http://solair.eunet.yu/~ilicv/neuro.html
http://www.cet.rs/CETcitaliste/CitalisteTekstovi/289.pdf
http://sr.wikipedia.org/sr-el/neuronske_mreze

12