UNIVERZITET U TRAVNIKU

FAKULTET ZA TEHNIKE STUDIJE

Vieeslojni perceptron
(Seminarski rad)

Travnik, April 2014

Sadraj

1.

UVOD............................................................................................................................................3

2.

PERCEPTRON..............................................................................................................................4

3.

VIESLOJNI PERCEPTRON.......................................................................................................6

4.

UENJE.........................................................................................................................................7

4.1. Algoritam backpropagation............................................................................................................7

4.2. Algoritam roja estica....................................................................................................................8
5.

STRUKTURA I SVOJSTVA VIESLOJNOG PERCEPTRONA..............................................10

6.

ZAKLJUAK..............................................................................................................................12

7.

LITERATURA.............................................................................................................................13

Sadraj
Osnove ovog seminarskog rada ini posebna vrsta neuronskih mrea Vieslojni perceptron. Uloga
perceptrona kao jednog od modela neuronskih mrea iskazuje se u klasifikaciji i raspoznavanju
uzoraka.
Kljune rijei: Perceptron, vieslojni perceptron, neuronske mree

Abstract
The basics of this seminar paper makes a special type of neural network - multilayer perceptron. The
role of the perceptron as one of the models of neural networks is presented in the classification and
pattern recognition.
Keywords: Perceptron, Multilayer Perceptron, Neural Network

1. UVOD

Vieslojni perceptron (engl.multilayer perceptron) jedna je od najrairenijih primijenjenih

neuronskih mrea. Uenje se u navedenoj mrei odvija pomou algoritma irenje unatrag.
Algoritam mree irenje unatrag bio je od iznimne, mogli bismo rei i presudne, vanosti te je
neuronske mree uinio iroko upotrebljavanom i vrlo popularnom metodom u razliitim
podrujima. Ovu je mreu 1974. godine kreirao Paul Werbos, a 1986. godine proirili su ju David
Rumelhart, Geoffrey Hinton i Stephen Williams (alac, 1997.). Mrea irenja unatrag bila je prva
neuronska mrea s jednim ili vie skrivenih slojeva. Mrea funkcionira na nain da se ulazne
vrijednosti ire kroz skriveni sloj do izlaznog sloja, nakon ega se odreuje greka koja se iri
unatrag do ulaznog sloja i ugrauje u formulu za uenje.

2. PERCEPTRON
Perceptroni su jedna od najkoritenijih i najpoznatijih neuronskih mrea. Sam je pojam prvi
upotrijebio Frank Rosenblatt (Rosenblatt, 1958) kako bi opisao razliite modele neuronskih mrea.
Od njega je potekla ideja da se funkcijski opis rada neurona implementira u obliku programskog
algoritma umjesto da se pokuava izgraditi fiziki model neurona.

Slika 1 Osnovna struktura neurona

Najjednostavnija neuronska mrea sastoji se od jednog perceptrona kao to je prikazano na slici 2.
Jednoslojnu neuronsku mreu mogu initi vie perceptrona kao osnovnik mrenih vorova.

Slika 2 Perceptron sa tri ulaza pragom 0 i jednim izlazom

Svaki ulaz je mnoen teinskim faktorom i zajedno ine zbroj umnoaka. Na tu vrijednost
primjenjuje se "aktivacijska funkcija" iji rezultat predstavlja izlaz, aktivacijsku vrijednost vora.
Jedna takva funkcija je i step funkcija prikazana na slici 3

Slika 3 Step Funkcija

Za svaki ulaz, perceptron proizvodi odreeni izlaz, ovisno o ulaznoj vrijednosti i teinskim
faktorima. Teine se mogu podesiti tako da se postigne eljeni izlaz za odreeni ulaz.

Slika 4 Prikaz izgleda biolokog neurona i perceptrona

Slika 5 Prikaz matematikog modula neurona

3. VIESLOJNI PERCEPTRON
Najee koritena vrsta neuronske mree je vieslojni perceptron (engl. Multilayer perceptron,
MLP) koji ima ulazni sloj, barem jedan skriveni sloj i izlazni sloj. Neuroni su povezani samo s
neuronima iz susjednih slojeva. Signal se alje u jednom smjeru, od ulaza prema izlazu (engl. feedforward). Za aktivacijsku funkciju najee se koristi sigmoidalna funkcija. Na slici 6 je primjer
vieslojnog perceptrona sa 3 ulaza, jednim skrivenim slojem od 4 neurona i 2 izlaza.
Odbrambena mo mree pohranjena je u jaini veza izmeu neurona odnosno teinama do kojih se
dolazi postepenom prilagodbom tj. uenjem (treniranjem) iz skupa podataka za uenje. Uobiajen
nain uenja mree je s algoritmom backpropagation, ali se moe uiti i na druge naine, npr. s
algoritmom roja estica.

Slika 6 Vieslojni perceptron

6

Zbir svih ulaza u neuron ini teinsku sumu.

ai= wij x j
j

Data formula se odnosi na izraunavanje teinske sume pri prenosu signala od sloja iji su neuroni
oznaeni sa j, ka neuronu oznaenog sa i.

4. UENJE
Kao i u sluaju ostalih neuronskih mrea potrebno je izvriti proces uenja. Postoje dve vrste uenja
sa i bez nagledanja, pri emu se prvo vie koristi. Da bi se dato uenje izvrilo potrebno je imati
obuavajui skup, koji se sastoji od razliitih vektora ulaza, sa eljenim vektorom izlaza iz
celokupne mree. Neobuena mrea generie rezultat koji se razlikuje od eljenog, to predstavlja
greku. Svrha celokupnog procesa uenja jeste da se ta greka minimizuje do odreene granice.
Postoje razliiti naini redukcije greke. Najee korieni algoritam jeste algoritam prostiranja
greke unazad (Backpropagation Learning Algorithm).

4.1. Algoritam backpropagation

Algoritam uenja Back-Propagation (irenje greke unatrag) bio je presudan za iroku komercijalnu
potrebu ove metodologije, te je neuronske mree uinio iroko upotrebljavanom i popularnom
metodom u razliitim podrujima. U osnovi, ovaj algoritam propagira input kroz mreu od ulaznog
do izlaznog sloja, a zatim odreuje greku I tu greku propagira unazad sve do ulaznog sloja
ugraujui je u formulu za uenje. Standardni algoritam mree irenje greke unatrag ukljuuje
optimizaciju greke koristei deterministiki algoritam gradijentnog opadanja. Glavni nedostatak
ovog algoritma je problem estog pronalaenja lokalnog umjesto globalnog minimuma greke. Zbog
toga novija istraivanja ukljuuju njegovo unapreivanje drugim metodama.
Algoritam uenja irenje greke unatrag je univerzalni algoritam primjenjiv na probleme kod
kojih je potrebno predvidjeti vrijednost jedne ili vie izlaznih varijabli, a mogue ga je koristiti i za
probleme klasifikacije, gdje se ulazni vektor rasporeuje u jednu od klasa zadanih na izlazu, Ovaj
algoritam se ne preporuuje za upotrebu na nestacionarnim podacima ili za sluajeve kada podaci u
sebi skrivaju vie, u osnovi razliitih, problema. Rjeenje za takve probleme moe se pronai u
7

upotrebi vie neuronskih mrea od kojih e svaka rjeavati pojedini problem zasebno, ili u izboru
nekog drugog algoritma.
Algoritam uenja irenje greke unatrag prikazana je na Slici 7, pri emu je zbog jasnoe prikazan
samo jedan skriveni sloj.

Slika 7 Back-propagation algoritam uenja

4.2. Algoritam roja estica

Algoritam roja estica (engl. particle swarm optimization) je optimizacijski algoritam inspiriran
kretanjem jata ptica kojeg su 1995. godine opisali James Kennedy i Russell Eberhart u svom lanku.
estice se nekom brzinom kreu u viedimenzijskom prostoru pretraivanja i trae optimalno ili
skoro optimalno rjeenje. Da bi algoritam bio bolji od sluajnog pretraivanja kod izbora slijedee
pozicije mora uzeti u obzir prethodno pretraena stanja i njihovu dobrotu. Pri odreivanju smjera
kretanja svaka jedinka uzima u obzir do tada najbolje pronaeno rjeenje cijele populacije (socijalna
komponenta) gbest (engl. global best solution) i najbolje rjeenje te jedinke (individualna
komponenta) pbest (engl. particle's best solution). Za sve estice se smatra da imaju masu te zbog
inercije ne mogu naglo mijenjati smjer kretanja. Zato kod auriranja brzine postoji inercijska
komponenta koja ima smjer jednak prethodnoj brzini estice ali manju (ili jednaku) amplitudu.
Algoritam roja estica je populacijski algoritam. Populacija se sastoji od niza jedinki (estica) koje
lete kroz viedimenzijski prostor koji pretrauju, i pri tome svoj poloaj mijenjaju temeljem
8

vlastitog iskustva, te iskustva bliskih susjeda (ime se modeliraju socijalne interakcije izmeu
jedinki). Prilikom odreivanja smjera kretanja, svaka jedinka u odreenoj mjeri uzima u obzir svoje
do tada pronaeno najbolje rjeenje (individualni faktor), te najbolje pronaeno rjeenje svoje bliske
okoline (socijalni faktor). Utjecaj koji svaka od ovih komponenti ima uvelike odreuje ponaanje
same jedinke: radi li istraivanje prostora stanja (ukoliko je dominantni individualni faktor) ili fino
podeavanje pronaenog rjeenja (ukoliko je dominantni socijalni faktor). Na ovaj nain sam
algoritam kombinira globalno pretraivanje prostora stanja te lokalnu pretragu kojom se obavlja fino
podeavanje rjeenja.

5. STRUKTURA I SVOJSTVA VIESLOJNOG PERCEPTRONA

Vieslojni perceptron MLP (MultiLayer Perceptron) sastoji se od vie slojeva meusobno
povezanih procesnih elemenata vorova ili neurona. Openito, svi su vorovi MLP-a potpuno
povezani, svaki sa svakim (slika 8.) to znai da je svaki neuron u svakom sloju povezan sa svim
vorovima/neuronima prethodnog sloja. Signal prolazi kroz mreu unaprijed, s lijeva na desno i sloj
po sloj.

Slika 8 Prikaz structure vieslojnog perceptronasa dva skrivena sloja

Slika 9 Prikaz smjera kretanja signala kroz vieslojni perceptron

Postoje dvije vrste signala u mrei ( Slika 9 ):
1. Funkcijski signal
Funkcijski signal je ulazni signal (pobuda) koji poinje na ulaznom dijelu mree, iri se dalje
unaprijed (neuron po neuron) i javlja na izlaznom dijelu mree kao izlazni signal. Ovakav signal
nazivamo "funkcijskim" iz dva razloga. Prvo, podrazumijeva se da obavlja korisnu funkciju na
izlazu iz mree. Drugo, u svakom neuronu kroz koji funkcijski signal prolazi, signal se rauna
kao funkcija ulaza i pripadnih teina pridruenih tom neuronu. Funkcijski signal esto se naziva
i ulazni signal.
10

2. Signali greke
Signal greke javlja se kod izlaznog vora mree i propagira se unatrag (sloj po sloj) kroz mreu.
Nazivamo ga "signal greke" jer se njegov izraun u svakom neuronu mree temelji na nekom
od oblika funkcije greke.
Izlazni neuroni (procesni elementi, vorovi) ine izlazni sloj mree. Preostali neuroni ine jedan ili
vie skrivenih slojeva. Tako, skriveni vorovi nisu dio ni ulaza ni izlaza mree otuda njihov naziv
"skriveni". Prvi se skriveni sloj puni podacima iz ulaznog sloja kojeg ine senzorni elementi (ulazni
vorovi): rezultirajui izlazi prvog sloja predstavljaju ulaze u sljedei skriveni sloj; i tako dalje za
ostatak mree.
Svaki skriveni ili izlazni neuron vieslojnog perceptrona dizajniran je za obavljanje dva izrauna:
1.

Izraun funkcijskog signala koji se pojavljuje na izlazu neurona, izraen u obliku

kontinuirane nelinearne funkcije ulaznog signala i sinaptikih teina pridruenih tom

neuronu.
2. Izraun procjene gradijenta (npr., gradijenti pogreke u odnosu na teine povezane s ulazima
neurona) koji je potreban pri prolasku unatrag kroz mreu.

6. ZAKLJUAK
11

U seminarskom radu je prikazana posebna vrsta neuronskih mrea Vieslojni perceptron.

Takoer je objanjen sam pojam perceptrona I vieslojnog perceptrona.
Obraena je tema nain uenja, posebno su objanjeni algoritam backpropagation i algoritam roja
estica. Objanjena je struktura i svojstvo vieslojnog perceptrona, kao i nacini smjera kretanja
signala kroz vieslojni perceptron.

7. LITERATURA

Vjetake neuronske mree,

URL: http://infoteh.etf.unssa.rs.ba/zbornik/2013/radovi/PRS/PRS-12.pdf
12

Vieslojni perceptron
URL:
http://www.ktios.net/stari/images/stories/clanovi_katedre/dragan_letic/Lekcija
%2018%20-%20viseslojni%20perceptroni.pdf
S. Lonari, Neuronske mree: Vieslojni perceptron
URL: https://www.fer.unizg.hr/_download/repository/06-ViseslojniPerceptron-1s.pdf
S. Lonari, Neuronske mree: Perceptron
URL: https://www.fer.unizg.hr/_download/repository/04-Perceptron-1s.pdf
Dodatne Pretrage, URL: http://www.google.com

13