NEURONSKE MREE

BIOLOKE OSNOVE
Dendrites
Synapse
Axon
Broj neurona: ~ 10
10
Broj sinapsi po neuronu: 10
4
to 10
5

Vreme promene stanja neurona (switching
time) : ~ 0.001 second
Vreme prepoznavanje scene: ~ 0.1 second

DEFINICIJA
NEURONSKIH MREA
Neuronske mree simuliraju nain rada ljudskog
mozga pri obavljanju datog zadatka ili neke
funkcije. Neuronska mrea je masovno
paralelizovan distribuirani procesor sa prirodnom
sposobnou memorisanja iskustvenog znanja i
obezbedivanja njegovog korienja. Vetake
neuronske mree podseaju na ljudski mozak u
dva pogleda:
1. Neuronska mrea zahvata znanje kroz proces
obuavanja
2. Teine medjuneuronskih veza (jaina sinaptikih
veza) slue za memorisanje znanja.

Procedura kojom se obavlja obuavanje je
algoritam obuavanja. Kroz ovu se procesuru
se na algoritamski (sistematian) nain
menjaju sinaptike teine u cilju dostizanja
eljenih performansi mree.
Osnovnu raunarsku snagu neuronskih
mrea ini masivni paralelizam, sposobnost
obuavanja i generalizacija.
Generalizacija predstavlja sposobnost
produkovanja zadovoljavajueg izlaza
neuronske mree i za ulaze koji nisu bili
prisutni u toku obuavanja.
SVOJSTVA NEURONSKIH
MREA
Nelinearnost, koja je u osnovi distribuirana.
Ulazno-izlazno preslikavanje, koje se restaurie
kroz proces obuavanja
Adaptivnost-sposobnost menjanja jaine
sinaptikih veza.
Evidencionalni odziv. Neuronska mrea kao izlaz
moe da produkuje i stepen uverenja o datoj
odluci.
Kontekstualna informacija. Svaki neuron u
neuronskoj mrei je pod uticajem globalne
aktivnosti ostalih neurona. Stoga je kontekstualna
informacija prirodno imanentna ovim strukturama

SVOJSTVA NEURONSKIH MREA

Otpornost na otkaz.
Mogunost realizacije u VLSI (Very Large Scale
Integration) tehnologiji.
Uniformnost analize i sinteze. Neuron je zajedniki
element za sve tipove neuronskih mree. Modularne
neuronske mree se mogu formirati integracijom
pojedinih celina-modula. Za reavanje razliitih
praktinih problema koriste se iste teorijske postavke i
algoritmi obuavanja.
Neurobioloke analogije. Neurobiolozi gledaju na
neuronske mree kao istraivaki alat za interpretaciju
neurobiolokih fenomena, i obrnuto, inenjeri gledaju
na neurobiologiju kao oblast iz koje mogu da izvlae
nove ideje za reavanje kompleksnijih problema od
onih koji se mogu reiti klasinim hardversko-
softverskim tehnikama.
MODELI NEURONA

Model neurona ine tri bazina elementa:
Skup sinaptikih teina . Pozitivne teine
odgovaraju ekscitirajuim sinaptikim
vezama, a negativne inhibitornim.
Sumator (linearni kombajner) formira
teinsku sumu ulaza.
Aktivaciona funkcija limitira amplitudu
izlaznog signala neurona. Tipino se uzima
normalizacija izlaza na interval [0,1] ili [-
1,1].

a( . )
1 k
w
2 k
w
km
w
1
x
2
x
m
x
k
u
k
y
k
u
sumator
aktivaciona
funkcija
prag
izlaz
ulazi
sinaptike veze

=
=
m
j
j kj k
x w u
1
) (
k k k
u a y u =

= = = = . , 1 , ) ( ,
0 0 k k k k j kj k
w x v a y x w v u

a( . )
1 k
w
2 k
w
km
w
1
x
2
x
m
x
k
u
k
y
k
u
sumator
aktivaciona
funkcija
prag
izlaz
ulazi
sinaptike veze
fiksni ulaz
1
0
= x
k k
w u =
0
Nelinearni model neurona sa proirenim ulazom i prenosom praga u sinaptiku teinu.
k k
b w a x = =
0 0
, 1
k
b
Ako stavimo da je
, tada se naziva bajas, videti sl.3.3.
k k
b w a x = =
0 0
, 1
k
b

a( . )
1 k
w
2 k
w
km
w
1
x
2
x
m
x
k
u
k
y
k
u
sumator
aktivaciona
funkcija
prag
izlaz
ulazi
sinaptike veze
fiksni ulaz
1
0
= x
k k
b w =
0
Sl.3.3. Nelinearni model neurona sa proirenim ulazom i bajasom u obliku sinaptike
teine

TIPOVI AKTIVACIONIH
FUNKCIJA

Razlikujemo sledee najee tipove
aktivacionih funkcija.
Funkcija praga

<
>
=
0 , 0
0 , 1
) (
v
v
v a
a(v)
1
0
v
Sl.3.4. Aktivaciona funkcija tipa praga. Neuron sa ovom aktivacionom
funkcijom je poznat kao Mek Kulo Pitasov model neurona (1943)
U delovima linearna

s
< < +
>
=
2 / 1 , 0
2 / 1 2 / 1 , 2 / 1
2 / 1 , 1
) (
v
v v
v
v a
a(v)
1
-1/2
1/2
v
Sigmoidalna (logistika)

) exp( 1
1
) (
bv
v a
+
=
a(v)
v
1
1
b
2
b
2 1
b b >
Sl.4.6. Sigmoidalna (logistika) aktivaciona funkcija. Parametar b
je parametar nagiba.

<
=
>
=
0 , 1
0 , 0
0 , 1
) (
v
v
v
v a
a(v)
1
0
v
-1
Sl.4.7. Bipolarna aktivaciona funkcija tipa znaka
(sgn(v))

) exp( 1
) exp( 1
)
2
tanh( ) (
v
v v
v a
+

= =
a(v)
v
1
1
b
2
b
2 1
b b >
-1
Sl.4.8. Bipolarna aktivaciona funkcija tipa tangensa
hiperbolinog (sigmoidalna aktivaciona funkcija)
ulazni sloj izlazni sloj
Sl.4.9. Jednoslojni perceptron sa prostiranjem unapred
ulazni sloj
izlazni sloj
skriveni sloj
Sl.4.10. Vieslojna neuronska mrea sa prostiranjem
unapred
1
z
1
z
1
z
Sl.4.11. Rekurentna neuronska mrea bez sopstvenih
povratnih sprega i skrivenih slojeva. Operator
1
z
ima znaenje jedininog vremenskog kanjenja
1
z
1
z
1
z
1
z
1
z
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
t
e
x
t
ulaz
izlaz
Sl.4.12. Rekurentna neuronska mree sa skrivenim
slojem
PREZENTACIJA ZNANJA U
NEURONSKIM MREAMA

Znanje o okruenju je generalno dvojako
Poznata znanja o okruenju, izraena kroz injenice
o tome ta je poznato apriorno znanje.
Observacije (merenja) dobijena od razliitih
senzora kao odraz stanja okruenja. Na osnovu ovih
observacija se kreiraju obuavajui skupovi za
obuavanje neuronskih mrea. Svaki primer u
njemu se sastoji od parova (ulaz, izlaz).
Obuavajui skupovi predstavljaju znanje o
okruenju od interesa.
U klasinom procesiranju, prirodno je prvo
kreirati matematiki model observacija, izvriti
validaciju ovog modela na realnim podacima
Neuronske mree su direktno bazirane na
podacima i daju implicitni model okruenja uz
istovremeno obavljanje eljenog procesiranja.
Znanje o okruenju u neuronskim mreama je
kodovano kroz konkretne vrednosti slobodnih
parametara dobijenih kroz obuavanje.
Teko je bilo ta konkretno rei o
reprezentaciji samog znanja unutar neuronske
mree.
Postoje etiri pravila o reprezentaciji znanja u
neuronskim mreama, koji su opte prirode.
Pravilo 1. Slini ulazi slinih klasa prouzrokuju
slinu unutranju reprezentaciju.
Pravilo 2. Primeri koji pripadaju razliitim
klasama treba da budu predstavljeni razliitim
unutranjim reprezentacijama.
Pravilo 3. Apriorne informacije se ugradjuju
direktno u neuronsku mreu bez procesa
obuavanja (specijalizacija strukture). Ovo se
postie ili
1. restrikcijom arhitekture (lokalne konekcije)
2. restrikcijom izbora sinaptikihh teina (weight
shearing metoda zajednikih sinaptikih teina).
Specijalizacijom strukture se postie:
manji broj slobodnih parametara
manji potrebni obuavajui skupovi
bre obuavanje
bolja generalizacija
ubrzana je prenos signala kroz
restriktovanu neuronsku mreu
cena realizacije je manja.

OBUAVANJE NEURONSKIH
MREA

Obuavanje je proces adaptiranja slobodnih
parametara neuronske mree, koji se obavlja
kroz stimulaciju okruenja u kome se
neuronska mrea nalazi. Proces obuavanja je
klasifikovan u tri kategorije:
1. obuavanje sa uiteljem (nadzorom),
(supervized learning)
2. obuavanje sa podsticanjem (reinforcement
learning)
3. samoobuavanje (obuavanje bez uitelja),
(unsupervised learning)
Neuronska mrea
W
Generator
signala greke
ulaz
izlaz
signal greke
eljeni signal
y
x
Sl.6.1.a Obuavanje sa uiteljem
Neuronska mrea
W
Generator
signala kritike
ulaz
izlaz
signal kritike
signal podsticanja
y
x
Sl.6.1.b.Obuavanje sa podsticanjem
Neuronska mrea
W
ulaz izlaz
y
x
Sl.6.1.c. Samoobuavanje
{ }
) ( ) (
,
i i
d X
) (i
X
) (i
d
, gde je
ulaz, a
Kod obuavanja sa uiteljem prisutan je obuavajui
skup u formi parova
{ }
) ( ) (
,
i i
d X
gde je
) (i
X
ulaz, a
) (i
d
eljeni izlaz.
Kod obuavanja sa podsticanjem, neuronska mrea dobija
rudimentirane informacije o tome kakav izlaz produkuje,
najee samo u formi jednog bita informacije tipa {dobar,
lo}. Analogno obuavanju sa uiteljem, ova forma
obuavanja se moe tretirati na isti nain s tim to umesto
uitelja, koji egzaktno ukazuje kakav odziv neuronske mree
treba da bude, u ovom sluaju imamo kritiara koji daje
grublju ocenu odziva neuronske mree.
Samoobuavanje je karakterisano odsustvom bilo kakve
povratne sprege od okruenja.

OPTA FORMA PRAVILA
OBUAVANJA

Generator
signala
obuavanja
q
+

i
y
i
d
r
i
W A
X
1
x
2
x
1 m
x
1 =
m
x
-
-
-
-
-
i-ti neuron
1 i
w
2 i
w
1 m i
w
u =
im
w
X
Sl.6.1.Opta ema obuavanja i-tog neurona

HEBOVO UENJE
Hebov princip uenja je jedan od najstarijih
i najpoznatijih. Zasniva se na Hebovom
postulatu:
Kada je akson neurona A dovoljno blizu
neurona B, tako da ga moe eksitovati, i ako
se to ponavlja dovoljno esto, deavaju se
takve promene i metaboliki procesi u obe
elije da je efikasnost uticaja neurona A na
neuron B poveana.
. , x y w y r
i i i
q = A =
Hebovo uenje je u osnovi samoobuavajue,
budui da nije prisutan signal eljenog izlaza.
U skalarnoj formi (6.4), ima formu
m j n i x y w
j i ij
,..., 2 , 1 , ,..., 2 , 1 , = = = A q
min
E
0
w
) (n w ) 1 ( + n w
w
e E
w
c
c
= A
) (
q
w
w E
c
c ) (
) (w E
w
Sl.7.1. Ilustracija Vidrov-Hofovog pravila obuavanja
za jedan koeficijent sinaptikih teina w.
Gradient Descent
Gradient:
(

c
c
c
c
c
c
= V
n
w
E
w
E
w
E
w E ,..., , ] [
1 0

i
i
w
E
w
c
c
= A q
Pravilo obuavanja:
] [w E w

V = A q
2
) (
2
1
] [

=
D d
d d
o t w E
c