1.

DINAMIKE (POVRATNE) NEURONSKE MREE

U ovom e poglavlju biti prikazne osnovne strukture neuronskih mrea s dinamikim neuronima i pripadajuim pravilima
uenja, kao Sto su Grossbergovo i Hebbovo pravilo uenja, te Kohonenova i Hopfieldova neuronska mrea. Detaljan
matematiki opis biti e prikazan samo za dinamiku neuronsku mreu, ija je struktura razvijana pri Katedri za strojarsku
automatiku Fakulteta strojarstva i brodogradnje u Zagrebu.
Pri uporabi unaprijednih (statikih) neuronskih mrea u podruju dinamikih sustava, mogu se pojaviti odreeni problemi. Jedan od
njih javlja se pri identifikaciji dinamikih sustava. Naime, Leonaritis i Billings [6.1] pokazuju da se bilo koji nelinearni diskretni
vremenski invarijantni sustav s jednom ulaznom ijednom izlaznom veliinom (SISO) moe prezentirati jednostavnom verzijom poznatog
NARMAX modela (engl. Nonlinear Auto Regressive Moving Average eXogenius inputs) kako slijedi:
y(k) = f\y(k - \),y(k - 2),...,y(k - n),u(k),u(k \)..,u(k - m)\m < n , (6-1) gdje su y(k~i) i u(k - /) izlazna i ulazna vrijednost
u trenutku k-i za z ' = l , 2 , . . , . , n . Ako se za identifikaciju takvog sustava (slika 6.1.) primjenjuje unaprijedna statika neuronska mrea
diskretne forme opisana poglavljem 2., onda su brojevi neurona ulaznog i izlaznog sloja mree definirani izrazom (6-1). Oito je da takva
unaprijedna mrea ima jedan izlaz i vie ulaza, koji su u stvari prole vrijednosti izlaza sustava n-koraka unazad, zatim vrijednosti ulaza
sustava u trenutku k, te m-koraka unazad. Postupak uenja unaprijedne neuronske mree s uiteljem ne predstavlja poseban problem, jer
su sve vrijednosti ulaznih i izlaznih varijabli poznate i dobivene snimanjem sustava

koji se identificira.
Problem nastaje kod generalizacije, kada se od tako uene unaprijedne neuronske mree trai da
ostvari dobar odziv za nepoznatu pobudu. Jasno je da u takvoj situaciji dio ulaza mree predstavlja
prehone vrijednosti izlaza same mree koji nisu unaprijed poznati, tj. nauena mrea zahtijeva
u(k)

povratne veze sa svog izlaza na svoje ulaze optereene s jednim ili vie jedininih kanjenja signala.
Mrea tada odreuje izlaz na osnovu vlastitih prethodnih (nekoliko koraka unazad) aproksimacija
izlaza i odgovarajuih vrijednosti ulaza. Pokazuje se da je u takvoj situaciji generalizacija, kao
najvanije svojstvo neuronskih mrea, relativno skromna. Da bi se razrijeio navedeni problem,
potrebno je u mrei i u procesu uenja ukljuiti odreene povratne veze s kanjenjima signala [6.2,

6.3], to rezultira razvojem povratnih (engl. recurrent, feedback) neuronskih mrea. Veina
algoritama povratnih neuronskih mrea u svojoj osnovi predstavlja nadogradnju tradicionalnih
unaprijednih neuronskih mrea s povratnim prostiranjem greke [6.4, 6.5, 6.6, 6.7, 6.8]. Inae,
problem identifikacije dinamikog sustava unaprijednom mreom moe se rijeiti, ako se na izlazu te
mree ugradi odgovarajue kanjenje signala. Takva neuronska mrea posjeduje memoriju, pa
govorimo o unaprijednoj neuronskoj mrei s memorijom [6.9].
Postoji vie tipova recurrent neuronskih mrea, koje se u odnosu na algoritam uenja izvorno
mogu podijeliti u etiri osnovne skupine [6.10, 6.11, 6.12]:
Povratna mrea s unazadanim propagiranjem
(Recurrent BackPropagation Algorithms),
Povratna mrea s vremenskim unazadnim propagiranjem
(BackPropagation Throught-Time Algorithms),
Povratna mrea s uenjem u realnom vremenu
(Real-Time Recurrent Learning Algorithms),
Povratna mrea s dinamikim unazadnim propagiranjem
(Dynamic BackPropagation Algorithms).
U ovom e poglavlju biti pokazani osnovni modeli dinamikih neurona, te neka osnovna pravila
uenja dinamikih neuronskih mrea.
1.1. Grossbergovo i Hebbovo pravilo uenja

Grossbergovo pravilo uenja nastalo je iz pokuaja S.Grosberga da objasni neke bioloke pojave.
Ovo pravilo uenja svojevrsna je matematika formulacija uvenog Hebbovog zakona, a Hebbov
zakon predstavlja pojanjenje klasinog uvjetovanog ponaanja prema Pavlovu. Da bi pojasnili o
emu je zapravo rije, krenimo redom, prvo od Pavlova.
Poznati eksperiment koji je sa psima proveo Pavlov, doveo je do slijedih rezultata. Kada se psu
pokazuje zdjela s hranom, on pojaano slini, a mi tada kaemo da je hrana bezuvjetan podraaj
(pobuda), a pojano slinjenje psa bezuvjetna reakcija (odziv) psa na bezuvjetan podraaj. Ako se uz
pokazivanje hrane psima istovremeno zvoni zvonom, nakon nekog vremena psi e pojaano sliniti i
kada im se samo zvoni zvonom, a ne pokazuje hrana. Zvono tako postaje uvjetnim podraajem, a
slinjenje uvjetnom reakcijom ili uvjetnim odzivom pasa. Donald Hebb [6.13] je 1949. godine sa
neurolokog stajalita pokuao objasniti ovaj fenomen na slijedei nain :

Ako je neuron A neprestano stimuliran od strane nekog drugog neurona

B u trenucima kada je neuron A iz bilo kojeg razloga aktivan , taj e isti
neuron A postati osjetljiviji na podraiaj neurona B, tj. sinaptika veza od B do
A e biti aktivnija., Prema tome, u budunosti je lako samo preko neurona B
ostvariti leljeni izlaz neurona A.

Hebbov se zakon lako povezuje s Pavlovovim

eksperimentom na nain d a j e B neuron aktivan uvijek
kada zvono zvoni, a neuron A je uvijek aktivan kada pas
pri gledanju zdjele s hranom pojaano slini. S vremenom
e utjecaj neurona B na neuron A toliko ojaati da e
poticaj neurona B biti dovoljan za aktiviranje neurona A i
u sluaju kada nema zdjele s hranom.
Uvijek je zgodno ovakav problem pokuati opisati
nekim matematikim jednakostima, a to znai dobiti
dovoljno dobar matematiki model po kojem se problem
odvija. Za Hebbov zakon, Grossberg je pokuao dati
matematiki model, koji je u stvari jedna umjetna
neuronska mrea. Neuroni koje je predloio Grossberg,
donekle se razlikuju od prije pokazanog klasinog
McCulloch-Pitts neurona. Pretpostavimo neuron koji na
svom ulazu ima vrijednosti koji dolaze kao izlazi drugih
neurona mree, sve vanjske ulaze u samu mreu, te
povratno, vlastiti izlaz.
Ako se vratimo na eksperiment Pavlova, zdjela sa
hranom moe se smatrati vanjskim ulazom, a zvonjavu
utjecajem od nekog drugog neurona, pri emu je izlaz
promatranog j-og neurona aktivan kada pas pojaano
slini.
Drugi lan s desna strane jednadbe (6-2) pokazuje
da e pas pojaano sliniti kada gleda zdjelu s hranom.
Zadnji lan desne strane jednadbe (6-2) pokazuje
utjecaj zvona na pojaano slinjenje psa, dok prvi lan
desne strane jednadbe pokazuje da e pas slabije sliniti
ako nema dovoljno podraaja, tj. ako izostane bilo zdjela
s hranom, bilo zvono, bilo oboje. Treba naglasiti da
jednadba (6-2) predstavlja samo odreeni opis, a ne i
egzaktan izraz po kojem se i stvarno odvija promatrana
bioloka pojava.

Vano je uoiti da izraz (6-2) za sluaj kada je w u * 0

posjeduje i teinsku vlastitu povratnu vezu, pa je svakako
rije o tipinom predstavniku dinamikih neurona. Da bi
se poveala tonost jednadbe, u zadnjem lanu desne
strane jednadbe moe se ukljuiti vremensko kanjenje.
To vremensko kanjenje predstavlja trenutak vremena koji
je potreban da vrijednost izlaza nekog neurona putem
veza stigne na ulaz nekog drugog neurona. Ponekad se
radi smanjenja uma desnoj strani jednadbe (6-2)
dodaje i

aktivacijski prag, pa je u tom sluaju neuron aktivan (ima

izlaznu vrijednost) samo ako je iznos njegovog izlaza vei
od ukljuenog aktivacijskog praga (u suprotnom, njegov
je izlaz nula).
Postupak uenja neurona realizira se promjenom
teinskih koeficijenata veza kojima je isti povezan, kako
sa ostalim neuronima mree, tako i sa samim sobom.
Zakon uenja prema Grossbergu [6.14] moe se napisati
na slijedei nain :
= ~Fj,

gdje su

Fi G

(0 + Gyj (f)y, (0 ,

pozitivne konstante, a

(6-3)
yj

izlaz j-og neurona

(obino je 0<y i (t)<\).

Prvi lan desne strane jednadbe (6-3) omoguuje
neuronu da zaboravi odreenu vezu (smanjivanje
pripadnog teinskog koeficijenta) tijekom vremena, pri
emu iznos pozitivne konstante F uvjetuje brzinu tog
zaborava. Obino je F po iznosu puno manji od A, pa
tako primjerice ako su vrijednosti za A reda veliine
sekunde, onda prema [6.2] vrijednosti za F treba uzeti u
milisekundama. Drugi lan desne strane jednadbe (6-3)
implementira Hebbov zakon, pri emu je G koeficijent
uenja, koji se prema iskustvu [6.14] uzima u granicama
0 < G < 1. Treba uoiti da Sto su ulazni i izlazni signal
neurona j vei, to je vea promjena pripadnog
teinskog koeficijenta. I ova se jednadba moe
proirivati lanovima koji ukljuuju vremenska kanjenja
signala i aktivacijske pragove neurona. Za uspjeh uenja
vano je pravilno odabrati konstante F i G. Ako je
konstanta F prevelika, neuron nee uiti. Slian se uinak
postie i kada je konstanta A premalena, jer mrea u tom
sluaju u vrlo kratkom intervalu vremena postaje pasivna
(ne ui).
Grosbergovo pravilo uenja kritizirali su mnogi
biolozi, jer prema njihovom miljenju u model nije
ukljueno dovoljno imbenika da bi se takvim modelom
vjerno opisala promatrana bioloka pojava. Usprkos
tome, ovo seje pravilo uenja pokazalo uinkovitim i
dobro je prihvaeno u podruju umjetnih neuronskih

mrea [6.15]. Pregled vanijih radova u kojima je

koriteno ovo pravilo uenja, te njegova izvedba dani su
tablicama 6.1. i 6.2.
Tablica 6.1. Primjena neuronskih mrea s Grossbergovim pravilom uenja.
Primjena
Autor
Literatura
Obrada signala
Petsche, Dickson, 1988
T6.16]
Regulacija
Guez, Eilbert, Kam, 1988
[6.171
Ekologija
Matsuo, 1987
[6.18]
Prepoznavanje oblika
Grossberg, 1970
T6.19]
Obrada slike
Grossberg, 1987
T6.20]
Govor i jezik

Grossberg, 1986, Grossberg, Pepe, 1971

[6.21], [6.22]

Tablica 6.2. Izvedba neuronskih mrea s Grossbergovim pravilom uenja.

Izvedba
Autor
Literatura
Optiki/Elektro-optiki
D. Anderson, 1987
[6.23]
TeKolste, Guest, 1987
[6.24]
Wang, Jenkins, 1988
[6.25]
Stirk, 1987
T6.261
Integrirani krugovi
Standley, Wyatt, 1988
[6.27]
Analogna elektronika
Nabet, Darling, 1988
F6.28]
Koprocesor/Dodatni procesor
SAIC, 1988
[6.29]
HNC, 1987

Primjer Grossbereovog (Hebbovog) pravila uenia :

Na slici 6.2 prikazana je neuronska mrea koja se sastoji od jednog zasebnog neurona i od 70
neurona organiziranih u polje forme 7x10 neurona.
Polje neurona

Zasebni
neuron

Izlaz zasebnog neurona vezan je na ulaz svakog neurona u polju, a neuroni u polju nisu
meusobno povezani. Svaki neuron mree ima i jedan vanjski ulaz, pa kad je taj vanjski ulaz aktivan,
bit e aktivan i sam neuron. Zbog ovakve topologije, mrea se moe predstaviti sa 70 neovisnih

mrea od po dva neurona (gdje je zasebni neuron zajedniki za sve neurone) koji ue po
Grossbergovom pravilu uenja. Uenje otpoinje malim teinskim koeficijentma veza sluajnih
iznosa.

Za vrijeme uenja vanjski su ulazi koriteni za aktivaciju kako zasebnog neurona, tako i itavog
polja, koje onda predstavlja odreeni uzorak uenja (u naem primjeru slovo A). Neuroni u polju koji
nisu pobueni vanjskim ulazom imaju malu vrijednost izlaza i njihovi se teinski koeficijenti uz
pravilno odabrane konstante uenja F i G postepeno smanjuju. To omoguuje neuronima u polju da
ne reagiraju na pobudu zasebnog neurona. Za razliku odnjih, neuroni koji su pobuivani vanjskim
ulazima imaju velike izlazne vrijednosti, ime jaaju svoju vezu sa zasebnim neuronom (rastu im
teinski koeficijenti veza sa zasebnim neuronom), to drugim rijeima znai da jaa odziv na pobudu
zasebnog neurona.
Kako se uenje odvija iterativno u vie koraka, neuroni polja e naposljetku dati odziv na pobudu
zasebnog neurona, pri emu vanjska pobuda polja vie nee biti vana. Prema tome, mrea je
nauena da reagira na uvjetnu pobudu i u sluaju odsutnosti bezuvjetne pobude (Hebbov zakon). Da
bi uili neki drugi uzorak (npr. drugo slovo), mrei treba samo dodati novi zasebni neuron. Pri uenju
novog uzorka, uz pretpostavku pravilnog odabira konstanti uenja G i F, veze koje su ve prije
nauene (prvi zasebni neuron) gotovo se nee mijenjati.
6.2. Kohonenove neuronske mree

Kohonenova samoorganizirajua neuronska mrea vrlo je interesantna, jer pri njenom uenju
koristi postupak uenja bez uitelja, a organizira se u takvu strukturu koja najbolje prezentira
karakteristike ulaznog uzorka [6.14]. Kako je ova neuronska mrea vrlo mona i brza, ali ipak
relativno komplicirana za uporabu, ovdje emo dati samo osnovni princip rada mree, a neto vie
detaljnijih informacija moe se nai u referencama [6.31, 6.32, 6.33],
Kohonenova neuronska mrea potpuno je povezana struktura neurona, u kojoj je izlaz svakog
neurona spojen na ulaza svih ostalih neurona, ukljuujui i vlastiti ulaz. Svaki neuron ima dva skupa
teinskih koeficijenata. Jednim se skupom teinskih koeficijenata u mreu dovode informacije od
vanjskih ulaza, dok se drugim skupom kontroliraju interakcije meu neuronima mree. Teinski
koeficijenti koji su odgovorni za veze s vanjskim ulazima mree predmetom su uenja i mijenjaju se,
dok su teinski koeficijenti interakcija meu neuronima nepromjenjivi (fiksni). Svaki neuron mree
ima isti ulaz koji predstavlja ulazni uzorak koji se sastoji od n elemenata. Shematski prikaz
jednostavne Kohonenove umjetne neuronske mree koja je sainjena od N neurona, danje slikom 6.3.

Slika 6.3. Shematski prikaz Kohonenove neuronske mree.

Tijekom uenja svaki se uzorak uenja (ulazni uzorak) daje svakom neuronu i svaki neuron daje
izlaz kao rezultat primjene sigmoidalne aktivacijske funkcije na sumu umnoaka teinskih
koeficijenata i vrijendosti ulaza. Nakon toga se ulazni uzorak mie s ulaza i neuroni poinju s

meusobnom interakcijom. Tijekom interakcije odreuje se neuron s najveim izlazom, kojem se

jedino doputa da sudjeluje u uenju. Tom neuronu, kao i neuronima iz njegove najblie okolice, koji
su doprinjeli veliini izlaza dominantnog

neurona, doputena je adaptacija teinskih koeficijenata

veza prema vanjskim ulazima mree. Nakon podeavanja
teinskih koeficijenata, neuroni koji su sudjelovali u
uenju, za ponovljeni uzorak na ulazu mree dat e velike
vrijednosti svojih izlaza.
Pretpostavimo jednostavnu Kohonenovu mreu gdje
ulazni uzorak ima samo jednu komponentu. Teina veza
svakog neurona s vanjskim ulazom mree, w t za i=0,l,...,N
na poetku se uniformnom razdiobom (distribucijom) na
sluajan nain postavlja na vrijednosti izmeu O i l . Potom
se uzorak uenja dovodi na ulaz mree. Tijekom uenja
bilo kojeg takvog uzorka, samo jednom neuronu je
dozvoljeno da ostvari izlaz mree. Kao to e to biti
prikazano kasnije, sama vrijednost izlaza tog neuron
manje je vana, a puno je vaniji njegov poloaj unutar
same mree. Moe se pokazati da nakon dovoljnog broja
prezentiranja uzoraka uenja neuronskoj mrei, mrea
podeava teinske koeficijente svakog neurona kako
slijedi:
w t < Wj V i < j ,
(64)
gdje je: 1 < / , j < N .
Interesantno je da su teinski koeficijenti nakon uenja
uniformno distribuirani unutar ulaznog raspona
vrijednosti izmeu 0 i 1, kako je to prikazano slikom 6.4.

Broj neurona

Slika 6.4. Primjer organizacije Kohonenove neuronske mree s uniformnom razdiobom ulaznih

veliina.

Kao to je prije spomenuto, teinski koeficijenti veza

organiziraju se (podeavaju) u odreeno polje teina.
Osnova takvog podeavanja je injenica da fiziki susjedi

neurona s najveom vrijednou izlaza reagiraju na slian

nain, to odgovara postavljenoj strategiji. Prema tome,
samo neuron s najveim izlazom i neuroni u njegovoj
nejblioj okolini sudjeluju u uenju, odnosno adaptiraju
teinske koeficijente svojih veza sa ulazom mree.
Premda je uenje otpoelo sluajnim vrijednostima
teina, zbog karaktera distribucije uzorka uenja, teinski
koeficijenti nakon uenja imaju uniformnu razdiobu. Isto
tako u sluaju da uzorak uenja ima Gaussovu razdiobu,
teinski koeficijenti nakon uenja zauzet e Gaussovu
razdiobu. To drugim rijeima reeno znai da e teinski
koeficijenti biti

postavljeni u podruje gdje se najvei ulazi najee pojavljuju, to je zorno prikazano slikom
6.5.

Broj neurona

Slika 6.5. Primjer organizacije Kohonenove neuronske mree s Gaussovom razdiobom ulaznih

veliina.

Ovi primjeri pokazuju da je razdioba ulaznih uzoraka

u direktnoj vezi sa razdiobom (topologijom) vrijednosti
teinskih koeficijenata unutar neuronske mree.
Pogledajmo detaljnije tu interakciju unutar
Kohonenove mree tijekom postupka odreivanja
najaktivnijeg neurona i utvrivanja njegove okoline. Rije
je o operaciji koja rezultira time da neuron s najveim
izlazom i njegovi najblii neuroni postaju pobueni, a svi
ostali neuroni mree nepobueni. Za neuron kaemo da
je pobuen (engl. excitatory) ako mu se izlazna veliina
asimptotski pribliava najveem moguem iznosu,
jedinici (ili pozitivnoj vrijednosti), dok e nepobueni
(engl. inhibitory) neuron biti onaj neuron ija je vrijednost
izlaza blizu (asimptotski) njegove najmanje mogue
vrijednosti, nule (ili negativne vrijednosti). Razina
pobuenosti (aktivnosti) ili nepobuenosti (neaktivnosti)
neurona u direktnoj je korelaciji s vrijednou izlaza
neurona. Sam princip utvrivanja najaktivnijeg neurona,
tj. odreivanja razine pobuenosti svih neurona mree
naziva se lateralna (bona) interakcija. Slikom 6.6. dan je
prikaza lateralne interakcije neuronske mree prikazane
slikom 6.3.

Slika 6.6. Lateralna (bona) interakcija neurona unutar mree.

Izlaz svakog neurona povratnom vezom vraen je na

ulaz svakog neurona mree sa pozitivnim predznakom
(ekscitoma veza) ili negativnim predznakom (inhibitoma

Slika 6.7. Funkcija Mexican Hat",

veza). Iznos i predznak povratnih veza odreen je tzv.

funkcijom meksikog eira (mexican hat), koja je
prikazana slikom 6.7.
Podsjetimo se da ovi teinski koeficijenti nisu
predmetom uenja. Ove povratne veze omoguuju
neuronu da pobudi najblie neurone i samoga sebe, a da
ne pobuuje one neurone koji su daleko od njega. Ovaj
(6-5)

n } (t) - a
k=l

proces moemo zamisliti i kao svojevrsno natjecanje

meu neuronima, gdje je pobjednik neuron s najveim
pozitivnim izlazom. Pri tome izlaz i-tog neurona n t , u
trenutku t moemo opisati sa :
gdje je:
N - broj neurona u
mrei y(k) -

Mexican Hat
funkcija
r0 - vremensko kanjenje signala
u povratnoj vezi cr(*) sigmoidalna aktivacijska
funkcija.
Slika 6.8 prikazuje kako djeluje bona (lateralna)
interakcija. Krivulja za t=0 pokazuje poetno stanje izlaza
neurona mree prije poetka bone inetrakcije. Ostale
kruvulje pokazuju izlaze neurona tijekom bone
interakcije.

Kao to se sa slike 6.8 vidi, grupiranje neurona odvija

se na oekivani nain. Neuroni koji od poetka interakcije
imaju velike vrijednosti izlaza, to e stanje zadrati do
kraja postupka. Ovakvo grupiranje neurona stabilna je
procedura i bez ukljuivanja bilo kojeg drugog faktora,
izlazna veliina neurona nee nikada padati, a mrea
nee biti u stanju reagirati na neki novi ulazni obrazac

uenja. Da bi se to sprijeilo, u jednakost (6-5) mogue je

ukljuiti efekt zasienja, koji tijekom postupka interakcije
slabi vezu meu neuronima mree [6.31 ].
Slijedei problem kojem treba posvetiti pozornost je
irina najblie okoline aktivnog neurona. U praksi se
poinje s velikom irinom okoline, koja se onda tijekom
uenja postepeno suava. Stoga, dok veze meu
neuronima, tj. pripadajui teinski koeficijenti nisu
adaptirani, one generalno tijekom uenja svojom
promjenom utjeu na veliinu i oblik funkcije mexican
hat. U samom poetku, kada su teinski koeficijenti
pridrueni sluajno, uputno je krenuti sa irokom
okolinom svakog neurona, jer se u protivnom mogu
oekivati loiji rezultati uenja mree. Isto tako treba
znati da ako se tijekom uenja okolina aktivnih neurona
ne smanjuje, pripadajui teinski koeficijenti veza meu
neuronima nee moi konvergirati prema pravim
konanim vrijednostima.