Neuronske mreže - Auditorne vježbe I

FER

Studeni, 2022.

(FER) NEUMRE - AV1 Studeni, 2022. 1 / 15

Općenite informacije o med̄uispitu

četvrtak, 24.11.2022. u 17.30h

B1, B4
150 minuta
30 bodova
prvi ciklus predavanja

(FER) NEUMRE - AV1 Studeni, 2022. 2 / 15

Materijali za pripremu za ispit

sva predavanja iz prvog ciklusa (do uključivo Stroja s potpornim

vektorima)
relevantna poglavlja knjige "Neural Networks - A Comprehensive
Foundation" by Simon A. Haykin dostupna na web stranici
predmeta
Jupyterske bilježnice za prve dvije lab. vježbe (bilježnice
lab1-lab4)
stare auditorne vježbe
stari med̄uispiti

(FER) NEUMRE - AV1 Studeni, 2022. 3 / 15

Asocijativna memorija

ulazni uzorak -> memorija -> odziv (zapamćeni uzorak)

heteroasocijativna / autoasocijativna memorija
(ne)linearna asocijativna memorija
korelacijska matrica
preslušavanje ključeva
učenje korekcijom pogreške
kapacitet memorije
pseudoinverzna memorija
osnove linearne algebre: norma vektora, ortonormalizacija,
pseudoinverzna matrica, linearna nezavisnost vektora u
N-dimenzionalnom prostoru, vanjski umnožak, skalarni (unutarnji)
umnožak

(FER) NEUMRE - AV1 Studeni, 2022. 4 / 15

Primjer I: Korelacijska matrica
Neka su zadani sljedeći izlazni uzorci:
 T  T  T
b1 = 6 2 ; b2 = −1 2 ; b3 = −4 2
Pripadajući ulazni uzorci (ključevi) su zadani ovako:
 T  T  T
a1 = −2 2 1 ; a2 = 1 2 −2 ; a3 = 2 1 2
a Izračunajte korelacijsku matricu M koristeći izravni pristup
(vanjskim umnoškom).
b Koji od zadanih parova uzoraka će biti ispravno, a koji neće biti
ispravno zapamćeni? Zašto?
c Ispravite ključeve tako da se svi izlazni uzorci ispravno zapamte.
d Koji ulazno-izlazni vektori će ostati ispravno zapamćeni nakon
dodavanja novog para uzoraka? Neka je taj par zadan ovako:
1  T  T
a4 = 10 11 2 , b4 = 9 7
15
(FER) NEUMRE - AV1 Studeni, 2022. 5 / 15
Višeslojni perceptron
modeli neurona sa nelinearnim aktivacijskim funkcijama
skriveni slojevi
učenje se temelji na Algoritmu povratne propagacije pogreške
Sažetak algoritma povratne propagacije pogreške

∆wji (n) = ηδj (n)yi (n)

Ako je neuron j izlazni neuron onda:
′
δj (n) = φj (vj (n))ej (n)
ej (n) = dj (n) − yj (n)

Inače (ako je neuron j skriveni neuron onda):

X
δj (n) = φj ′ (vj (n)) δk (n)wkj (n)

(FER) NEUMRE - AV1 Studeni, 2022. 6 / 15

Primjer II: Prolaz unaprijed

Skica naše neuronske mreže

(FER) NEUMRE - AV1 Studeni, 2022. 7 / 15

Primjer II: Prolaz unaprijed

a Nakon nekoliko iteracija učenja prikazane neuronske mreže,

dobiveni su sljedeći vektori težina:
   
−2.0 1.0
v1 =  2.0  ; v2 =  1.0 
−2.0 −1.0
     
−1.0 0.5 −0.3
w1 = ; w2 = ; w3 =
−3.5 −1.2 0.6
Pretpostavite da svi neuroni imaju sigmoidalnu aktivacijsku funkciju i
nemaju pomak (engl. bias). Odredite vektore y1 , y2 , z2 , ako je na ulaz
 T
neuronske mreže doveden vektor 1 1 0 .

(FER) NEUMRE - AV1 Studeni, 2022. 8 / 15

Primjer II: Povratni prolaz

Promotrimo dio zadane neuronske mreže.

(FER) NEUMRE - AV1 Studeni, 2022. 9 / 15

Primjer II: Povratni prolaz

Sa z1 , z2 , z3 označavamo izlaze iz neuronske mreže.

a Odredite nove težine w12 , w22 , w32 nakon primjene jednog koraka
generaliziranog delta pravila, ako je željeni izlaz iz mreže
 T
t = 0.68, 0.26, 0.56 , izlaz iz označenog skrivenog neurona
y2 = 0.6, a stopa učenja 0.03.

(FER) NEUMRE - AV1 Studeni, 2022. 10 / 15

Radijalne mreže

učenje radijalnih mreža je problem aproksimacije krivulje u

višedimenzionalnom prostoru
tri sloja: ulazni, skriveni i izlazni sloj
nelinearnost izmed̄u ulaznog i skrivenog sloja
linearnost izmed̄u skrivenog i izlaznog sloja
Coverov teorem - separabilnost u višedimenzionalnom prostoru
generalizirane radijalne mreže

(FER) NEUMRE - AV1 Studeni, 2022. 11 / 15

Primjer III: Rješavanje interpolacijskog problema
korištenjem radijalnih mreža

Neka je zadana funkcija F : R
→ R za koju su poznate vrijednosti u

dvije točke, F (0) = 3 i F ln(4) = −4.
Aproksimirajte funkciju F koristeći dvije radijalne funkcije oblika
φ(r ) = e−r /2 čiji centri su u zadanim točkama.
Pronad̄ite težine odgovarajuće radijalne mreže.

(FER) NEUMRE - AV1 Studeni, 2022. 12 / 15

Stroj s potpornim vektorima

potporni vektor
margina razdvajanja
dualni problem
Lagrangeovi multiplikatori
Mercerov teorem
Funkcije jezgre i jezgreni trik (engl. kernel trick )

(FER) NEUMRE - AV1 Studeni, 2022. 13 / 15

Primjer IV: Stroj s potpornim vektorima

(FER) NEUMRE - AV1 Studeni, 2022. 14 / 15

Primjer IV: Stroj s potpornim vektorima

a Pronadite jednadžbu hiperravnine koja razdvaja uzorke dviju

klasa, a dobivena je primjenom SVM algoritma.
b Izračunajte marginu razdvajanja.
c Hoće li se promijeniti jednadžba hiperravnine ako se iz skupa za
treniranje izbaci uzorak (5, 6)? Zašto?

(FER) NEUMRE - AV1 Studeni, 2022. 15 / 15