Professional Documents
Culture Documents
Kolokwium 2
Kolokwium 2
Suma waona ( ) jest sum iloczynw sygnaw wejciowych i przypisanych do nich wag, czyli: = 1, dlatego powyszy wzr w tym przypadku mona uproci do = + + = = + +
Jednak warto
Przykad: =1 = 1 =1 = 0.4 = 0.8 = 0.7 = 1 0.4 1 0.8 + 1 0.7 = 0.4 0.8 + 0.7 = 0.3
2. Majc dany zbir wag, wyznacz lini klasyfikacji neuronu. Aby wyznaczy lini klasyfikacyjn neuronu, naley podstawi dane do wzoru = Czyli np. = 0.8, 0.8 0.4 = 0.8, 0.8 =2 0.4 = 0.4 =
2 1
1 2 3 4
1 1 1 1
1 1 1 1
1 1 1 1
1 1 1 1
Wpierw wybieramy zerowy wektor wag, tzn. = 0, 0, 0 , wybieramy pierwsz par trenujc z tabeli dot. treci zadania czyli odpowiednie i . Nastpnie wyznaczamy iloczyn wartoci wektorw i . Gdy obliczymy ten iloczyn sprawdzamy czy poniszy warunek jest prawdziwy >0
=1
<0
= (1) = 0,
Jeeli tak, nie zmieniamy wektora wag, natomiast jeeli jest niespeniony to: = 0,0,0 +
( )
I 1.
111
Warunek NIE
0 0 0 + (1) 1 1 1 = 1 1 1
I 1. 2.
1 1 1 1 1 1 1 1 1
0,0,0
1 1 1 1
3. 4.
TAK TAK
Poniewa nie wiemy czy nasz wektor wag pasuje do wszystkich przypadkw, musimy powtrzy obliczenia dla tych, w ktrych mielimy inny (czyli iteracj 1.) I 1. 2. 0,0,0 111 111 111 111 111 1 1 1 1 1 0 1 + 0 (1) + 0 (1) = 0 (1) 1 + 1 (1) + 1 + 1 = 1 (1) 1 + 1 1 + 1 (1) = 1 (1) 1 + 1 1 +11=1 (1) 1 + 1 (1) + 1 (1) = 3 Warunek NIE TAK 0 0 0 + (1) 1 1 1 = 1 1 1 Bez zmian
1 1 1 1 1 1 1 1 1 1 1 1
3. 4. 5.
Nasz wektor 1 1 1 pasuje do wszystkich wektorw wektorw wejsciowych uzyskalimy dla nich poprawn klasyfikacj.
1 2 3 4
1 1 1 1
1 1 1 1
1 1 1 1
1 1 1 1
4. 000 111 111 1 1 0 0 0 0 + (1) 1 1 1 = 1 1 1 1+1 1 1 1 + 111 2 = = 1 1 1 + 1 1 1 = 002 1+1 002 + 111 = 2 111 Bez zmian Bez zmian Bez zmian Bez zmian
1. 2.
Nie Nie
1 1 1
3.
111 111
1 1 1 1
4. 5. 6. 7.
1 1 1] 111 111
Nie
Warto wag:
,
= 1,
= 2,
= 3,
= 2, = 1,
= 4,
= 5,
= 4,
= 2,
=3
1 1+
Propagacja w przd polega na obliczeniu sum waonych i funkcji aktywacji dla wszystkich komrek. Zaczynajc wic od =
, ,
mamy +
,
( )= Dla
,
1 1+
1+
1 1+ 20.0855
,
=11+21+30=1+2=3 =
otrzymujemy =
,
( )=
1 1+
1+
= 2 1 + 4 1 + 5 0 = 2 + 4 = 2 1 = 1 = 0.8808 1.1353
A dla
1 2 3 4 5
3 2 0.5476
1 = 0.6336 1.5783
5. Majc dan warto wyjciow neuronu = ( ) wyznacz pochodne funkcji aktywacji w zalenoci od tego czy funkcja sigmoidalna jest uni- czy bipolarna Jeeli funkcja jest unipolarna, warto jej pochodnej liczymy ze wzoru ( )= Natomiast jeeli jest bipolarna, wedug 5 (1 )
( ) = 0.6336 (1 0.6336) = 0.6336 0.3664 = 0.2322 ( ) = 0.8808 (1 0.8808) = 0.8808 0.1192 = 0.1050 ( ) = 0.9526 (1 0.9526) = 0.9526 0.0474 = 0.0451 6. Majc dane wartoci z propagacji w przd, wyznacz delt i przeprowad propagacj wstecz. Zadanie to jest podobne do zadania 5 te potrzebujemy wartoci pochodnych, ktrych uywamy do wyliczenia delty, a potem przeprowadzi propagacj wstecz. =( ) ( ) - wzr na delt dla komrek warstwy wyjciowej
,
Komrka 5 jest z warstwy wyjciowej, 3 i 4 - z warstwy poredniej. Warto dla zadanych wartoci. =( ) = =
Gdy mamy obliczone , moemy uaktualni wagi, poczynajc od wyjcia, korzystajc ze wzoru:
,
, gdzie =
, , ,
= 0.2
=
,
=
, ,
=
,
Wzrost sygnau przy tym wzorze, jest z reguy do powolny (aby to sprawdzi naleaoby jeszcze raz wykona propagacj w przd), dlatego te mona zastosowa metod momentum polega ona na dodaniu do aktualizowanych wag czci ich poprzedniego przyrostu (wyraonej przez wspczynnik , praktycznie wynoszcy = 0.9)
,
= 1
= 1 0
+ 0 <0
( )
Bipolarna skokowa (progowa) funkcja aktywacji - ( ) = Unipolarna sigmoidalna funkcja aktywacji ( ) = Bipolarna sigmoidalna funkcja aktywacji ( ) = Pochodna funkcji sigmoidalnej unipolarnej Pochodna funkcji sigmoidalnej bipolarnej Wspczynnik Wspczynnik
1 0 1
>0 =0 <0
( )=
( )=
Uaktualnienie wag
=
,
=(
(1
) ) ( )
,
( )