Professional Documents
Culture Documents
Yapay Sinir Ağları
Yapay Sinir Ağları
1.SSTEM MODELLEME
Doa bilimleri, sosyal bilimler, mhendislik, i dnyas ve finansn birka rnek balk olarak
sralanabilecei eitli alanlarda modelleme ve ngr gerekletirilmesi arzu edilen ve
dolays ile youn aba sarfedilen aratrma konulardr. ncelenen sistemin giri-k
ilikisini tanmlayan ifadeye matematik model veya ksaca model denir [1].
Sistemin modeli, giri uzay udan k uzay yye bir P operatr olarak tanmlanr ve
tanmlama ilemiyle Pnin ait olduu Q kmesinin zellikleri yakalanmaya allr. Q
kmesi verilmi ve P Q olduu biliniyorken, tanmlama ileminin hedefi
eleman tespit etmektir ki
kaydyla yle bir P
Q
P
Q
Q
olmak
yaklasn [2].
Modelleme ileminde kullanlan iki temel yaklamn ilki, kmelendirilmi parametre
modellemesi(lumped-parameter modelling), ikincisi ise sistem tanmadr [1]. Kmelendirilmi
parametre modellemesi yaklamnda, sistem, giri-k ilikisi basite ifade edilebilen
bileenlerle yaplandrlmaya allr. Sistem tanma yaklamnda ise deneysel olarak elde
edilmi veya hipotetik olarak retilmi giri-k verilerinin kullanlarak sistemin matematik
modelinin kurulmasna allr. Sistem tanma, parametrik ve nonparametrik balklar altnda
iki grupta incelenebilir. Parametrik model, sonlu sayda parametre ile tamamen belirlenen
fonksiyonel bir formu benimsedii halde nonparametrik modelde ne fonksiyonel form ne de
parametre says ile ilgili bir kstlama vardr.
Modelin kurulabilmesi iin temel gereksinim:
1. Giri-k verisi
2. Model adaylarnn belirlenmesi
3. Modelin seim kriteridir.
deal durumda, yukardaki maddeler de gereklenmi olacaktr, modelin lineer olmas arzu
edilir. Bir H sistemi, x1 x1 (t ) ve x 2 x 2 (t ) keyfi giri deerleri ve c1 , c 2 keyfi sabitleri
iin;
H c1 x1 c 2 x 2 c1 H x1 c 2 H x 2
(2.1a)
denklemini salyorsa; lineerdir. Bu denklemde lineer sistemlerin tad iki zellik olan
toplanabilirlik ve homojenlik verilmitir. Ayr ayr (2.1a) ve (2.1b) eklindedirler:
1. Toplanabilirlik zellii:
H x1 x 2 H x1 H x 2
(2.1b)
2. Homojenlik zellii:
H cx cH x
(2.1c)
Bu zellikler, sperpozisyon ilkesi sayesinde sonlu olmak kayd ile keyfi sayda giri
teriminin toplamna geniletilebilir. zelliklerden birinin salanamad durumda sistemin
nonlineer oluuna delil elde edilmi olunur. Yaplabilecekler sistemin lineerletirilmesi veya
nonlineerlik ile baedebilecek bir tanma algoritmasnn gelitirilmesi ile snrldr. Lineer
sistemler iin gelitirilmi pek ok tanma algoritmas mevcuttur. Ancak, ilgi alan nonlineer
sistemlere kaydnda olanaklar kstldr. Yapay sinir alarnn nonlineer ilikileri renme ve
arzulanan
toleranslar
dahilinde
yaklamda
bulunma
yetenei
duyulan
ilginin
sebeplerindendir.
ncelikle parametrik modellerden AR modeli hakknda ksa bilgi verilecek ve parametrik
olmayan modellerden yapay sinir alar Blm 3 te detayl bir ekilde ele alnacaktr.
1.1. Parametrik Model
1.1.1. AR Modeli
Giri-k ilikisini basite tanmlayan fark denkleminin genel ifadesi (2.2) ile verilmitir. a k
ve bk sabit arpanlar, y n k deerleri ve x n giri deerleri dizisi olmak zere,
k 1
k 0
y n a k y n k bk x n k
(2.2)
AR Model:
y n a k y n k w n
(2.2a)
k 1
MA Model:
y n bk x n k
k 0
(2.2b)
AR modelin revata olmasnn altnda yatan balca sebep, AR parametrelerinin hesab iin
kullanlan yntemlerin ounun dorusal denklem takmlarnn zmne dayanmas
nedeniyle kolay olmasdr.
1.1.2. AR Model Mertebesinin Belirlenmesi
AR model mertebesi iin en iyi deer, genellikle, nceden bilinemez. Dk mertebeli
modeller az bilgi ieren spektral kestirim sonucu retirken ok yksek mertebeli modellerin
kestirimi sahte detaylar verme eilimindedir. AR model mertebesi arttka kestirimin gc
azalr. Buna kar kestirim hatas gc, artan model mertebesiyle monoton azaldndan
arama srecinin ne zaman durdurulmas gerektii ak deildir.
Model mertebesi, ikisi Akaike tarafndan ortaya atlm eitli kriterler dorultusunda
belirlenebilir. Akaikenin ilk kriteri, nihai kestirim hatas (final prediction error(FPE)) adyla
anlr. Veri says N, model mertebesi
N p 1
FPE P
p
p
N
p
1
(2.3)
Artan pye karlk Pp azald halde (2.3) eitliindeki dier arpan artar. Artan
ye
karlk FPE p deerinin bir minimuma ulamas beklenir. Minimum FPE p deerini
salayan
2p
AIC ln P
p
N
p
(2.4)
(n+1). katmann giri sinyalleri olarak kullanlr. m adet giri dm, ilk gizli katmannda h1
adet nron, ikinci gizli katmannda h2 adet nron ve k katmannda q adet nron bulunan
bir ok katmanl ileri besleme a m-h1-h2-q a olarak adlandrlr. Eer her katmanda
bulunan nronlar bir sonraki katmann tm nronlarna bal ise bu tip aa tam balantl a
denir. Eer bu sinaptik balantlardan bazlar eksikse a, ksmi balantl a adn alr [7].
Radbas transfer fonksiyonunun net girii, arlk vektr, w, ile giri vektr, pnin vektrel
uzaklnn bias terimi ile arpmdr. w ile p arasndaki uzaklk azaldka transfer
Serbest parametre olan nronlarn saysn kullanlmas gerekenin asgarisi ile snrlamak,
zere, hata (3.1a) ve hedef fonksiyonun tanmlanmasnda kullanlan hatann karesi (3.2b)
eitliiyle verilir.
q Tq qk ()
(3.1a)
2 q2 Tq qk () 2
(3.1b)
q2
w pq , k p ,q
(3.2a)
w pq , k
w pq ,k p , q
q2
q , k ( )
q ,k ( ) q , k
q , k
(3.2b)
w pq ,k
Bu eitlikte,
q2
q , k ( )
q , k ( )
q , k
2 Tq q , k ( )
q ,k ( ) 1 q , k ( )
(3.3a)
(3.3b)
q ,k w pq ,k p , j ( )
(3.3c)
p 1
q , k
w pq , k
p , j ( )
(3.3d)
w pq , k p , q ( 2 ) Tq q , k () q , k ( ) 1 q , k ( ) p , j ()
(3.4)
Esasen geriyaylacak hata terimi olan ayn zamanda ksa bir gsterim elde etmek iin;
pq ,k ( 2 )Tq q ,k () q , k ()1 q , k ()
(3.5)
olarak tanmlanrsa;
w pq ,k p , q
q2
w pq ,k
p , q pq , k p , j ( )
(3.6)
N, iterasyon sayac olmak zere, (N+1). adm iin ayarlanacak arlk deeri;
w pq , k ( N 1) w pq , k ( N ) p , q pq , k p , j ( )
(3.7)
whp , j h , p
q2
whp , j
(3.8a)
q2
q ,k ()
q ,k
q 1
q ,k ( )
q ,k
p , j ()
whp , j h , p
p , j ( ) p , j
p , j
whp , j
(3.8b)
q2
q , k ()
q , k ( )
q , k
q , k
p , j ( )
p , j ()
p , j
p , j
whp , j
(2) Tq q , k ()
q , k ( ) 1 q , k ( )
(3.9a)
(3.9b)
w pq , k
(3.9c)
p , j () 1 p , j ()
(3.9d)
xh
(3.9e)
whp , j
(2)T
r
q 1
q , k () q ,k () 1 q ,k ( ) w pq ,k p , j ( ) 1 p , j ( ) x h
(3.10a)
whp , j
q 1
pq , k
w pq , k p , j 1 p , j ( ) x h
(3.10b)
hp , j pq ,k w pq ,k
p , j ( )
p , j
(3.11)
elde edilir.
Son adm olarak, gizli katman nronunun (N+1). iterasyon iin deeri (3.12) ile bulunur:
whp , j ( N 1) whp , j ( N ) hp x h hp , j
(3.12)
Tm gizli katman nronlar iin deiiklik yapldktan sonra yeni giriler uygulanr ve sre
yeniden balar. Hedeflenen hata kriterine ulalana dek iterasyon devam eder. Hata kriterine
ulaldnda eitim tamamlanm olur [5].
1.6.4.1. Geri Yaynml Eitimi Etkileyen Etmenler
Geriyaynml eitimin baarmn arttrmak iin yaplabilecek bir takm dzenlemeler
nerilmitir.
1.6.4.1.1. Bias
Her bir nron iin bir bias eleman ilave edilebilir. Aktivasyon fonksiyonunun apsisi
kestii noktay teleyerek nronun eik seviyesinde deiiklik etkisi yaratr. Genelde, eitim
hzn olumlu etkiler. Giri elemanlarnn bias (+1) olmak durumunda olmasna karn dier
biaslar herhangi bir deer alabilir ve eitilebilir [5].
1.6.4.1.2. Momentum
Hareketli bir cismin momentumunun etkisine benzer, eitim srecinin ynnn korunmas
salar. Bunun iin, arlk ayarlamas srasnda, nceki arlk deiimiyle orantl bir terim
ilave edilir. , momentum terimi olmak zere denklem (3.13) elde edilir:
w pq ,k ( N 1) w pq , k ( N ) p , q pq , k p , j () w pq , k ( N )
(3.13)
arlklarn minimuma ulamay salayacak ekilde ayarland kabul edilir. Hata yzeyi,
kolaylkla dlebilecek fakat kurtulmann mmkn olamayabilecei tepe ve ukurlar
barndrabilir. Atanan ilk arlk deerleri, civarnda, azalan gradyan ynnde arama yaplacak
noktay belirler. Rasgele seilen ilk noktadan, global minimuma kadar olan mesafede yerel
minimum problemini yaratabilecek hata deerleriyle karlamak muhtemeldir. ekil 3.14
yerel minimumlar gstermektedir.
Bundan baka, fark, eitimde kullanlacak veriden kaynaklanan iki alternatif modelleme
yaklamndan birincisinde ilk adm, mevsimsel deiimler gibi periyodiklii bariz
bileenlerin veriden karlmasdr. Gerikalan, detay niteliindeki veri zerinden YSA eitilir.
Eitilen YSAnn kestirimlerinin, daha nce tespit edilmi periyodik bileenlerle
toplanmasyla ilem tamamlanr. Dier yaklamda eitim verisi, ardk elemanlar arasndaki
farkn veya deiim orannn hesaplanmasyla elde edilir [7].
EVRMC ALGORTMALAR
Evrimci Algoritmalar, tasarm ve gerekletirilmesinde evrim srecinin hesaplamal
modellerinin esas alnd bilgisayar tabanl problem zme sistemlerini tasvir etmekte
kullanlan genel balktr [11]. Evrimci Programlama(Fogel, Owens ve Walsh 1966),
Evrim Stratejileri (Rechenberg 1973) ve Genetik Algoritmalar (Holland 1975) bu
alandaki baskn yntemlerdir. Gelitiricilerinin benimsedikleri gsterim tarz, seim
stratejileri, nfus ynetimi ve genetik operatrlerin nemsenme derecesine gre farkllklar
arz ederler.
1.7. Temel lkeler
ekil 4.1deki gsterimle tanmlanabilecek olan standart EAnn altrlabilmesi iin tespit
edilmesi gereken temel noktalar: kromozom gsterimi, seim stratejisi, oalma operatrleri,
ilk topluluun yaratlmas, sonlandrma kriteri ve deerlendirme fonksiyonudur. Bu noktalarn
belirlenmesinde probleme uygunluu gzetilmelidir.
Holland'n ema teorisi, bireylere, uygunluk deeriyle orantl oalma frsat tannmasn
nerir. Ancak topluluk nfusunun sonlu olmas zorunluluu nedeniyle olgunlamam
yaknsama gerekleebilir. EAnn nfusu snrl topluluklarda etkin alabilmesi iin
bireylerin kazanaca oalma frsat saysnn ne ok fazla ne de ok az olacak ekilde
denetlenmesi gerekir. Uygunluk deeri leklenerek, erken nesillerde, ar uygunluk deerli
bireylerin toplulukta hakimiyet kurmas engellenir.
1.11. Yava Sonlanma
Olgunlamam yaknsamaya kart sorun yava sonlanmadr. Epey nesil gemesine ramen
topluluk yaklat halde global minimumu konumlandramayabilir. Ortalama uygunluk
deeri yeterince yksek deerli olup en iyi bireyin uygunluk deerine yaknsam olabilir.
Olgunlamam yaknsamay nlemede kullanlan yntemler bu soruna kar da kullanlr [12,
13, 14]. Kullanlan yntemlerle topluluun etkin uygunluk deerinin varyans arttrlr.
1.12. Seim
EAda zme giden yol, bireylerin uygunluk deerinin artn salayan gen ieriinin
edinilmesinden geer. Bu sebeple, yeni nesili oluturacak bireylerin seimi hayati nemdedir.
nerilen eitli temel yaklamlar ve eitlemeleri mevcuttur. Sklkla kullanlan stratejiler,
kesme seimi, rulet tekerlei ve stokastik rneklemedir.
1.12.1. Kesme Seimi
En Gller Yaar prensibinden hareketle uygunluk deerine gre bykten ke
sralanan bireylerden belirlenen sayda en yksek deerli bireyler seilir, dierleri yok edilir.
1.12.2. Stokastik Evrensel rnekleme
James Baker(1987) tarafndan nerilen yntemde rulet stratejisine benzer yaklamla, bireyler
doru zerine yerletirilir. Seilecek birey saysna eit sayda iaretinin, doru zerine eit
aralklarla yerletirilmesiyle rnekleme yaplr. rnein, seilecek birey says Npointer=6
olduunda, rnekleme periyodu 1/Npointer=0.167 olur ve ilk iaretinin yeri [0, 1/NPointer]
aralnda olmak kouluyla rasgele seilir [15].
1.13. oalma
Uygunluk deerini gzeten seim stratejisi sonucu seilen kromozomlarn aprazlanmasyla
yeni nesili oluturan bireylerin retildii evre, oalmadr. Ebeveyn olarak iki kromozom
seildikten sonra gerekleen aprazlama ilemi tek veya ok noktal olabilir. Rasgele
belirlenen noktadan ikiye ayrlan kromozomlardan ba ve kuyruk dizileri elde edilir. ekil 4.4
ve ekil 4.5te grld gibi, ba veya kuyruk dizilerinin deitokuu sonrasnda birletirilen
diziler yeni nesilin iki ferdi olarak kromozom havuzuna kaydedilirler.
1.14. Mutasyon
Faydas tartlmaya devam etmekle birlikte ska kullanlan bir dier genetik operatr
mutasyondur. Rasgele seilen kromozomdaki bir veya birka geni rasgele deiiklie uratan
mutasyon operatrnn nesil bana uygulanma orannn dk olmas tavsiye edilir. ekil
4.6da tek noktada ve ekil 4.7de ok noktada mutasyon ilemi gsterilmitir. ki tabanl
gsterimde, genin alabilecei deer { 0 , 1 } ile kstl olduundan 01e, 10a dnr.
Gerel sayl gsterimde ise, gendeki deiim, rasgele belirlenen bir sayyla yerdeiimine
bal olabilecei gibi mevcut deere mutasyon adm olarak anlan kk ilavelerle de
gerekleebilir [7].
1.15. Yaknsama
EAnn doru gerekletirildii uygulamalarda, kromozom topluluundaki en iyi ve ortalama
uygunluk deerleri, bireylerin, evrim sonucu geliimiyle biribirine ve global optimuma
yaknsar. Uygunluk kriterini salayan birey yaknsamtr denir. Topluluk ortalamasnn, en iyi
bireyin uygunluk deerine yaknsad durumda topluluk yaknsam olur. Topluluk ve
kromozomun yaknsamasndan baka, genin yaknsamas da tanmlanmtr. Bir nesildeki
kromozomlarn belirli bir lokusu %95 orannda ayn gene sahipse gen yaknsamtr denir [12,
17].
1.16. Tersten Sralama ve Yeniden Dzenleme
Genlerin sralan ok nemlidir. Sralamay deitirerek arama uzayn genileten bir
operatr tersten sralamadr. Bu operatr, bir kromozom zerindeki genlerden rasgele
belirlenmi iki lokus arasnda kalanlar ters srayla yerletirir.
1.17. ift Deerlilik ve Basknlk
leri hayat formlarnda, kromozomlar ikili sarmal dzenindedir, genler iki erit zerine
kodlanmtr. Biribirinin alternatifi iki genin kodland yap, ift deerli(diploid) kromozom
adyla anlr. Bugne kadar olan EA almalar tek erit zerine kodlanm genlerle
gerekletirilmitir. Tek eritli yap haploid kromozom adyla anlr. ift deerliliin
salayabilecei faydalar olmasna kar programlama ve ilem kolayl salamasndan dolay
haploid yap tercih edilmitir. Zamana bal deiimin szkonusu olabilecei ortamlarda farkl
iki zm barndran diploid kromozomlar avantajldr. Ayn parametreyi kodlayan genlerden
kullanlmasdr. yi bir arama algoritmas, elien iki gereklilik arasnda bir denge noktas
bulmaldr.
Sade rasgele arama, keif konusunda iyi olduu halde kefin kullanm sz konusu deildir.
Tepe-trmanma yntemi ise az keif yapmasna kar kefin kullanm konusunda baarldr.
Bu iki yntemin birletirilerek kullanm gayet verimli olabilir. Ancak, daha fazla keif
yapmaya karar vermeden nce mevcut kefin kullanmna ne kadar sreyle devam edilecei
konusunda dengenin bulunmas kolay olmayabilir.
Holland gstermitir ki EA, keif ve keif kullanmn ayn anda ve en uygun ekilde
birletirmektedir. Teoride doru olmasna karn, uygulamada, kayna Hollandn
basitletirici kabulleri olan kanlmaz sorunlar mevcuttur. Bu kabuller:
1. Toplululuk nfusu sonsuzdur.
2. Uygunluk fonksiyonu, zmn ie yararl iin doru gstergedir.
3. Kromozomdaki genleraras etkileim bariz deildir.
Birinci kabuln, uygulamada gerekletirilmesinin imkanszlna bal olarak EA stokastik
hataya ak olacaktr. Test fonksiyonlarnn nispeten kolayca salad ikinci ve nc
kabullerin, gerek problemlerde salanmas daha g olabilir [12].
1.22. Kullanlabilirlik
Geleneksel EA uygulamalarnn ounluu, fonksiyonlarn saysal optimizasyonunda
younlamtr. Sreksizlik ieren, ok-tepeli, grltl verilerin ve fonksiyonlarn
optimizasyonunda dier yntemlerden daha baarl olduu gsterilmi olan EA, rasgele
verilerin modellenmesi iin ok uygundur [13].
renme yeteneine sahip sistemlere ynelik uygulamalar da olan EAnn, ekonomik
modelleme ve piyasa ilemleri [13] gibi belirli bir durumu analiz ederken kural tabanl geliim
gstermesi salanabilir.
1.23. Evrimci Yapay Sinir Alar
Yapay Sinir Alar ve Evrimci Arama srelerinin ortak kullanm ile tretilen Evrimci Yapay
Sinir Alar (EYSA), salad renme yetenei olan daha etkin yapay sistemler tasarm
olana ile ilgi grmektedir. Ayr ayr, eitli amalarla kullanlan bu yaklamlarn etkileimli
kullanm konu olduunda bahsedilebilecek uygulamalar, YSA balant arlk deerlerinin,
YSA yapsnn ve YSA renme kurallarnn belirlenmesidir [20, 21, 22]. Genel erevesi
ekil 4.8de verilen etkileimli evrim sreciyle baarm en iyiletirilmi YSA tasarm
gerekletirilebilir. Gerekletirilen uygulamada, zaman serisi modellemede kullanlan YSA
nn balant deerleri geri yaynm algoritmasnn yansra evrimci algoritma kullanmyla
belirlenmitir.
doan
hatann
karesinin
ortalamas
veya
bu
ortalamann
karekknn
ilemler, genlerin uygunluk deerini arttracak geliimi salayan dier genetik operatrlerdir.
Montana ve Davis, almalarnda geliime ak evrimci yaklamn eitim sresinin,
ilgilendikleri problem iin, geriyaynm algoritmasna gre daha ksa olduu sonucuna
ulamlardr [21]. Benzer sonuca ulaan Bartlett ve Downs EYSAnn boyutlarnn artmyla
yaknsama sreleri arasndaki farkn evrimci algoritmalar lehine ald sonucuna
ulamlardr. Bu sonucun genel olarak doru olduunun teyit edilmesi iin daha fazla alma
yaplmas gerekmektedir [21].
1.24.3. Evrimci Eitim ve Geriyaynml Eitim Karlatrmas
EA gibi global arama algoritmalarna dayanan ve yerel minimumlara yakalanmayan evrimci
eitim, daha nce de belirtildii zere, karmak, ok tepeli ve trevlenemeyen fonksiyonlarn
da dahil olduu geni bir problem uzayna zm salayabilmesi sebebiyle caziptir. Hata
fonksiyonun trevine ihtiya duymamas nedeniyle trevlenemeyen hata fonksiyonlaryla
karlaldnda sknt yaamaz. Ayrca, eitilmek istenen YSAnn tryle ilgili kstlama
getirmez. Algoritmik adan, EAnn ve zel olarak EAnn global rnekleme yetenei ince
ayar yapabilme yeteneinin nne kar. katmanl ve ileri beslemeli YSAlar iin belirtilen
avantajlarna kar, evrimci algoritmalarn hesaplama maliyeti yksektir [22].
1.24.4. Hibrid Eitim Yaklam
Evrimci eitimin etkinlii, EAnn global rnekleme yetenei ve yerel arama yaklamnn
ince ayar becerisiyle birletirilerek arttrlabilir. Yksek uygunluk deeri vaad eden bir
blgenin bulunmas iin EA kullanmn takiben blgede arama yapmak zere yerel arama
yntemleri iletilebilir.
Belew, arlklarn ilk deer atamasn EA kullanarak yaptktan sonra bulduu yeterince iyi
deerleri iyiletirmek iin geri-yaynm algoritmas kullanmtr [21]. Sistemin baarm, sade
EAya ve sade geri-yaynma gre nispeten artmtr.