KORELASYON MOTORU, LER ANAL T K YNTEMLER, B LG GVENL YNET M

Dr. Ertu rul AKBA

VE LOG

Kelimeler: Korelasyon, Korelasyon Motorlar , Bilgi kar m , Bilgi Gvenli i, Log Ynetimi, Log
Analizi, Kurumlarda Log Ynetiminin Gereklili i, 5651 Say l Yasa, Log Ynetimi, Log Normalle tirme, SIEM, SYSLOG, SNMP, 5651 Say l Kanun, Karma k Olay nceleme, Complex Event Processing, CEP, Olaylar Ak m nceleme, Event Stream Processing, ESP, RETE Algorithm, CEP, Event, ECA, Rules, leri Analitik ve Korelasyon Yetenekleri

OLAY VE KORELASYON TANIMI

Genellikle olay basite, zaman ierisinde herhangi bir anda olan her ey olarak tarif edilebilir rnek olarak:Bir telefonun zil almas , bir trenin var , bir dosyaya eri ilmesi veya olan herhangi bir ey verilebilir. Bili im terminolojisi a s ndan bakarsak olay ne oldu u ve ne zaman oldu u ile ilgili bilgi ieren mesajd r. rnek vermek gerekirse: WEB sunucusuna yap lan iste in sistem log dosyas na kayd ,network link down mesaj ya da kullan c butona bast olaylar gibi Korelasyon ise farkl olaylar aras ndaki ili kiyi ortaya karma i lemine verilen add r. Olay Korelasyonu (Event correlation) olaylardaki bilgilerden daha anlaml ve yksek seviye bilgi kar m na verilen add r. rnek Senaryolar: y y y Ola anst durumlar tespit etmek, Bir sorunun kk nedenini (root cause) belirlemek, veya gelecekle ilgili tahminler yapmak ve e ilimleri analiz etmek .

Korelasyon teknikleri pek oktur. leride bu tekniklerle ilgili bilgiler verilecektir. Uygulama alanlar da ok e itlidir. y y y y y y Piyasa ve i letme veri analizi (rne in pazar e ilimleri tepiti), Algoritmik al m sat m (bir hisse senedi fiyat geli imi hakk nda tahminler yapmak gibi), Sahtekarl k alg lama (rne in bir kredi kart kullan m al kanl klar ndaki anormallik tespiti), Sistem log analizi (rne in benzer mesajlar gruplama ve nemli olaylar iletme) veya a ynetimi ve hata analizi (rne in bir a kk neden (root cause) tespit sorunu) Log Ynetimindeki yeri ise a zerindeki say s z olay lar aras nda birbiri ile ba lant l olanlar analiz ederek yneticiye daha anlaml bilgiler sa lamakt r.

OLAY VE KORELASYON LE LG L TERM NOLOJ

Her konuda oldu u gibi konunun daha iyi anla labilmesi iin terminolojinin bilinmesi gerekmektedir. Geri plan yordam (Deamon): Arka planda gelen isteklere cevap veren uygulama Olumsuz olay (incident): Dikkat edilmesi gereken geici anormal durum veya bilgi i leme sistemlerinde, gerek ya da potansiyel anlamda olumsuz etkisi olacak olay..Bir olumsuz olaydan birden fazla olay retilebilir.

Yanl kabul (False Positive) : Problem olmamas durumunu problem diye alg lama. Szlk anlam ise: statistiksel hipotez testinde bo varsay m do ru iken bo varsay m n n yads nmas hatas . Yanl Red Hatas (False Negative) : Problem olmas durumunun problemsiz olarak alg lanmas . Szlk anlam ise: statistiksel hipotez testinde bo varsay m do ru de ilken bunun kabul edilme hatas Olay Kayna (Event Source) :

Olay Hedefi (Event Sink): Mesela veritaban ve helpdesk sistemi Ham olay (Raw Event) : Log sistemine yaz ld format

Giri Olay (Input event) :Korelasyon safhas ndaki olay k olay (Output event) :Olay n Korelasyon motorundan kan hali Sonu olay (Derived event -Synthetic event)) : Korelasyon motoru taraf ndna retilen-Bir kurala ba l olarak- olay S k t r lm Olay (Compressed event) : Birden fazla ayn olay temsil eden ama di er olaylar iermeyen olay Komposit Olay (Composite event) :Korelasyon motoru taraf ndan retilen ve ham olay,sonu olay vs.. ieren st seviye olay Alarm (alarm - alert): retilen uyar mesajlar

Karma k Olay nceleme (Complex Event Processing -CEP ) ve Olaylar Ak m nceleme (Event Stream Processing)
Karma k Olay nceleme ve Olaylar Ak m nceleme ayna manaye geliyormu gibi alg lanan ve birbirlerinin yerine kullan lan iki farkl konsepttir.Ve konseptler korelasyon yntemleri ieriisnd enemli yer tutarlar Karma k Olay nceleme (Complex Event Processing -CEP ) Kurumsal olay inceleme byk miktardaki olaylar kontrol edecek, ynetecek ve gerek zamanda optimize edecek teknolojilere verilen add r. CEP metodlar hep korelasyonun ierisinde kar la lan terimlerden biridir ve korelasyonla ilintilidir.Pek ok ticari ve a k kaynak kodlu CEP motoru mevcuttur.[5]
y y y y y y y y y y y y y

Aurora (Brandeis University, Brown University and MIT) Borealis (Brandeis University, Brown University and MIT) Cayuga (Cornell University) ETALIS (Forschungszentrum Informatik Karlsruhe and Stony Brook University) Global Sensor Networks (EPFL) NiagaraST (Portland State University) PIPES (University of Marburg) SASE (UC Berkeley/UMass Amherst) STREAM (Stanford University) Telegraph (UC Berkeley) epZilla (University of Moratuwa) ACAIA.org Acoustic Event Detection (AED) (Acoustic Computing for AI/AmI Applications) http://www.streamcruncher.com/

Olaylar Ak m nceleme (Event Stream Processing) Olay Ak m nceleme srekli ak halindeki verileri gerek zamanl i lemeye verilen add r y y y http://wiki.open-esb.java.net/Wiki.jsp?page=IEPSE https://github.com/nathanmarz/storm http://esper.codehaus.org/

Gvenlik Olaylar Kay t Sistemi (SIEM SIM)

Olay Ynetim zm merkezi olarak kay tlar n toplanmas ve incelenmesini sa layacak sistemin kurulamas n hedefleyen yap ya verilen isimdir.En nemli bile eni korelasyon motorudur. Literatrde SEM, SIM, CSEM, CIEM, ve ESM k saltmalar yla ifade edilen zmlerde asl nda ayn amac i arte etmektedir. Gvenlik Olaylar Kay t Sistemi (SIEM) kullan larak, bilgi sistemlerinin de i ik katmanlar nda al an cihaz ve yaz l mlara ait gvenlik kay tlar n n izlenmesi sa lanmaktad r. [6]

Mevcut Korelasyon Yntemleri

Korelasyon Motoru zellikleri

Bir korelasyon motorununu bilgi gvenli i ve log ynetimi a s ndan de erlendirirken ncelikle olarak bu alana Domain Awareness zell etirilmi olup olmad na bakmak gerekir. Daha sonra kendi kendine renebilen bir sistem mi yoksa mevcut sizin d ar dan kural yazmak ya da benzeri yntemlere veri mi girmeniz gerekiyor Self-Learning vs. External Knowledge ona bak l r. Sistemin gerek zamanl olarak m al t yoksa kaydetti i veriler zerinden mi i lem yapt son derece kritiktir. yani haf za kullan p

Di er ok nemli bir zellik durum bilgili (Stateful ) ya da durum bilgisiz (Stateless) olup olmad kullanmad ok ok nemlidir.

Sistemin aktif mi pasif mi oldu u ok nemlidir.rnek olarak kar m kurallar na firewallda x sunucusunun ok trafik ol turdu ununtespit ediyorsan zerindeki uygulamar n listesine de bak denebiliyor mu yoksa sadece gelen loglardan m i lem yapabilmektedir. Sistem da t k m merkezi mi al maktad r? Varsay lan politika (Default policy) destekliyor mu?.Mesela hibir kurala uymazsa logu sil gibi. Veri kayb na sebep oluyor mu? Transparan m ?. Kullan c ayn kar m kendisi de olu turam yorsa (Benzer loglar gndererek vs..) tek ans motoro gvenmektir ki bu da istenmeyen bir durumdur. Grbzlk .Sistem daha nceden hi kar la mad durumlarla kar la rsa bunu ynetebilmeli

Ynetilebilirlik.Sistemin a k bir yap da olmas , standart bir kural yaz m ya da veri giri format n n olmas ve esnek bir bir kural yaz m ya da veri giri format n n olmas gerekir. Bilgi Seviyesi. Korelasyon motorunun ok derin bir bilgiye ihtiyac n n olup olmamas da nemlidir. Korelasyon Motoru Operayonlar

S k t rma:Birden ok ayn olaya teke indirme Lojik Operatr Deste i:Korelasyon motorunun btn lojik operatrleri desteklemesi byk avantaj Kurgulama: (Aggregation): Birden fazla olay tek olay eklinde ifade edebilme. Filtreleme:Belli zelliklerdeki olaylar n korelasyona sokulmamas

Bast rma (Suppression): Baz olaylar oldu unda di er baz olaylar dikkate almama olarak a klanabilir. Maskeleme: E er router a ula lam yorsa arkas ndaki hosttan gelen unreachable olay n dikkate almama olarak a klanabilir. E ikleme:Belli bir say da olay olmas yada olmamas durumunda olay retebilme zelli i Limitleme: Artma: Olay n belirli parametrelerini artt rma.Mesela nem derecesi Zamansal li ki (Temporal Relationship): Belli bir zaman dilimi ierisinde belli say da olay n olu up olu mad takibi Genelle tirme: Daha genel bir olaya dahil etme.Olay n skopunu geni letme zelle tirme: Genele tirmenin tersi Grupland rma:karma k rntlerden yeni olaylar olu turma nn

Korelasyon Teknikleri

Sonlu Durumlu Makine (Finite State Machine-FSM): S n rl say da durumdan, durumlar aras gei lerden ve eylemlerin birle mesiyle olu an davran lar n bir modelidir Kural Tabanl (Rule Based-RBR): Kural tabanl sistemlerin genel amac , belirlenen kurallar yoluyla yksek miktardaki verinin filtrelenmesi ve indirgenen verilere karar vericilerin eri imini sa layarak aksiyon almalar n n sa lanmas d r. Durum Tabanl karsama(CBR): u anki bir problemi ozmek iin nceden kar la lan problemlerden yararlan lan sistemdir.Di er bir deyi le Gemi te ya anm vey aya anmakta olan bir olay n verilecek kararlar iin kullan lmas d r Model Tabanl kar m (MBR):Sistemin yap s na ve davran lar na gre Kod Tablosu Tabanl kar m(Codebook Based Correlation): Problemin lokalizasyonu iin gzlemlenebilir belirtileri ve alt nda yatan problemlerin birbiriyle ili kisi analiz edilir ve uygun bir belirtiler alt kmesi seilir buna da "codebook" denir [7] Oylama Yakla m (Voting Approaches) : Her eleman zel bir konuda gr ifade etmelidir. Sonra, bir o unluk kural (rne in salt o unluk ya da k-o unluk) (yani oy) gr leri bu sette uygulan r. Belirgin Hata Lokalle tirme (Explicit Fault-localization): Alarmlar gvenilir ve a da sadece tek bir hata oldu u durumda ar za tespiti basittir: Hata her alarm taraf ndan belirtilen kmelerin kesi ti i yerde yatar. Bylece, sezgisel olarak, ortak bir kesi im payla an alarmlar kore edilmelidir.

Ba ml l k Grafikleri: Ba ml l k grafi i ynetilen nesneler aras ndaki ba ml l klar modelleyen ynlendirilmi grafiklerdir. Bayesian Network: Bir Bayesian a rasgele de i kenler taraf ndan temsil edilen ebeke elemanlar aras ndaki olas l ksal ili kilerin modeller ynlendirilmi bir rastegele grafiktir Yapay Sinir A lar (ANN): Yapay sinir agi; insan beyninin sinir hcrelerinden olusmus katmanli ve paralel olan yapisinin tm fonksiyonlariyla beraber sayisal dnyada gereklenmeye alisilan modellenmesidir. Sayisal dnya ile belirtilmek istenen donanim ve yazilimdir. Bir baska ifadeyle yapay sinir agi hem donanimsal olarak hemde yazilim ile modellenebilir. Bu baglamda, yapay sinir aglari ilk elektronik devreler yardimiyla kurulmaya alisilmis ancak bu

girisim kendini yavas yavas yazilim sahasina birakmistir. Bylesi bir kisitlanmanin sebebi; elektronik devrelerin esnek ve dinamik olarak degistirilememesi ve birbirinden farkli olan nitelerin biraraya getirilememesi olarak ortaya konmaktadir Genetik Algoritmalar: Genetik algoritmalar, do ada gzlemlenen evrimsel srece benzer bir ekilde al an arama ve eniyileme yntemidir. Karma k ok boyutlu arama uzay nda en iyinin hayatta kalmas ilkesine gre btnsel en iyi zm arar. Genetik algoritmalar, do al seim ilkelerine dayanan bir arama ve optimizasyon yntemidir. Bulan k Mant k: Bulan k mant n temeli bulan k kme ve alt kmelere dayan r. Klasik yakla mda bir varl k ya kmenin eleman d r ya da de ildir. Matematiksel olarak ifade edildi inde varl k kme ile olan yelik ili kisi bak m ndan kmenin eleman oldu unda (1) kmenin eleman olmad zaman (0) de erini al r. Bulan k mant k klasik kme gsteriminin geni letilmesidir. Bulan k varl k kmesinde her bir varl n yelik derecesi vard r. Varl klar n yelik derecesi, [0,1] aral nda herhangi bir de er olabilir ve yelik fonksiyonu M(x) ile gsterilir . Yukar daki teknikleri bir arada kullanan teknikler vard r.Bu tekniklere hibrit teknikler denir.

Korelasyon Yntemlerinin Kar la t rmas

FSM Avantajlar: Basit bir sistem, anla lmas ve modellenmesi ve uygulanmas kolay Dezavantajlar: Gerekuygulamalar ii n ok basit, Kompleks problemleri adreslemekte zorlan r ve grlty gideremez. RBR Avantajlar: Btn domainlere uygulanabilir,Do al dile yak n bir dil, modler ve problem modellemesi ok kolay Dezavantajlar: Bak m tutumu zaman al r, eski tecrbelerden renemez ve grbz de il CBR Avantajlar: eski tecrbelerden renebilir Dezavantajlar: Otomatik olarak zme adapte edilmesi ve yeniden kullan lmas ok zor MBR Avantajlar: ok derin bilgi ve tecrbe kullan r Dezavantajlar: Yap n n kurulmas ve tan mlanmas ok zor Kod Tablosu Tabanl kar m -Codebook Avantajlar: H zl ,grbz ve topoloji de i iklikleirne kolay adapte olabilir Dezavantajlar: Kullan c taraf ndan davran lar n retilmesi ok s k c bir sre ayr ca zaman mefhumu yok Oylama-Voting Avantajlar: Da t k sistemler iin ok uygun Dezavantajlar: Topolji ile ilgili bilgi gerektirir Explicit Fault Avantajlar: Kural tabanl dan daha etkili ve geni letilebilir Dezavantajlar: ok ciddi bir n bilgi gerektirir

Ba ml l k Grafikleri - Dependency Graphs Avantajlar: Dinamik ve komplex sistemler iin birebirdir. Dezavantajlar: bir anda sadce bir olayla-problemle ilgilenebilir Bayesian Networks Avantajlar: En iyi teorik altyap

Dezavantajlar: Olas l ksal kar m NP-Zor (NP-hard) Yapay Sinir A lar -ANN Avantajlar: nsan beyni taraf ndan zlen problemlere uygun Dezavantajlar: ok fazla i lem gc gerektirir.Ayr ca davran anlamak zor Yukar daki avantaj ve dezavantajlar analiz edilerek korelasyon motorundan beklenen zellikler: y y y y y y y y y y y y y y Haf zada Korelasyon Yapabilme. Tek Kaynak Korelasyon Kurallar . oklu Kaynak Korelasyon Kurallar . Negatif Condition Kurallar . Context Base Korelasyon. Hiyerar ik Korelasyon. ok esnek kural olu turma yap s . Rule Base. Complex Event Processing(CEP). Forward Chaning. Backward Chaining. Fauna ayn zamanda veri taban n zdaki yk azaltmak ve kritik olay verilerinin al m n h zland rmak iin bellek ii korelasyon kullan r. Kural olu turma ve kural yazma yntemleri uluslararas formatlarda olmas . st seviye bir programlama dili ve/veya script dili deste i korelasyon motoru iin byk avantajd r.

Btn bu zellikleri kapsamas en kolay olan ve Bilgi Gvenli i Sistemleri domainine uygulanabilecek olan Kural Tabanl sistmlerdir.A a daki ticari uygulamalar n o unlu u kural tabanl sistemleri tercih etmi lerdir.

A k Kaynak Kodlu Korelasyon Motorlar ve Korelasyon Motorlar eren rnler

A a daki rnler a k kaynak kodlu olarak bulunabilecek rnlerdir. y y y y y y y y y y y y y y y y y y SWATCH[8] LogSurfer[9] SEC[10] OSSEC[11] Prelude[12] OSSIM[13] Drools[14] Esper[15] OpenSIMS[16] Graylog[17] LogStash[18] Snare[19] ProjectLasso[20] Syslog-NG[21] LogZilla[22] LogWatch[23] LogReport[24] Log2TimeLine[25]

Ticari Korelasyon Motorlar ve Korelasyon Motorlar eren rnler

A a daki ticari rnler korelasyon yetene ine sahip rnlerdir. y y y y y y y y y y y y y y RuleCore:Kural Tabanl bir sistem.[26] IBM Tivoli Enterprise Console: Kural Tabanl bir sistem ve prolog kullan yor[27] HP Event Correlation Services: Kural Tabanl bir sistem olmakla birlikte Event Condition Action desteklemez [28] Splunk: SQL e benzer sadece kendisine zel bir yntem uyguluyor.[29] Novell Sentinel:Esper tabanl CEP motoru. [30] Q1Labs:zel bir irket taraf ndan geli tirilen kural tabanl bir motor kullanmaktad r.[31] Trigeo. Kural tabanl kendi patentini ald zel bir motor.[32] NitroSecurity: zel bir irket taraf ndan geli tirilen kural tabanl bir motor kullanmaktad r. Tenable Log Correlation Engine.[33] ArcSight SIEM Platform. li kisel Olarak yile tirilmi Koruma ve Alma Motoru'nu (CORR-Engine) kullanan ilk SIEM rndr [34] Symantec Security Information Manager. Kural Tabanl bir sistem. [35] RSA Envision. Kural Tabanl bir sistem. [49] Loglogic. Kural Tabanl bir sistem. [52] ANET Yaz l m FAUNA: Kural tabanl RETE algoritmes n n uygulamas . [36,50,51] JSR 94 standard n da desteklemektedir[2,57]

Yukar daki listeye Trkiyeden sadece ANET Yaz l m taraf ndan geli tirilen FAUNA rn girmi tir.Bunun sebebi bu al ma yap ld nda FAUNA hari hibir yerli rnn Korelasyon teknikleri ile ilgili uydu u standartlar, uygulanan algoritma(lar ) ve korelasyon motoru detaylar n internet ortam nda veya genel ula labilir ekilde a klam olmamas d r.Sadece ANET yaz l m taraf ndan retilen FAUNA nn detaylar na ula labilmektedir.[36,46,47]. ANET Yaz l m 2003 y l ndan beri Fault Management konular nda AR-GE al malar yapmakta olup[48] Kural Tabanl RETE algoritmes n n uygulamas n geli tirmi lerdir.

JAVA KORELASYON MOTORLARI

Java[38] dnyada en ok korelasyon motoru geli tirilen programlama dilidir.A a da baz java tabanl uygulamalar bulabilirsiniz. y y y y y y y Java based Rule Engine[39] TermWare[40] OpenRules[41] SweetRules[42] Mandarax[43] Hammurapi[44] DTRules[45]

Kaynaka
[1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] http://en.wikipedia.org/wiki/Event_correlation http://en.wikipedia.org/wiki/JSR_94 http://en.wikipedia.org/wiki/Complex_event_processing http://www.cs.brown.edu/research/aurora/ http://www.complexevents.com/2008/08/31/event-processing-glossary-version-11/ http://en.wikipedia.org/wiki/SIEM http://en.cnki.com.cn/Article_en/CJFDTOTAL-CCYD200904016.htm http://swatch.sourceforge.net/ http://www.crypt.gen.nz/logsurfer/. http://kodu.neti.ee/~risto/sec/., http://simple-evcorr.sourceforge.net/ http://www.ossec.net/main/supported-systems.

[12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60]

http://www.prelude-technologies.com/en/development/documentation/compatibility/index.html http://www.alienvault.com/community http://www.jboss.org/drools/ http://esper.codehaus.org. http://opensims.sourceforge.net/ http://graylog2.org/ http://logstash.net/ intersectalliance.com/projects/index.html http://sourceforge.net/projects/lassolog/ http://www.balabit.com/downloads/files/syslog-ng/sources/ http://code.google.com/p/php-syslog-ng/ http://sourceforge.net/projects/logwatch/files/ http://www.logreport.org/ http://log2timeline.net/ http://www.rulecore.com/ http://www-01.ibm.com/software/tivoli/products/enterprise-console/ http://www.openview.hp.com/products/ecs/. http://www.splunk.com/ http://www.novell.com/promo/slm/slm25.html www.q1labs.com/products http://www.trigeo.com/ http://www.tenable.com/products/tenable-log-correlation-engine http://www.arcsight.com/products/ www.symantec.com/business/security-information-manager http://www.anetyazilim.com.tr/Downloads/Fauna/Tr/Fauna_Datasheet_2.pdf http://www.softpanorama.org/Admin/Event_correlation/ www.java.com http://www.jeops.org/ , http://sourceforge.net/projects/jeops/ http://www.gradsoft.ua/prodprice_eng.html http://openrules.com/ http://sweetrules.projects.semwebcentral.org/ http://code.google.com/p/mandarax/ http://www.hammurapi.biz/hammurapi-biz/ef/xmenu/hammurapi-group/index.html http://dtrules.com/wiki2/index.php?title=Downloads http://www.olympos.net/belgeler/siem/fauna-kural-motoru-29121322.html#axzz1mjfz81Qx http://www.docstoc.com/docs/112420968/FAUNA-Korelasyon E. Akbas, "System Independent And Distributed Fault Management System", The Eighth IEEE Symposium on Computers and Communications,30 June-3 July 2003, Antalya, Turkey., http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=1214302 http://www.rsa.com/node.aspx?id=3170 http://www.anetyazilim.com.tr/fauna/4/286/1/1/ http://en.wikipedia.org/wiki/Rete_algorithm www.loglogic.com Andreas Muller,Event Correlation Engine, Institut fr Technische Informatik und Kommunikationsnetze,2009 http://en.wikipedia.org/wiki/ILOG http://www.jessrules.com/ http://www.oracle.com/technetwork/middleware/business-rules/overview/index.html http://jcp.org/en/jsr/detail?id=94 Anatomy of a Security Operations Center, By John Wang, NASA SOC Afsaneh Madani, Saed Rezayi and Hossein Gharaee,Log Management comprehensive architecture in Security Operation Center(SOC) Jianqing Zhang,Outsourcing Security Analysis with Anonymized Logs