LOG YNETM ZMLERNN BAARI VE BAARISIZLIININ NEDENLER-1

Dr. Erturul AKBA

1 Log Yakalama ................................................................................................................................................. 2 SYSLOG Simulator ...................................................................................................................................... 2 Text Okuyucu ............................................................................................................................................. 2 EPS (Events Per Second) ............................................................................................................................ 2 Loglarn Kaydedilmesi (Storage) .................................................................................................................... 4 Log Sktrma............................................................................................................................................. 8 Log Kendini Eitleme (Replication) ............................................................................................................ 8 Log Yedekleme .......................................................................................................................................... 9 Log Arama (Log Search) ................................................................................................................................. 9 Ticari rnlerden rnek Arama Senaryolar ve sreleri ........................................................................... 9 Log Arama Alternatifleri .......................................................................................................................... 15 Proje Ekibi .................................................................................................................................................... 16

Keywords: Log Sktrma, Log Arama (Log Search) ,Replikasyon (Replication), Log kayb, Log Yedekleme, Big Data, SYSLOG Simulator, Log Simulator, EPS, Events Per Second, Bilgi Gvenlii, ISO 27001, Regulasyonlar, 5651 ,5651 Sayl Yasa, Log Storage, Log Ynetimi projelerinde karlalan problemler, Log ynetiminde yaplan hatalar, Log Arivleme,

Giri
Log ynetimi projelerinde genelde karlalan problemleri zetlemek gerekirse: o o o o o o o o Sistemin rettii verinin Log Ynetim yazlm tarafndan karlanamamas Log Ynetim Sisteminin EPS deerlerinin yeterli olmamas ve kullancnn bunun farknda olmamas Veri kayb Aranlan verinin bulunamamas Yedeklerden geri dnememe Arama kriterlerinin beklenen seviyede olmamas Raporlama yeteneklerinin ileride kacak ihtiyalara gre planlanmam olmas Loglarn eksik alnmas o Mail Server o WEB Server o FTP Server

2 o DC ve dier Serverlar vb.. Loglarn ksa sreli kaydedilmesi. o Satn almaya kadar ortam leklendirmesini ertelemek (EPS deerleri) o Sadece fiyatna bakp seim yapmak (En ok rastlana durumlardan biri) o Neleri log'lamanz gerektiini retici firmann size sylemesini beklemek o Hukuk ekibini gzard etmek o Arayz ok kullanl o yzden destee ihtiya yok vb.. Son 5 madde ayrca Anton Chuvakin'in Six MIstakes of Log Management makalesinde de ifade edilmitir. http://www.slideshare.net/anton_chuvakin/csi-netsec-2007-six-mistakes-of-log-management-byanton-chuvakin

Log Yakalama
Bir log ynetim sisteminin en nemli zellii gelen btn loglar yakalamak ve ilemektir. Sistemin bu zellii bir proje yaplrken neredeyse hi gz nnde bulundurulmamaktadr.

SYSLOG Simulator
Sistemlerin gnderilen btn loglar karlayp karlayamadklarn lmenin pek ok yntemi mevcuttur. En kolay yntemi bir SYSLOG Simulator kullanp saniyede belirlenen adette log gndermek ve bunun sistem tarafndan yakalanp yakalanmadna bakmaktr. Bunu yaparken sistemin ortalamann 2-3 katna belli tepe ( peak) zamanlarnda kabileceini de hesaba katp ona gre log gndermektir. rnek SYSLOG Simulatorler: http://www.theonesoftware.com/syslog_sender.php http://sourceforge.net/projects/nxlog-ce/?source=directory Ayrca bu konuda danmanlk hizmeti veren firmalar da mevcut

Text Okuyucu
Dier Bir yntem de byke bir text dosyay sisteme verip dosya satr says ile log yazlmndaki kayt saysnn eit olduu zaman gzetleyip performansn lmek.

SNIFFER KULLANIMI
tTcpdump , snoop veya wireshark benzeri bir yazlmla kontrol etmek

EPS (Events Per Second)

Saniyede ilenen olay demek olan bu parametre sektrdeki yazlmlarn byk bir kesimi tarafndan kullanlan bir parametredir. Aada birka hazr EPS hesaplama tablosu mevcuttur

3 http://www.netcerebral.com/log-management-planning-calculator/#more-125 Dier rnekler:

Loglarn Kaydedilmesi (Storage)

Aada pek ok raporda Big Data ve Search iin nerilen ve milyonlarca dolar ciro yapan firmalarla ilgili bir fikir oluturmas asndan alnan rnekleri grebilirsiniz. Companies, products, and technologies included in the Big Data Landscape: - Splunk, Loggly, Sumo Logic - Predictive Policing, BloomReach, Atigeo, Myrrix - Media Science, Bluefin Labs, CollectiveI, Recorded Future, LuckySort, DataXu, RocketFuel, Turn - Gnip, Datasift, Space Curve, Factual, Windows Azure Marketplace, LexisNexis, Loqate, Kaggle, Knoema, Inrix - Oracle Hyperion, SAP BusinessObjects, Microsoft Business Intelligence, IBM Cognos, SAS, MicroStrategy, GoodData, Autonomy, QlikView, Chart.io, Domo, Bime, RJMetrics - Tableau Software, Palantir, MetaMarkets, Teradata Aster, Visual.ly, KarmaSphere, EMC Greenplum, Platfora, ClearStory Data, Dataspora, Centrifuge, Cirro, Ayata, Alteryx, Datameer, Panopticon, SAS, Tibco, Opera, Metalayer, Pentaho - HortonWorks, Cloudera, MapR, Vertica, MapR, ParAccel, InfoBright, Kognitio, Calpont, Exasol, Datastax, Informatica - Couchbase, Teradata, 10gen, Hadapt, Terracotta, MarkLogic, VoltDB, - Amazon Web Services Elastic MapReduce, Infochimps, Microsoft Windows Azure, Google BigQuery - Oracle, Microsoft SQL Server, MySQL, PostgreSQL, memsql, Sybase, IBM DB2 - Hadoop, MapReduce, Hbase, Cassandra, Mahout

http://www.forbes.com/sites/davefeinleib/2012/06/19/the-big-data-landscape

http://mattturck.com/2012/06/29/a-chart-of-the-big-data-ecosystem/

http://www.informationdifference.com/

Log Sktrma
Pek ok ihtiyatan dolay loglar sktrmak gerekir. Mesela loglar yksek trafii olan sunucularda ok fazla yerde kaplar. Burada 2 nemli zellik vardr. o o Gerek zamanl log sktrma. Yani arivden ykleme ilemi yapmadan arama yaplabilecek loglarn sktrlarak saklanmas Ariv loglarnn sktrlmas

rnlerin byk bir ksm arama yaplacak verileri sktrmazken sadece arivi sktrmaktadr.

Log Kendini Eitleme (Replication)

Sistem zellikle reglasyonlar ve/veya kanunlar iin kullanlyorsa replikasyon zellii ne kar. Sistem gerek zamanl olarak loglarn bir kopyasn baka bir server, disk vs.. de tutabilirse eer mevcut sistemden meydana gelen bir problemde log kayb yaanmam olur

Log Yedekleme
Sistem replikasyon desteklemiyorsa bile en azndan yedeklenebilmelidir. Burada da yedeklerin alnma sresi ve geri dnme sre ve baars nemlidir. zellikle 100 lerce GB veri oluunca yedeklerin nasl alnd (mesela incremental ) ve nasl geri dnld nemlidir. Eer seilen rn ona gre tasarlanmad ise 10 GB larla veri ile 100 GB lar veri arasnda yedekleme baars asndan farkllk olma ihtimali yksektir.

Log Arama (Log Search)

Aada pek ok raporda Big Data ve Veri arama (Search) iin nerilen ve milyonlarca dolar ciro yapan firmalarn search hzlar ile ilgili bir fikir oluturmas asndan alnan rnekleri grebilirsiniz. Herhangi biri daha hzldr diye bir gr ortaya atmak bu almann konusu deildir.

Ticari rnlerden rnek Arama Senaryolar ve sreleri

Aadaki rnekler sadece bir fikir oluturmas asndan verilmitir. Fikir oluturmas asndan Bir fortinate firewalldan gelen SYSLOG paketleri dosyaya yazlrsa ortalama : 1 000 000 (bir milyon) satr 1 GB lk bir text (ASCII) dosya oluturmaktadr. rnek Arama Hzlar: http://splunk-base.splunk.com/answers/5987/is-there-any-way-to-speed-up-searches

10

http://splunk-base.splunk.com/answers/50503/reducing-time-taken-for-search-in-splunk-query

http://splunk-base.splunk.com/answers/36166/from-forwarder-to-index-to-search-is-taking-too-longroughly-10-to-15-minutes

11

http://splunk-base.splunk.com/answers/54306/reasonable-search-performance

http://splunk-base.splunk.com/answers/12559/searches-taking-long

12

http://splunk-base.splunk.com/answers/13354/slow-search-for-squid-for-a-30-days-report

13 http://www.slideshare.net/aungthurhahein/data-mining-column-stores

http://www.percona.com/docs/wiki/benchmark:ssb:start

14

http://www.mysqlperformanceblog.com/wp-content/uploads/2010/08/Infobright_Phase_1__Report.pdf 900 GB Data

15 http://www.mysqlperformanceblog.com/2010/01/07/star-schema-bechmark-infobright-infinidb-andluciddb/ 620 GB Data

Log Arama Alternatifleri

Pek ok arama alternatifi olan rn bulunabilir. Bu alternatifler Loglarn tamam anlk arama iin aktif veritabannda tutulan rnler: o Burada eer replikasyon ya da sk aralklarla yedek alnmazsa verinin kayb ihtimaline ka nlen alnmam olur o Ayrca arama dosyas byyecei iin arama hzlar artabilir Loglarn partionlar halinde canl veritabannda tutulmas: o Burada eer replikasyon ya da sk aralklarla yedek alnmazsa verinin kayb ihtimaline ka nlen alnmam olur o Partition yaps hzlandrma salayabilir Arivden loglar canl veritabanna aktardktan sonra arama o Canl veritabanna ykleme sresi overhead olarak eklenecektir. Yukardaki sistemlerin bir yada birkan ayn anda destekleyen sitemler.

Proje ihtiyalarna gre yukardaki alternatiflerin deerlendirilmesi gerekir.

16 rnek Bir Arama Kriteri: EPS : 5000 Dakika oluan log: 5000 X60 =300 000 (yzbin) Saatte oluan log=300 000 X60=18 000 000 (Onsekiz milyon) 10 Satte Oluan log = 18 000 000 X10= 180 000 000 (Yzseksen milyon) Yukardaki deerlere bakarak 5000 EPS log akna sahip bir sistemde 10 saate 180 milyon log olutuu ve dolays ile herhangi bir 10 saatlik aramann 180 milyon kayt arasndan olaca unutulmamal. Dolays ile son 1 ayda en ok social media da gezen kullanclarn listesi ve sralamas istendiinde Eer 5000 EPS lik bir ada bu sorgu yaplacaksa 18 000 000 x 24 x 30=12 960 000 000 (yaklak 13 milyar) kayt ierisinde arama , sayma ve sralama yaplmak zorunda olduu unutulmamal

Proje Ekibi
Bir log Ynetimi projesinde %60 rn etkiliyse %40 bu rn uygulayan ekip nemlidir.