Professional Documents
Culture Documents
Big Data Architecture
Big Data Architecture
(Raporlama/
Web Appl.)
Store Casandra: No SQL database. Hızlı fakat her tipte veriyi tutmaya
müsait değil. (DataLake: Datanın tutulduğu yer.)
(DataLake)
Message Queue
Nifi,verinin taşınması ürünü. Veri içerisindeki bazı bilgileri
DataFlow ayıklayıp, istediğimiz veriyi gönderebilmemiz için veri
içerisine kurallar koymak gerekiyor. (If/else konulabilir.)
(Process)
Makinaların desteklediği protokollere uygun bir çözüm seçeceğiz. OPC UA
Collect protokolü için Kepware bir tercih olabilir. Fakat Kepware ile makinadan veri
alabilmek için makina üzerinde lisans almak gerekiyor.
Data Sources
(Devices)
Spark, alıp proses ettiği veriyi makinanın bildiği
Process/ (Data protokolden geri gönderir.
Analyze Engineering)
Store
(DataLake)
Message Queue
DataFlow
(Process)
Collect
Data Sources
(Devices)
Data Engineering: Pipeline oluşturma, veri alma, raporlama
On premise/Cloud
AVANTAJI:
Çözüm veri çekilemeyen veya veri çekilebilmesi için
yatırım gerektiren cihazlardan veriyi Dizispy end.
Pcleri üzerinden alabildiği için fark yaratıyor.