Обрада великих количина

података

Аутор:
Михаило Жуевић и Ана Лазовић
Увод
 Интернет је огромно место
 Просечан паметни телефон генерише око 40 ексебајта
(40 x 1018 бајта) сваког месеца
 На свету има око 5 милијарди активних паметних
телефона
 Оволика количина података превише је велика за
уобичајене методе складиштења, због чега се то назива
Велика Количина Података (Big DATA)
Big DATA
 Према подацима пре пландемије, на интернету се
сваког минута:
 Подели 2,1 милион снепова
 Обави 3,8 милиона претрага на Гуглу
 На Фејзбук улогује милион људи
 На Јутјубу одгледа 4,5 милиона снимака
 Пошаље 188 милиона мејлова
 Све ово претставља сумануто велике количине података
5В
 Као помоћну алаткку при класификовању тога шта
спада у Big DATA а шта не, користимо “5В” метод, који
подразумева:
-Волумен
-Велоцитет
-Варијетет
-Верификованост
-Вредност

 Сваки од ових појмова можемо објаснити на нивоу

здравственог сектора као пример
Волумен
 Волумен представља запремину коју заузима дȃта
количина података
 Болнице и клинике генеришу огромну запремину, у
износу од око 2,314 ексебајта
Велоцитет
 Велоцитет је брзина којом се подаци преносе, што у
случају Big DATA мора бити изразито велика брзина,
због саме количине података
 У то у суштини спада колико ће брзо тих 2,314
ексебајта бити пренесено, што је приближно брзини
светлости, са износом од 299792 km/s
Варијетет
 Осим свега овога, Big DATA мора бити и разнолика,
што и није толико тешко када се узме сушта количина
података
 Разноликост се дели на
-структурисане податке (ексел записи)
-полу-структурисане податке
(евиденције) -
Пулу-структурисани подаци
неструктурисане податке (рендгенси зраци)
Структурисани подаци Неструктурисани подаци
Верификованост
 Поузданост података је такође изразито важна
 У случају да подаци нису поуздани, у суштини они су и
бескорисни
Вредност
 Вредност се односи на то колико и за шта су подаци
које обрађујемо корисни
 У случају медицине, подаци су примарно корисни за
раније детектовање болести, као и боље и јефтиније
лечење
Како чувамо и процесујемо Big DATA?
 За процесовање Big DATA постоје различити
Фрејмворкове (системе за управљање), попут:

-
hadoop
 Хадуп функционише по принципу раздељивања
фајлова

 Огромни фајлови се раздвајају, а потом смештају у

засебне пакете на различитим машинама

 Уз то, фајлови буду и копирани, тако да се налазе на

најмање две машине истовремено
hadoop
 Што се тиче процесовања, Хадуп користи MapReduce
систем

 Сложени задаци деле се на више машина, где свака

ради део задатка, истовремено, те паралелно дају готов
производ

 Захваљујући Паралелном Процесовању, читав процес

је знатно лакши и бржи
 Задатак 1

Задатак 2 Задатак 4
Задатак 3

Резултати
Паралелно Процесовање
Корист од Big DATA?
 Big DATA се користи на више начина
 Пре свега користи се за анализу, ма чега год то анализа
била
 На пример на нивоу маркетинга, рецимо у видео
играма, помоћу Big DATA ми можемо врло лако да
закључујемо шта треба да побољшамо код неког
производа како би он био примамљивији
 Овде се наравно доводи у причу и политика
приватности, као и крађа/продаја података, али то је
нека друга прича...
ХВАЛА НА
ПАЖЊИ!!!