• GJIMNAZI “KUVDENI I JUNIKUT”-JUNIK

• Lënda:Teknologji
• Prof:Samir Jupa
• Nx:Elisa Gacaferi
• Kl-X-2
 TEMA.1
• Big Data Science and Foundations
• Novel Theortical Models for Big Data
• New Computational Models for Big Data
• Data and Information Quality for Big Data
• New Data Standards
 Big Data Science and Foundations

• Shkenca e të dhënave po drejton një revolucion në të gjithë botën që prek

gjithçka, nga automatizimi i biznesit te ndërveprimi shoqëror. Alsoshtë
gjithashtu një nga karrierat me rritjen më të shpejtë, më të dobishme,
duke punësuar analistë dhe inxhinierë në të gjithë globin. Ky kurs ofron një
pasqyrë të arritshme, jo teknike të fushës, duke mbuluar fjalorin, aftësitë,
vendet e punës, mjetet dhe teknikat e shkencës së të dhënave. Instruktori
Barton Poulson përcakton marrëdhëniet me fusha të tjera të ngopura me
të dhëna si mësimi makinerik dhe inteligjenca artificiale. Ai rishikon
praktikat kryesore: mbledhjen dhe analizimin e të dhënave, formulimin e
rregullave për klasifikimin dhe vendimmarrjen, dhe nxjerrjen e njohurive
vepruese. Ai gjithashtu diskuton etikën dhe llogaridhënien dhe siguron
drejtim për të mësuar më shumë. Në fund, ju do të shihni se si shkenca e
të dhënave mund t'ju ndihmojë të merrni vendime më të mira, të fitoni
njohuri më të thella dhe ta bëni punën tuaj më efektive dhe efikase.
 Big Data Science and Foundations

• Temat përfshijnë:
• Vlerësoni aftësitë e kërkuara për një karrierë në shkencën e të dhënave.
• Vlerësoni burime të ndryshme të të dhënave, përfshirë metrikat dhe API-të.
• Eksploroni të dhënat përmes grafikëve dhe statistikave.
• Zbuloni se si shkencëtarët e të dhënave përdorin gjuhë programimi si R,
Python dhe SQL.
• Vlerësoni rolin e matematikës, siç është algjebra, në shkencën e të dhënave.
• Vlerësoni rolin e statistikave të aplikuara, siç janë intervalet e besimit, në
shkencën e të dhënave.
• Vlerësoni rolin e të mësuarit makinerik, siç janë rrjetet nervore artificiale,
në shkencën e të dhënave.
• Përcaktoni përbërësit e vizualizimit efektiv të të dhënave.
 Novel Theortical Models for Big Data

• Abstrakt — Bazuar në modelin e matricës së rastësishme, ne mund të ndërtojmë

• modele statistikore duke përdorur grupe të dhënash masive në të gjithë rrjetin e energjisë,
• dhe të përdorin testimin e hipotezës për zbulimin e anomalisë. Së pari,
• Qëllimi i këtij punimi është të bëjë përpjekjen e parë për të aplikuar
• rezultatet e fundit të probabilitetit të lirë në nxjerrjen e analizave të të dhënave të mëdha,
• në veçanti bashkimi i të dhënave. Natyra e kësaj pune është themelore në
• që algoritme dhe mjete të reja analitike propozohen të shtrojnë
• mënyra për kërkimin e së ardhmes. Së dyti, duke përdorur analizën e re
• mjet, ne jemi në gjendje të bëjmë ndonjë zbulim në lidhje me anomalinë
• zbulimi që është shumë i vështirë për qasjet e tjera. Për më të mirën tonë
• njohuri, nuk ka raport të ngjashëm në literaturë. Së treti,
• si polinome lineare dhe jolineare të matricave të mëdha të rastësishme
• mund të trajtohet në këtë kornizë të re. Simulimet demonstrojnë
• e mëposhtmja: Krahasuar me linearitetin, jolineariteti është më shumë
• fleksibël në modelimin e problemit dhe më afër natyrës së
• realiteti. Në një farë kuptimi, disa polinome të tjera të matricës jolineare
• mund të jetë më efektiv për rrjetin e energjisë.
 Novel Theortical Models for Big Data

• minierave, linja jonë e kërkimit është e bazuar në të lartë-dimensionale

• statistikat. Me dimension të lartë, nënkuptojmë se grupet e të dhënave
• përfaqësohen në terma të matricave të mëdha të rastësishme. Këto të dhëna
• matricat mund të shihen si pika të dhënash në dimensione të larta
• hapësira vektoriale e matematikës - secili vektor është shumë i gjatë.
• Rastësia është kritike për një rrjet kompleks, të madh të energjisë
• e ardhmja që nga luhatjet e shpejta të tensioneve dhe rrymave
• janë kudo. Shpesh, këto luhatje shfaqin Gaussian
• vetitë statistikore [3]. Interesi ynë kryesor në këtë punim është që
• modeloni këto luhatje të shpejta, duke përdorur kornizën e rastit
• teoria e matricës. Algoritmet tona të reja janë bërë të mundshme për shkak të
• përparimet e fundit në probabilitetin e lirë.
 New Computational Models for Big Data

• BigData ka qenë një fjalë që prej disa viteve më parë. Sidoqoftë, cili është
saktësisht modeli përkatës (teorik) i kompjuterit? Çfarë mund të bëhet dhe nuk
mund të bëhet me një model të tillë? Këto janë pyetje që kërkojnë përgjigje.
Kohët e fundit, një model u propozua për të adresuar këtë çështje duke simuluar
një version të kufizuar të modelit PRAM. Në këtë punim, ne propozojmë një model
teorik të quajtur Master / Slave Multiprocesor (shkurt MSM) i cili është shumë i
ngjashëm me një sistem praktik duke përdorur MapReduce por me kufizime
shtesë të rëndësishme për përpunimin e BigData. Ky model kap disa nga vetitë më
të rëndësishme të modelit praktik të multiprocesorëve me kokërr trashë (CGM)
(në vend të PRAM). Idetë më të rëndësishme nën një model të tillë master / skllav
janë që edhe master mund të ketë vetëm një pjesë të vogël të të gjitha të
dhënave në përpunuesit e saj skllav në çdo kohë të caktuar, një sasi e madhe e
transmetimit të të dhënave midis skllavit nyjet konsiderohen të pamundura ose
shumë të kushtueshme, dhe një përpunues ekstra skllav, së bashku me të dhënat
që mbart, mund të integrohen lehtësisht në sistem për të mbështetur
shkallëzimin.
 New Computational Models for Big Data

• Nën një model të tillë që kap karakteristikat më të

rëndësishme të një sistemi praktik MapReduce,
disa probleme standarde, si klasifikimi, bëhen të
vështira për t'u zgjidhur. Më pas ne propozojmë një
model adaptiv MSM ku nyja master ka akoma
memorie të kufizuar pune, por një hapësirë ​të
madhe sekondare. Ne demonstrojmë se si këto dy
modele MSM mund të përdoren për të zgjidhur
disa probleme themelore kur vëllimi i të dhënave
është i madh.
 Data and Information Quality for Big Data
• Ky punim është i ndarë në dy pjesë. Në të parën, unë do të analizoj
shkurtimisht fenomenin e "të dhënave të mëdha" dhe do të argumentoj se
sfida e vërtetë epistemologjike e paraqitur nga epoka e zettabyte është modele
të vogla. Nën rrjedhat e vlefshme në oqeanin e të dhënave që ne po
grumbullojmë janë të padukshme për syrin e zhveshur nga llogaritja, kështu që
teknologjia më e mirë dhe më e mirë do të ndihmojë. Sidoqoftë, për shkak se
problemi me të dhënat e mëdha janë modele të vogla, në fund të fundit, loja
do të fitohet nga ata që "dinë të bëjnë dhe t'u përgjigjen pyetjeve" (Platon,
Cratylus, 390c). Kjo paraqet pjesën e dytë, në lidhje me cilësinë e informacionit
(IQ): cilat të dhëna mund të jenë të dobishme dhe të rëndësishme, dhe që ia
vlen të grumbullohen, kurohen dhe të kërkohen, në mënyrë që të shfrytëzohen
modelet e tyre të vlefshme (të vogla)? Unë do të argumentoj se mënyra
standarde e të parit të inteligjencës në kuptimin e përshtatjes për qëllimin
është e saktë, por duhet të plotësohet nga një metodologji e abstraksionit, e
cila lejon që IQ të indeksohet në qëllime të ndryshme.
Data and Information Quality for Big Data

• Ky hap themelor mund të ndërmerret duke adoptuar

një qasje bi-kategorike. Kjo do të thotë të bësh dallimin
midis qëllimit / eve për të cilin prodhohet një
informacion (qëllimi P) dhe qëllimit / eve për të cilin
konsumohet e njëjta informacion (qëllimi C). Një qasje
e tillë bi-kategorike nga ana tjetër lejon që dikush të
analizojë një larmi të të ashtuquajturave dimensione të
inteligjencës, të tilla si saktësia, plotësia,
qëndrueshmëria dhe afatet kohore. Unë do të tregoj se
qasja bi-kategorike u jep vizualizime të thjeshta për sa i
përket tabelave të radarëve.
 New Data Standards

• Përdorimi i standardeve e bën më të lehtë përdorimin e gjërave. Për

shembull, le të themi se keni nevojë për një bateri AAA për elektrikun tuaj. Ju
nuk keni nevojë të shqetësoheni për prodhimin e baterisë, pasi që të gjitha
bateritë AAA kanë të njëjtën madhësi - sepse ato prodhohen në një standard.
Ju nuk keni nevojë të shqetësoheni për marrjen e një marke specifike të
baterisë AAA, pasi të gjitha bateritë AAA do të punojnë në elektrikun tuaj.
• Byroja e Menaxhimit të Tokës vëren se "Standardet sigurojnë integritetin e të
dhënave, saktësinë dhe qëndrueshmërinë, sqarojnë kuptimet e paqarta,
minimizojnë të dhënat e tepërta dhe dokumentojnë rregullat e biznesit".
Përdorimi i standardeve të të dhënave lejon që agjencia të kalojë nga
skedarët e të dhënave "të bazuara në projekt" në skedarët e të dhënave "të
ndërmarrjes" - dhe anasjelltas. Me fjalë të tjera, të dhënat bëhen të
përdorshme për më shumë sesa vetëm projekti ose personi që krijoi të
dhënat, sepse ju e dini që të dhënat do të jenë në një format të pritur dhe ju e
dini se çfarë përfaqësohet nga të dhënat.
 New Data Standards

• Nëse grupe të ndryshme po përdorin standarde të ndryshme

të të dhënave, kombinimi i të dhënave nga shumë burime
është i vështirë, nëse jo i pamundur. Nëse kthehemi në rastin
kur kemi nevojë për një bateri për elektrikun tonë, nëse nuk
do të kishte standarde për bateritë AAA, atëherë nuk do të
ishim në gjendje të përdorim vetëm ndonjë bateri AAA. Duhet
të gjejmë një specifik për modelin dhe modelin tonë të
elektrik dore. Ju do të duhet të keni shumë grupe baterish
AAA në shtëpinë tuaj, një që funksionon për secilin artikull, në
vend të një grupi që funksionon në të gjitha rastet e
zbatueshme.