Retele decalculatoare

Introducere inGridComputing
SabinCorneliu Buraga

http://www.infoiasi.ro/~busaco

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Asuccessfultoolisonethatwasusedtodo
somethingundreamtofbyitsauthor.
StephenC.Johnson

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Cuprins

Punerea problemei
Istoric
Arhitectura *
Tipuri deGrid
Implementari
Initiative&aplicatii
* Multumiri Lenutei Alboaie
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Introducere
Termenul Grid aaparut inanii 90
analogie curetelele electrice (powergrids)
Propunerepentruoinfrastructuradecalcul
distribuitdestinatainitialproiectelorstiintifice
siindustriale
Oferasuportpentrucautareasiregasirea
informatiilor,indiferentdelocalizarea lor fizica
Permite executarea detaskuri pe mai multe
masini,privite cauncalculatorunic
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Scopuri
Partajareaflexibila,sigura & coordonata
aresurselorintre colectiidinamicedeindivizi,
institutiisiresurse
Abilitateadeaformaorganizatiicolaborative
virtuale(virtualorganizations) eventual,
constituite dinamic partajind aplicatii& date
intrun mediudeschissieterogen
pentruarezolvamutualdiverseprobleme

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Scopuri
Abilitateadeaagregaunvolumconsiderabilde
resursecomputationale dispersategeografic
invederea solutionarii unor probleme complexe
Oinfrastructura hardware& softwarecareofera
accespermanent,ieftin,deoriunde,
inmaniera consistenta,laresursedecalcul
Omodalitatedeaprocesainmaniera distribuita
informatiiledisponibilein Internet

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Caracterizare

Tehnologii inrudite:
Peertopeer(P2P)
Clustercomputing
Internetcomputing
Webcomputing
Cloudcomputing

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Caracterizare

Resursa:
Entitate partajabila,existenta incadrulunuiGrid
Tipuri deresurse:
Decalcul:PDA,PC,statie delucru,server,cluster
Destocare:harddisk,RAID,SAN,
DetipI/O:senzori,retele,imprimante etc.
Logice:utilizatori,contoare detimp,

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Istoric

Generatia 1 proiectul Globus (Goble&Foster)

Aplicatii necesitind putere maredecalcul
Includeprotocoale (X.509,LDAP,FTP)si instrumente
dedezvoltare eterogene
Suport pentru accesul la&transferul defisiere
Foloseste tehnologiile Internet,dar ignora Webul
Dezvoltare inmedii academice
Partajarea resurselor serealizeaza viaGridFTP
Urmat deLegion,Condor,Unicore,
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Istoric
Generatia 2 OGSA
(OpenGridServicesArchitecture)
Aplicatii necesitind prelucrarea unor cantitati
mari dedate(dataintensive knowledgeintensive)
Locul centraleste luat deserviciile Web
GGF (GridGlobalForum)
Dezvoltare inmedii preponderent industriale
Numeroase implementari,inclusiv Globus Toolkit

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Istoric
Generatia 3 prezent &viitor
Oferirea deservicii specifice
pentru aplicatii bazate pe arhitectura Grid
Integrare deparadigme si tehnologii
privitoare lacalcul distribuit si paralel:
Agenti software
Servicii Web
Peertopeer
Wireless
Cloudcomputing
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Istoric
Generatia 3 prezent &viitor
Domenii deinteres:
Infrastructura
Arhitectura
Middleware
Programare
Aplicatii
Proiecte

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Arhitecturile Gridutilizeaza simultanunnumar
marederesurse(hardware,software,logice)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Aspecte privind partajarea resurselor Grid:
Identitate& autentificare
Autorizare& asocieri depoliticideacces(policy)
Descoperirearesurselor
Caracterizarearesurselor
Alocarearesurselor
Managementulresurselor
Contorizare,plata(billing),contracteprivitoare
laserviciileoferite ServiceLevel Agreement (SLA)
Securitate
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Arhitectura
Aspecte deinteres:
Interoperabilitatea
Oferirea unor servici debaza
punerea ladispozitie deservicii denivel inalt

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Interoperabilitatea
Recurgerea laprotocoale generice
Arhitectura Grid arhitectura protocolului
Arhitectura Grideste oarhitectura a
serviciilor utilizate,independenta deAPI
punct devedere impartasit deSOA
(ServiceOrientedArchitecture)
Inprezent,seapeleaza laservicii Web

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Ce servicii debaza trebuie oferite?
Numire (Naming)
Autorizare (Authorization)
Securitate (Security)
Confidentialitate (Privacy)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Ce servicii denivelinalttrebuieoferite?
Controlul activitatilor
fluxuri delucru (Workflows)
Tranzactii (Transactions)
Data/relationmining
Descoperirea cunostintelor
(Knowledgediscovery)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Necesitatea unei arhitecturi stratificate:

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura

Fabric
Furnizeaza resurse (decalcul,destocare,
cataloage,retea,)pentru careaccesul partajat
este mediat deprotocoalele Gridului
Ofera componente careimplementeaza
operatiile locale, specifice fiecarui tip
deresursa

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Connectivity
Nucleualprotocoalelordecomunicaresi
deautentificarepentrutranzactiilederetea
Servicii minimale pentru comunicare:
transport,dirijare si numire
Moduri deautentificare:
inscriere singulara (usersubscribe),delegare,
integrarea cusolutii desecuritate locala,
relatii bazate pe incredere (trust)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Arhitectura
Resource
Scop:definireadeprotocoale(+API/SDK)
pentrunegocierisigure,monitorizare,control,
contabilitatesiplataaoperatiilordepartajare
aresurselorindividuale
Protocoalele seconcentreaza asupra
resurselorindividuale,iarproblemelelegate
destareaglobalasuntignoratelaacestnivel

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura

Resource continuare
Utilizarea deprotocoale deinformare
Obtinerea informatiilor despre structura
si starea unei resurse:
configuratie,
incarcare,
politica deutilizare
...
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Arhitectura
Resource continuare
Protocoale deadministrare
Negocierea accesului laresursele partajate:
solicitari
(e.g.,calitatea serviciilor QoS,rezervare)
operatii
(e.g.,creare,accesare dedate,)
Instanierea relatiilor departajare
Monitorizarea/controlul starii unei operatii

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura
Collective
Ofera protocoale si servicii careprivesc global
resursele Gridului
e.g.,faciliteaza interactiunile dintre seturi deresurse
Poate implementa servicii departajare aresurselor:
Catalogare(directory)
Coalocare,planificare si intermediere
Monitorizare si diagnosticare
Replicare si descoperire
Colaborare

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Arhitectura
Application
Cuprinde aplicatiileutilizator careopereaza
pe baza arhitecturii Grid
Mediideprogramare+
bibliotecidenivelinalt
Exploatareasinergiei
dintreebusiness siserviciiGrid

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Protocoale &APIuri
Nivelulfabric includeprotocoalele&APIurile oferind
acceslaresurselepartajate
Viziune logica asupraresurselorsinuunafizica
Connectivity layer definesteprotocoaledebaza
pentru tranzactiidereteaspecificeGridului
ProtocoaleleInternetstandard
Protocoalevizindsecuritatea:
Grid Security Infrastructure (GSI)
autentificare,autorizare &protejare

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Protocoale &APIuri
Resource layer protocoalepentruinitierea
& controlulpartajarii resurselorlocale
Managementulalocarii resurselorGridului:
Grid Resource Allocation Management(GRAM)
alocarea,rezervarea,monitorizarea&
controluldeladistanta aleresurselor
GridFTP acces &transporteficient aldatelor
ServiciuldeinformareprivindresurseleGrid:
Grid Resource Information Service (GRIS)
acceslastructurasistarea unui nodalGridului
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Protocoale &APIuri
Nivelul collectivespecifica protocoaleoferind
serviciilaniveldesistempentruexploatarea
pescara larga aunuisistemGrid
Servicii deindexaresimetacatalogare
pentrustructurareasiaccesarearesurselor
Brokeri deresursepentru descoperirea si
alocarea resurselor conformcerintelor
aplicatiilor

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Arhitectura

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

Tipuri deGrid lanivelul localizarii

GlobalGrid
EnterpriseGrid
ClusterGrid

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

GlobalGrid
ReprezintaocolectiedeGriduri
detipenterprise sicluster,
plusalteresursedistribuitegeografic
peoarielarga continentsauplaneta
Politicadeutilizareglobala
Protocoalegeneraledepartajarearesurselor
Numitsiintergrid (IBM)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

EnterpriseGrid
Faciliteaza partajarea deresurse
intre maimultedepartamentesi colective
dincadruluneiorganizatii (virtuale)
Politici demanagementaresurselor
Numit si intragrid oricampusgrid
Incontextulextranet:ExtrapriseGrid

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

ClusterGrid
Reprezinta ocolectiedecalculatoareinterconectate
folosite(si vazute)caoresursa unica lanivelde
departament/grup
departmentalgrid(Sun)/infragrid (IBM)
Faceposibila utilizarealamaximaresurselorcolectiei
decalculatoare
(mainframeuri,PCuri,laptopuri,smartphoneuri,)
Cluster ansamblu decalculatoare dintrunLAN
careformeaza oresursa unica decalcul
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Tipuri

ClusterGrid
Alternative:
NOW(NetworksofWorkstations),
COW(ClustersofNetworksWorkstations)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

Categoriideclustere:
Clusterededicate
Constituite dinnoduri omogene
(procesor,OS,) rack deplaci debaza
Clustere deintreprindere
Eterogene,distribuite geografic,
controllimitat
Activitatile localeauprioritatemaimare
decatcelealeintreprinderii
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Tipuri
Categoriideclustere(continuare)
Clusterecyclesharing
Partajeazaciclurileprocesoarelor
Clustereadhoc
Create inmoddinamicpentrurezolvarea
unorproblemetranzitorii
Clustere mobile
Pur mobile(dispozitive mobile:telefon,
smartphone,laptop,palmtop,consola dejocuri,)
sau mixte (mobile+fixe)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri
Arhitectura unui cluster:

SSI=SingleSystemImage
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Tipuri
Aplicatii specifice clustercomputing:
Procesari intensive
(HPC HighPerformanceComputing):
calcul numeric
grafica computationala 2D/3D
(rendering e.g.,raytracing,shading,),
simulari (biocomputing,domeniul militar,)

clusterraytracing
lucrare delicenta:Silviu Homoceanu,2006
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Tipuri
Aplicatii specifice clustercomputing:
Cautarea distribuita deresurse
Aplicatii critice rulind intimpreal
Stocare distribuita aunui volum marededate+
depozite dedate(warehouses)
Divertisment deexemplu:jocuri online

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri
Implementare:Beowulf (aparut in2003)
Suport pentru constituirea declase declustere
(lowend/highend)
Calculatoarele potfi adaugate dinamic
Comunicare viaMPI(MessagePassingInterface)
Modeldeprogramare independentdeinfrastructura,
detehnologiile deretea sau decomponente
Noduri detipmaster(coordonatori)
si slave/worker (procesatori)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

Tipuri deGrid lanivelul logic

ComputationalGrid
InformationGrid
KnowledgeGrid

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri
ComputationalGrid
Niveldebaza,axatpeoferirea
deserviciidecalculsidatelascaralarga
Necesitateauneiinfrastructuri
pentrumonitorizareasicontrolul
resurselorvazutecaunansamblu
Rafinari:desktop grid,servergrid &
highperformance/clustergrid
Exemple:procesari grafice intensive
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Tipuri

InformationGrid
Permiteaccesuluniformlasurseeterogene
deinformatiisioferaserviciipublicedebaza
rulindperesursecomputationaledistribuite
Resurselecomputationalepotvaria
delasimpleinvocaridemetodeladistanta
panalaaplicatiisofisticate
Exemple:griduriindomeniulbioinformaticii
saustiintelorpamintului
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Tipuri

KnowledgeGrid
Nivelsuperioroferind(meta)servicii
specializatepentrudescoperireaderesurse
stocateindepozitedistribuite
sipentrumanagementulserviciilor
informationale
Metaserviciilepotficompusedinalteservicii

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri
Conformspecificuluiaplicatiilordisponibile
intrunGrid:
Arhitecturi multistrat (Ntiered)

Aplicatii rolebased
Aplicatii bazate pe servicii

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Implementari

OpenGridServiceArchitecture (OGSA)
extindeserviciileWeb
Controlul instantelor serviciilor Web
tranzitorii
Serviciile Websunt dependente destare
Managementul timpului deviata
aserviciilor (lifetimemanagement)
Existenta unei infrastructuri deschise:
OGSI (OpenGridServiceInfrastructure)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Implementari
ServiciileGridconstituitetrebuiesafie:
Dinamice si volatile multimi deservicii compuse
create,invocatesi eliminatedinzbor
Adhoc nuexista locatie centrala ori controlcentral;
nuexista relatii deincredere
Pe scara larga orchestrarea unui numar mare
deservicii (>100)trebuie realizata oricind
Disponibile,potential,pe termen lung
(e.g.,osimulare poate dura saptamini)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Implementari

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Implementari

Specificatiitehnice:
OpenGridServicesInfrastructure (OGSI)
Securitate,acces ladate,Javabindingetc.
Standardizate deGlobalGrid Forum

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Implementari

Globus Toolkit4
implementare dereferinta bazata pe OGSA
www.globus.org
varianta minimala:Glite
JavaGridCommodityKit (CoG) dezvoltatorul poate
evita interactiunea directa cuserviciile Globus
(executia joburilor prin GRAM,transferviaGridFTP,
descoperirea caracteristicilor resurselor etc.)
pyGlobus implementare Python

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Implementari

Instrumente oferite deIBM,Microsoft,NEC,

Oraclesi altii pentru UNIX/Linuxsau Windows
Alte proiecte:
AppleXGrid
SunGridEngine

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Initiative
GridPP (UKComputingGridforParticlePhysics)
ParteintegrantaaceluimaimareGrid dinlume:
LCG (LHGComputingGrid),
undeLHG=LargeHadronCollider (CERN,din2007)
LCGestecompusdinpeste5200CPUuri,
4000TBmemorie,rulind>5000detaskurisimultan

FacepartedincadrulproiectuluiEuroGrid
www.gridpp.ac.uk

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Initiative
FraunhoferGridAlliance
Scop:oferireaunuiGridcomputationalpentruacces
facillaresurseleGriduluiviaunportalWeb
BazatpeGlobusToolkit
Functioneazainmediulacademic&industrial
www.fhrg.fhg.de

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Initiative
JGrid
Framework pentru Griduri compuse dincomponente
hardware/softwarevazute caservicii
Sebazeaza pe tehnologia Jini infrastructura &model
programatic pentru crearea desisteme distribuite
dinamice inJava
Aplicatiile JGrid potfi dezvoltate viaPGrade
(mediu dedezvoltare grafic)
http://jgrid.jini.org/
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Initiative
Alchemi
Sistem Grid bazat pe .NETFramework
asigura interoperabilitatea cualte sisteme Grid
viaGridbus GridServiceBroker

utilizat incadrul proiectului DisMy sistem Grid

semanticbazat pe modelul decoordonare Linda:
AndreiIacob lucrare delicenta,2008

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Initiative
Exempledeaplicatii:
Vizualizarea3Dfotorealistica
Renderizare prin POVRay,datedistribuite viaGrix

Chirurgie vasculara virtuala

CrossGrid componentacheie:MigratingDesktop
http://www.crossgrid.org/

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Initiative
Exempledeaplicatii:
Rezolvarea problemelor deoptimizare
Proiectul TRACER (foloseste arhitecturi
caGlobus,Condor,Legion,SunGridEngine)
http://neo.lcc.uma.es/
Monitorizarea resurselor dintrunGrid GriW
Bazata pe paradigma SOA
Implementare multiplatforma
(Java,.NET,C#,JavaScript,SVG)
Lucrare delicenta aAlinei Sirbu (2008)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/
 Inlocdeconcluzii
Gridulreprezintaoaplicatiereala,
implicindunsetlargderesurseeterogene,
cuscopuldearealizacalculdeinalta
performantasaudeaoferiaccestransparent
launvolummaredecunostinteindiferentde
localizarealorincadrulretelelor/Internetului
Tehnologiile&aplicatiilepentruGrid implica
rezolvareaunorproblemedescalabilitate,
flexibilitate,performantasisecuritate

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Rezumat

Punerea problemei
Istoric
Arhitectura
Tipuri deGrid
Implementari
Initiative&aplicatii

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

 Intrebari?

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/