Professional Documents
Culture Documents
Grid Računalni Sustavi - Kolokvij I
Grid Računalni Sustavi - Kolokvij I
podaci
razne vrste hardvera
procesni resursi
informacije o raspoloivim resursima
Pripadnou nekoj od VO korisnici lanovi neke organizacije osiguravaju prava na koritenje
resursa pod kontrolom te VO.
1.3.2 Pouzdanost i tolerancija pogreaka
Pretpostavimo da je korisnikov Job (posao) poslan na izvravanje. Posao alocira odgovarajue
resurse (vor na gridu) ovisno o dostupnosti i politici rasporeda (schedulling policy) grid
sustava. Pretpostavimo pad vora (crash) dok izvrava posao. Grid osigurava da se posao
automatski ponovo poalje nekom drugom dostupnom voru.
Data grid definiran je kao grid za upravljanje i dijeljenje velike koliine podataka. Moe se
koristiti u razne svrhe. Jedna od njih je da se povea brzina dohvata datoteka. Vie kopija
podataka moe biti distribuirano na razliitim geografskim pozicijama. Ako korisnik treba
podatke oni mogu biti dohvaeni s najblieg stroja koji dri podatke. Dalje, ako su neki od
strojeva u data gridu iskljueni, drugi strojevi pruaju rezervu. Ako se zna (monitoring) da
odreeni stroj ee dohvaa odreene podatke, oni mogu biti smjeteni na neki bliski stroj.
Oba primjera ilustriraju koncept virtualizacije. U prvom sluaju korisnik nita nije znao o
padu vora, a u drugom nije znao s kojeg stroja dohvaa podatke.
1.3.3 Balansiranje i dijeljenje promjenjivih resursa
Balansiranje i dijeljenje resursa su dva najbitnija aspekta upravljanja resursima u grid sustavu.
To omoguava ravnomjeran raspored zadataka na dostupne resurse. Pretpostavimo da je neki
dio grida preoptereen. Grid algoritmi rasporeivanja moe premjestiti neke od poslova na
dijelove sustava koji su manje optereeni. Sve je to opet transparentno za korisnika.
1.3.4 Paralelno procesiranje
Neki zadaci (task) se mogu razbiti u vie pod-zadataka, od kojih svaki moe biti pokrenut na
razliitom stroju. Npr. matematiko modeliranje, simulacija subatomskih estica, renderiranje
slika, 3D animacija. Takve aplikacije se mogu napisati da se pokreu kao neovisni zadaci i
rezultati pod-zadataka se kombiniraju kako bi se dobio eljeni izlaz. Meutim, ne mogu se svi
zadaci razbiti na takav nain. Moe postojati i ogranienje na koliko se pod-zadataka moe
razbiti neki zadatak, to limitira maksimalno poveanje performansi bez obzira na raspoloive
resurse. Stoga postoji ogranienje na vrste zadataka koje se mogu uspjeno izvravati u grid
sustavu.
1.3.5 Quality of Service (QoS) kvaliteta servisa
Grid se moe koristiti na nain da korisnik poalje zadatke na izvravanje i dobije izlazne
rezultate, a onda se korisniku naplauje koritenje resursa na osnovu neke metrike, poput
procesorskog vremena potrebnog za izvrenje zadatka. U takvim sluajevima gdje se vodi
neka vrsta raunovodstva za usluge pruene korisniku, korisnik oekuje i odreenu kvalitetu
servisa. To se specificira u service level agreement (SLA). SLA specificira minimalnu
kvalitetu servisa, dostupnosti, itd. , te cijene koritenja usluga. Moe se za odreenu cijenu
korisniku ponuditi i prioritet u izvravanju zadataka tj vii nivo QoS. Isto tako mogue je
izvriti rezervaciju resursa za velike poslove. rezervacijom se moe postii da grid u trenutku
pojave vaeg velikog posla, (preemptivno) prekine niz poslova u izvravanju te na osloboene
resurse rasporedi vae poslove. ini vam se da se ponavlja pria koja vai i za druge
distribuirane sustave. Ono to je novo u grid sustavima je da sve ovo treba funkcionirati za
korisnike ukljuene u viestruke organizacije te sa minimumom centralne kontrole.
2
1.5.5 OGSA-DAI
Open Grid Services Architecture-DataAccessandIntegration(OGSA-DAI) je projekt kojim
se nastoji razviti middleware za pristup i integraciju razliitih izvora podataka u grid
sustavima. To obuhvaa razliite sustave pohrane npr. relacijske i XML bate podataka. Preko
OGSA-DAI web servisa mogu se dohvaati, mijenjati i transformirati podaci na
standardiziran nain bez obzira na format pohrane.
1.6 Kratak pregled Grid projekata
Razvoj grid projekata potaknut je s ciljem rjeavanja raznih znanstvenih problema koji
zahtijevaju velike raunalnih resursa kao i to generiraju velike koliine podataka. Npr.
CERN je pustio u pogon jedan od najveih znanstvenih instrumenata Large Hadron Collider
(LHC). Ovaj ureaj u svakodnevnom radu generira ogromne koliine podataka koje treba
pohraniti, obraditi i opet pohraniti rezultate obrade. Radi se o koliini obrade i podataka koju
ni jedan super-raunalo ne moe obraditi. Zato je odabrana grid arhitektura (kao virtualno
super-raunalo!). LHC je potaknuo niz istraivakih projekata diljem Europe. U Americi je
vie panje posveeno Gridu kao openitoj strukturi za raunalne probleme. Globus projekt je
producirao Globus toolkit koji se iroko koristi za konstrukciju grid sustava. rasporeiva
poslova razvijen u okviru Condor projekta dao je znaajan doprinos HPC-u. I u drugim
dijelovima svijeta radi se na znaajnim grid projektima.
1.6.1 Ameriki projekti
Globus projekt uglavnom se bavi tehnologijama vezanim za grid infrastrukturu te
izdaje i odraava skup softverskih alata Globus toolkit (GT). GT sadrava slojevit niz
grid alata potrebnih za realizaciju osnovnih servisa vezanih za sigurnost, otkrivanje
resursa, upravljanje resursima, komunikaciju, itd. U posljednjim verzijama zasnovan
je na web servisima.
Open Science Grid(OSG) je Amerika grid infrastruktura za znanstveno istraivanje.
U okviru OSG organizirana je ogromna koliina raunalnih i sustava pohrane
podataka. Trenutno obuhvaa 50-ak lokacija irom SAD, Azije i June Amerike.
Sastoji se od dva grid sustava. Integracijskog grida i Produkcijkog grida. Integracijski
grid namijenjen je znanstvenoj zajednici te razvoju aplikacija i servisa. Produkcijski
grid namijenjen je industriji i osigurava stabilno procesno i okruenje za pohranu
podataka. Produkcijski servisi su Computing Element (CE), Storage Element (SE),
Virtual organization (VO), Membership service i Service Catalouge.
TeraGrid je grid sustav koji se sastoji od high-end raunalnih i resursa pohrane
podataka distribuiranih na 7 lokacija. Za taj sustav razvijen je poseban softver nazvan
Common TeraGrid Software Stack (CTSS). CTSS je instaliran na svim raunalima to
osigurava homogenost servisa potrebnu za odreene grid aplikacije.
1.6.2 Europski projekti
EGEE (Enabling Grids for E-sciencE) je projekt koji nastoji osigurati raunalne
resurse kako za akademsko istraivanje tako i za industriju. EGEE grid je tzv.
worldwide grid te korisnici nisu limitirani geografskom lokacijom. Trenutno EGEE
osigurava stabilnu i robusnu grid infrastrukturu (>30000CPU, >5PB za pohranu
podataka), te obuku korisnika. Ovaj grid se koristi za razliite namjene. Trenutno
aplikacije se mogu podijeliti na dva podruja. fizika visokih energija (HEP) i
biomedicina.
D-Grid inicijativa je Njemaka grid platforma. Orijentirana je prvenstveno na
znanstvenu zajednicu tj. procesiranje i pohranu znanstvenih podataka.
procesora kroz AMD-V i Intel VT poboljanja procesora. Ona omoguuju da se pojedini CPU
pozivi/naredbe ne prolaze kroz hypervisor ve direktno izvode na CPU-u. To smanjuje
optereenje hypervisora i time podie performanse sustava.
Paravirtualizacija Gostujui operacijski sustav je dizajniran na nain da je svjestan
virtualizacije. Jezgra operacijskog sustava je podeena da zamijeni instrukcije koje se ne
mogu virtualizirati unutar jezgre s metodama koje direktno meudjeluju s hypervisorom.
Vrijednost paravirtualiziranih sustava je u manjim dodatnim kanjenjima a time mogunosti
optimalnijeg izvoenja operacija. Paravirtualizaciju obino susreemo u Linux okolini u vidu
Xen kernela.
1.1.1 to je to hypervisor
Softver za virtualizaciju kojeg nazivamo hypervisor emulira raunalni hardver dozvoljavajui
da se na jednom raunalu pokree vie operacijskih sustava. Svaki gostujui OS ima utisak da
posjeduje vlastiti procesor, memoriju i ostale resurse.
i Oracle VirtualBox. Oni se instaliraju kao aplikacija unutar OS. Tip 2 hypervisori imaju
prednost da preko pogonitelja operacijskog sustava mogu imati podrano vie I/O tipova
ureaja nego je to sluaj s Tip 1 hypervisorima. Zbog izvoenja operacija na hardveru kroz
OS performanse su 70-90% u odnosu na direktno izvoenje.
Tip 1 Tip 1 hypervisori su instalirani direktno na hardver (bare-metal), slino kao to se OS
instaliraju na pojedinani server. Zbog direktne komunikacije hypervisor-hardver , kanjenja
su mala i samim time bolje performanse. Primjeri Tip-1 hypervisora su: VMware ESXi,
Microsoft Hyper-V i Citrix XenServer. Hypervisor treba biti usklaen s hardverom pa je
mogue da ga nije uvijek mogue instalirati na svaki stroj. Podrava vei broj VM po
fizikom CPU nego to je to sluaj kod Tip 2 hypervisora. Performanse variraju od 85-98% u
odnosu na direktno izvoenje.
1-1
14
memorijom nastavilo izvravanje bez potrebe za zaustavljanjem ili ubijanjem procesa. Procesi
na raunalu vide swap memoriju kao dodatno adresabilnu memoriju i ne razlikuju je od
glavne RAM memorije. Operacijski sustav brine se da se prvenstveno koristi puno bra RAM
memorija. Intenzivno koritenje swap memorije predstavlja znaajnu degradaciju sustava.
Pisanje na disk, ak i SSD disk, daleko je sporije od radne memorije.
Velika propusna mo i niske latencije specijaliziranih mrea omoguavaju koritenje
virtualizacije memorije. To su tehnologije poput InfiniBand ili veza u klasterima. Remote
Direct Memory Access (RDMA) koristi se za daljinski pristup memoriji raunala bez
neeljenih interferencija. RDMA postaje jo jedna sekcija adresabilne memorije za raunalo.
Brzina je daleko vea od swap datoteke. Kako se budu sve vie koristile 10Gb veze tako e
RDMA postajati sve znaajnija opcija. Za RDMA se razvijaju i Ethernet standardi.
(Volumes) i ima utisak da radi s diskom. Meutim sustav pohrane je apstrahiran jer upravlja
odreuje kako e i na koje mjesto zapisivati ili itati podatke.
Virtualizacija porane podataka javlja se danas u razliitim oblicima:
Datoteni server (File server): Operacijski sustav pie na udaljenu lokaciju bez
potrebe da razumije kako se pie na fiziki mediji.
pNFS: komponenta NFS 4.1 sustava, pNFS /parallel NFS), moe zahtijevati podatke s
udaljenog NFS dijeljenog prostora. Meutim podaci mogu biti pohranjeni na razliitim
lokacijama i medijima. Traitelj podataka nije svjestan toga gdje su podaci jer dohvat i
isporuku podataka obavlja NFS server.
DFS: Slino konceptu pNFS, DFS, Distribuirani datoteni sustav kreira datoteni
sustav koji objedinjuje lokalne datotene sustave i njihov sadraj u cjelinu kojoj se
pristupa kao da se radi o jedinstvenom sustavu pohrane.
NAS i SAN: sustav pohrane se operacijskom sustavu predstavlja preko ethernet
mree. NAS sustav omoguava pristup preko datotenih operacija (NFS, CIFS). SAN
tehnologija omoguava pristup na nivou blokova (poput iSCSI ili Fibre chanell), dakle
poput lokalnog sustava pohrane.
17
18
19