Šta NetApp StorageGRID platformu čini posebnom

Object storage nije ništa novo. Razvoj komercijalnih object storage rešenja počelo je krajem 1990-ih. Tehnologija je prošla kroz mnoge iteracije životnog ciklusa podataka, ali velike zasluge pripadaju Amazon Web Servisima (AWS) za modernu popularizaciju storage platforme putem implementacije: S3.

U poslednjih desetak godina, značajno je porastao interes za objektnim storage-om, prvo kod javnih Cloud provajdera, a zatim i on-premises. Takođe, konstantno raste i broj načina primene objektnog storage-a. U početku, on se koristio samo radi zaštite podataka, pošto objektni storage-i čuvaju podatke na veoma cenovno efektivan način u poređenju sa tradicionalnim fajl i blok sistemima, a takođe i zato što su njihove performanse kod sekvencijalnih radnih opterećenja visokog protoka nenadmašive.

Osim toga, možemo videti i proizvođače aplikacija koji koriste objektni storage kao primarni za svoje podatke, kako bi iskoristili gore navedene prednosti. Ti produkti, kao što su Splunk i Hadoop, su u svojim poslednjim verzijama integrisali i nativnu podršku za objektni storage. Ovo je, zauzvrat, motivisalo proizvođače objektnih rešenja da razvijaju još performantnija rešenja koja koriste i flash tehnologiju u kombinaciji sa visoko propusnim SATA medijumima, pa čak i all-flash podršku za objektni storage.

StorageGRID deluje u 5 oblasti

Šta zapravo čini StorageGRID platformu različitom u odnosu na druga object storage rešenje koja su prisutna na tržištu? U cilju odgovora na ovo pitanje neophodno je ukazati na pet specifičnih oblasti u kojima NetApp-ov object storage ima vodeću ulogu, kao što su: upravljanje životnim ciklusom informacija, slojeviti erasure coding, cloud integracija i federacija, softverski definisan objektni storage i performanse. U nastavku će biti detaljnije objašnjena svaka od navedenih oblasti.

Upravljanje životnim ciklusom informacija (ILM)

Prva karakteristika koja StorageGRID izdvaja u odnosu na ostale platforme jeste mehanizam za upravljanje životnim ciklusom podataka. Drugim rečima, ovaj mehanizam, koji se definiše polisama, omogućava korisniku da kontroliše način na koji će podaci egzistirati na sistemu tokom svog životnog ciklusa.

Menadžer sistema može, na primer, definisati polisu u okviru koje će se podaci upisani u sistem automatski kopirati na svaku od pet različitih lokacija nakon inicijalnog upisa, tokom prvih šest meseci životnog ciklusa podataka (kako bi se osigurao lokalni pristup). Nakon prvih šest meseci, samo dve kopije mogu ostati samo na jednoj lokaciji tokom narednih 18 meseci (lokaciji na kojoj se vrši „data mining“). Nakon što podaci navrše dve godine svog života, samo jedna kopija podataka biće sačuvana i erasure coding-om podeljena kroz svih pet lokacija (zbog trajnosti podataka i racionalizacije utroška storage-a). Definisanjem takve polise, korisnik nikada neće morati da vrši bilo kakvu akciju nad podacima, jer će se oni sami „menjati“ kroz sistem i samo-optimizovati na osnovu definisanih polisa.

Ovo je samo jedan primer koji se zasniva na životnom veku podataka, ali je moguće kreirati i mnogo složenija pravila kombinacijom više kriterijuma. Ovi kriterijumi čak mogu uključivati i custom metapodatke, koji su vezani za podatke na sistemu. Ovo nije svojstveno samo StorageGRID-u, ali granularnost definisanja polise, mogućnost da se simulira efekat polise, i ta polisa primeni na postojeći repozitorijum („bucket“) bez potrebe da se vrši migracija istih podataka u drugi NetApp bucket, predstavljaju neprevaziđene prednosti ove platforme.

Slojeviti erasure coding

StorageGRID platforma nudi najviši mogući nivo trajnosti i dostupnosti podataka korišćenjem više mehanizama kojima se obezbeđuje integritet podataka i pruža mogućnosti geografski razmeštenog erasure coding-a. Na samom početku, prilikom dizajniranja platforme, NetApp je odlučio da koristi lokalni erasure coding ili DDP u cilju zaštite podataka, još pre nego što je StorageGRID softver uopšte uključen u implementaciju zaštite podataka.

Interesantno je da ovo značajno smanjuje pritisak na ceo sistem pri ispadu diska, i omogućuje mnogo brži oporavak u odnosu na druge šeme zaštite – u svakom slučaju. (Da bi se izvršio oporavak diska koji sadrži podatke koji su geografski razmešteni, potrebne su velike količine protoka i to može potrajati jako dugo.)

StorageGRID softver pruža mogućnost konfigurisanja više tipova erasure coding-a u okviru jednog sistema, a u cilju optimizacije troškova, pouzdanosti i performansi u isto vreme. Kada se podaci jednom sačuvaju, StorageGRID omogućava i „in-flight“ kao i „at-rest“ procese verifikacije podataka kako bi se osigurao integritet podataka.

Cloud integracija i federacija

Još jednu razliku između StorageGRID-a i mnogih drugih, trenutno dostupnih object storage rešenja predstavlja njegova sposobnost saradnje sa objektnim servisima javnih cloud servis provajdera. Pod tim se podrazumeva da podaci mogu aktivno prelaziti sa on-premise StorageGRID-a na AWS S3, Glacier ili Azure Blob, i obrnuto.

Navedeni public cloud servisi mogu se definisati kao još jedan tier u okviru sistema i biti jedan od repozitorijuma za polise za upravljanje životnim ciklusom informacija. Kao deo integracije sa public cloud servis provajderima, StorageGRID takođe podržava i AWS SNS ili Simple Notification System, kao i slanje metapodataka direktno u ElasticSearch radi indeksiranja.

Funkcionalnost poput SNS-a može omogućiti pokretanje lambda funkcije pri upisivanju novih podataka u repozitorijum, što zauzvrat može pokrenuti određeni ETL postupak obrade nove grupe unosa, ili analize slika sa AWS prepoznavanjem slika, ili čak transkripcije snimka snimljenog u bucket-u i dodavanja tih transkripcija kao metapodataka.

Softverski definisana storage opcija

U svetu u kojem storage uređaji i dalje igraju ključnu ulogu zbog svojih performansi i čvrste veze hardvera i softvera u cilju smanjivanja nepredviđenih situacija i povećanja raspoloživosti, lepo je videti da NetApp podjednako podržava i hardverske uređaje kao i softverski definisano rešenje, u okviru jednog sistema.

Naravno, ova karakteristika se ne vezuje isključivo za NetApp i StorageGRID. Pojedina konkurentska rešenja pružaju isti nivo fleksibilnosti, ali s obzirom na ograničen broj proizvođača čija rešenja pružaju istu mogućnost, neophodno je istaći i ovu karakteristiku.

S obzirom da su object stogare rešenja fokusirana na omogućavanje veoma visoke gustine kapaciteta, većina uređaja ima vrlo visok nivo „minimalne konfiguracije“. NetApp svojim korisnicima omogućava da StorageGIRD implementiraju kao .OVA fajl na postojećem hardveru.

Performanse

Testiranje performansi objektnog storage-a nije nimalo jednostavan postupak. Nedavno je izvršeno veliko testiranje performansi objektnog storage-a četiri različita vendora, koje je uključivalo i NetApp StorageGRID, sa punim rack-om za svakog proizvođača (što je bio uzorak za zbirno ocenjivanje performansi, cene i gustine). Kako bi rezlutati bili što tačniji, ocenjivani su objekti različitih veličina (100KB, 10MB i 1GB) svaki sa 100% PUTS i 100% GETS operacija (IO za čitanje protiv IO za upise u blok i fajl svetu) i pri porastu broja korisnika (od 12 do 960 ljudi).

Za testiranje NetApp-a korišćeno je osam SG6060 uređaja. Svaki uređaj koristi 2X800GB SSD diskova za keširanje metapodataka, što je bilo od značajne koristi za TTFB GETS operacije i davalo vrlo dosledan vremenski odgovor uz neznatna odstupanja. Korišćena je 4x25Gbps konektivnost za svaki od osam uređaja obuhvaćenih testom i uspešno se postiglo više od 56GBps (gigabajta po sekundi) kod velikih čitanja. Platforma je postigla maksimum od 40GBps u slučaju upisivanja. 

                                     

                                                                                                                         SG6060

Još informacija na ovu temu možete pročitati u članku pod nazivom What sets NetApp's StorageGRID Platform Apart.