Što NetApp StorageGRID platformu čini posebnom

Object storage nije ništa novo. Razvoj komercijalnih object storage rješenja započeo je krajem 1990-ih. Tehnologija je prošla kroz brojne iteracije životnog ciklusa podataka, ali velika zasluga se pripisuje Amazon Web Services (AWS) za modernu popularizaciju platforme za pohranu podataka kroz implementaciju: S3.

U posljednjih deset godina zabilježen je značajan porast interesa za object storage-om, prvo kod javnih Cloud provider-a, a zatim i on-premises. Također, broj načina primjene object storage-a neprestano raste. U početku se koristio samo za zaštitu podataka, jer object storage-i pohranjuje podatke na vrlo isplativ način u usporedbi s tradicionalnim sustavima datoteka i blokova, a također i zato što su njihove performanse u sekvencijalnim radnim opterećenjima velike propusnosti nenadmašne.

Osim toga, možemo vidjeti i proizvođače aplikacija koji koriste object storage kao primarni za svoje podatke kako bi iskoristili gore navedene prednosti. Ovi proizvodi, poput Splunk-a i Hadoop-a, u svoje su najnovije verzije također integrirali izvornu podršku za objektni storage. To je zauzvrat motiviralo proizvođače objektnih rješenja da razviju još učinkovitija rješenja koja koriste flash tehnologiju u kombinaciji sa SATA medijima velike propusnosti, pa čak i all-flash potporu za objektni storage.

StorageGRID djeluje u 5 područja

Po čemu se StorageGRID platforma zapravo razlikuje od ostalih object storage rješenja na tržištu? Da bi se odgovorilo na ovo pitanje, potrebno je istaknuti pet specifičnih područja u kojima NetApp-ov object storage ima vodeću ulogu, kao što su: upravljanje životnim ciklusom informacija, slojevito kodiranje brisanja, cloud integracija i federacija, softverski definirani object storage i performanse. Svako od ovih područja bit će detaljnije objašnjeno u nastavku.

Upravljanje životnim ciklusom informacija (ILM)

Prva značajka koja StorageGRID izdvaja od ostalih platformi je mehanizam upravljanja životnim ciklusom podataka. Drugim riječima, ovaj mehanizam, koji je definiran pravilima, omogućava korisniku da kontrolira način na koji će podaci postojati na sustavu tijekom njegovog životnog ciklusa.

Upravitelj sustava može, na primjer, definirati politiku prema kojoj će se podaci uneseni u sustav automatski kopirati na svako od pet različitih mjesta nakon početnog unosa, tijekom prvih šest mjeseci životnog ciklusa podataka (kako bi se osigurao lokalni pristup). Nakon prvih šest mjeseci, samo dvije kopije mogu ostati na samo jednom mjestu tijekom sljedećih 18 mjeseci (mjesto na kojem se odvija „data mining“). Nakon što podaci postanu stari dvije godine, samo će se jedna kopija podataka sačuvati i distribuirati erasure coding-om na svih pet mjesta (zbog trajnosti podataka i racionalizacije potrošnje pohrane). Definiranjem takve politike, korisnik nikada neće morati izvršiti bilo kakvu radnju na podacima, jer će se oni sami „mijenjati“ kroz sustav i samo-optimizirati na temelju definiranih politika.

Ovo je samo jedan primjer koji se temelji na životnom vijeku podataka, ali je moguće stvoriti i mnogo složenija pravila kombiniranjem više kriterija. Ti kriteriji mogu čak uključivati i prilagođene metapodatke koji su povezani s podacima u sustavu. To nije jedinstveno za StorageGRID, ali granularnost definicije politike, mogućnost simuliranja učinka politike i primjene te politike na postojeće spremište ("segmentiranje") bez potrebe za migriranjem istih podataka u drugi NetApp bucket, jesu neusporedive prednosti ove platforme.

Slojeviti erasure coding

StorageGRID platforma nudi najvišu moguću razinu trajnosti i dostupnosti podataka koristeći više mehanizama koji osiguravaju integritet podataka i pružaju mogućnosti geografski distribuiranog erasure coding-a. Na samom početku, prilikom dizajniranja platforme, NetApp je odlučio koristiti lokalni erasure coding ili DDP za zaštitu podataka, čak i prije nego što je StorageGRID softver uopće bio uključen u implementaciju zaštite podataka.

Zanimljivo je da ovo značajno smanjuje pritisak na cijeli sustav u slučaju kvara diska i omogućuje mnogo brži oporavak u usporedbi sa drugim shemama zaštite - u svakom slučaju. (Oporavak diska koji sadrži geografski distribuirane podatke zahtijeva veliku količinu protoka i može trajati jako dugo.)

StorageGRID softver pruža mogućnost konfiguriranja više vrsta erasure coding-a unutar jednog sustava, kako bi se istovremeno optimizirali troškovi, pouzdanost i performanse. Nakon što se podaci spreme, StorageGRID omogućuje „in-flight“ i „at-rest“ postupak provjere podataka  kako bi se osigurala cjelovitost podataka.

Cloud integracija i federacija/udruživanje

Još jedna razlika između StorageGRID-a i mnogih drugih, trenutno dostupnih object storage rješenja  jest njegova sposobnost suradnje s objektnim uslugama javnih cloud service provider-a. To znači da se podaci mogu aktivno prebacivati s on-premises StorageGRID-a na AWS S3, Glacier ili Azure Blob, i obrnuto.

Ti se public cloud servisi mogu definirati kao druga razina u sustavu i biti jedno od spremišta za politike upravljanja životnim ciklusom podataka. Kao dio integracije s public cloud service provider-ima, StorageGRID također podržava AWS SNS ili Simple Notification System, kao i slanje metapodataka izravno ElasticSearch-u radi indeksiranja.

Funkcionalnost kao što je SNS može omogućiti pokretanje lambda funkcije prilikom upisivanja novih podataka u spremište, što zauzvrat može pokrenuti određeni ETL postupak obrade nove skupine unosa ili analize slika s AWS prepoznavanjem slike, ili čak transkribiranje snimke snimljene u bucket-u i dodavanje tih transkripata kao metapodataka.

Softverski definirana storage opcija

U svijetu u kojem storage uređaji nastavljaju igrati ključnu ulogu zbog svojih performansi i uske hardversko-softverske veze, kako bi smanjili nepredviđene slučajeve i povećali dostupnost, lijepo je vidjeti da NetApp podržava i hardverske uređaje i softverski definirana rješenja, unutar jedinstvenog sustava.

Naravno, ova se značajka ne odnosi isključivo na NetApp i StorageGRID. Neka konkurentska rješenja pružaju istu razinu fleksibilnosti, ali s obzirom na ograničeni broj proizvođača čija rješenja pružaju iste mogućnosti, potrebno je istaknuti i ovu značajku.

Budući da su object storage rješenja usmjerena na omogućavanje vrlo velike gustoće kapaciteta, većina uređaja ima vrlo visoku razinu "minimalne konfiguracije". NetApp omogućuje svojim korisnicima da implementiraju StorageGIRD kao .OVA datoteku na postojeći hardver.

Performanse

Testiranje performansi object storage-a nije jednostavan postupak. Nedavno je izvedeno opsežno ispitivanje performansi object storage-a četiri različita vendora (https://www.wwt.com/article/how-we-performance-test-object-storage-oems), koje je uključivalo NetApp StorageGRID, s punim rack-om za svakog proizvođača (koji je bio uzorak za kolektivnu procjenu performansi, cijene i gustoće). Kako bi rezultati bili što precizniji, ocjenjivani su objekti različitih veličina (100 KB, 10 MB i 1 GB), svaki sa 100% PUTS i 100% GETS operacija (IO za čitanje nasuprot IO za unose u blok i fajl svijetu) i sa sve većim brojem korisnika (s 12 na 960 ljudi).

Za testiranje NetApp-a, korišteno je osam SG6060 uređaja. Svaki uređaj koristi 2X800 GB SSD-ova za predmemoriranje metapodataka, što je bilo od velike koristi za TTFB GETS operacije i pružalo je vrlo konzistentan vremenski odgovor s malim odstupanjima. Korištena je 4x25Gbps povezanost za svakog od osam uređaja uključenih u test i postignuto je više od 56 GBps (gigabajta u sekundi) kod velikih čitanja. Platforma je dosegla maksimalnih 40 GBps u slučaju upisa.