Zakaj je NetApp StorageGRID platforma posebna

Object storage ni nič novega. Razvoj  rešitev object storaga se je začelo v poznih  1990-ih. Tehnologija je preživela številne ponovitve življenskega cikla podatkov, vendar veliko zaslug pripada Amazon Web Services (AWS) za sodobno popularizaciju platforme za shranjevanje z implementacijo : S3.

V zadnjih desetih letih se je zanimanje za object storag-om močno povečalo, najprej pri javnih ponudnikih oblaka, nato pa še lokalno. Število načinov uporabe pomnilnika predmetov nenehno narašča. Sprva so ga uporabljali le za zaščito podatkov, saj objektno shrambo podatke shranjuje na zelo stroškovno učinkovit način v primerjavi s tradicionalnimi datotečnimi in blokovnimi sistemi, pa tudi zato, ker je njihova zmogljivost pri zaporednih visoko zmogljivih delovnih obremenitvah neprekosljiva.

Poleg tega lahko vidimo prodajalce aplikacij, ki uporabljajo object storage kot primarno za svoje podatke, da bi izkoristili zgoraj navedene prednosti. Ti izdelki, kot sta Splunk in Hadoop, so v najnovejše različice vključili tudi podporo za izvorno shranjevanje predmetov. To pa je spodbudilo proizvajalce predmetnih rešitev, da razvijejo še bolj zmogljive rešitve, ki uporabljajo tehnologijo flash v kombinaciji s širokopasovnimi mediji SATA in celo podporo za shranjevanje predmetov z all- flashom.

StorageGRID deluje na 5 področjih

Po čem se platforma StorageGRID dejansko razlikuje od drugih rešitev za shranjevanje predmetov na trgu? Da bi odgovorili na to vprašanje, je treba izpostaviti pet specifičnih področij, na katerih ima NetApp-ov object storage vodilno vlogo, kot so: upravljanje življenjskega cikla informacij, večplastno kodiranje izbrisov, integracija in združevanje v oblak, programsko definirano shranjevanje in delovanje objektov. Vsako od teh področij bo podrobneje razloženo v nadaljevanju.

Upravljanje življenskega cikla informacij (ILM)

Prva značilnost, ki pri StorageGRID-u izstopa od drugih platform, je mehanizem upravljanja življenjskega cikla podatkov. Z drugimi besedami, ta mehanizem, določen s politiko, omogoča uporabniku, da nadzoruje način obstoja podatkov v sistemu v celotnem življenjskem ciklu.

Upravitelj sistema lahko na primer določi politiko, v skladu s katero se bodo podatki, vneseni v sistem, samodejno kopirali na vsako od petih različnih lokacij po začetni včlanitvi v prvih šestih mesecih življenjskega cikla podatkov (za zagotovitev lokalnega dostopa). Po prvih šestih mesecih lahko v naslednjih 18 mesecih (kraj, kjer poteka podatkovno rudarjenje) ostaneta samo dve kopiji na samo enem mestu. Ko bodo podatki stari dve leti, se bo le ena kopija podatkov shranila in razširila z izbrisnim kodiranjem na vseh petih lokacijah (zaradi trajnosti podatkov in racionalizacije porabe pomnilnika). Z opredelitvijo takšne politike uporabniku nikoli ne bo treba izvajati nobenih dejanj glede podatkov, ker se bodo skozi sistem "spremenili" in samooptimizirali na podlagi določenih pravilnikov.

To je le en primer, ki temelji na življenjski dobi podatkov, vendar je mogoče z združevanjem več meril ustvariti tudi veliko bolj zapletena pravila. Ta merila lahko vključujejo tudi metapodatke po meri, ki so povezani s podatki v sistemu. To ni edinstveno za StorageGRID, toda natančnost definicije pravilnika, zmožnost simulacije učinka pravilnika in uporaba tega pravilnika v obstoječem skladišču ("vedro"), ne da bi morali iste podatke preseliti v drugo vedro NetApp-a predstavljajo neprimerljive prednosti te platforme.

Večplastno Kodiranje brisanja

Platforma StorageGRID ponuja najvišjo možno raven trajnosti in razpoložljivosti podatkov z uporabo več mehanizmov, ki zagotavljajo integriteto podatkov in omogočajo geografsko porazdeljeno kodiranje izbrisov. Že na začetku se je pri oblikovanju platforme NetApp odločil za lokalno kodiranje izbrisa ali DDP za zaščito podatkov, še preden je bila programska oprema StorageGRID sploh vključena v izvajanje zaščite podatkov.

Zanimivo je, da to bistveno zmanjša pritisk na celoten sistem v primeru okvare diska in omogoča veliko hitrejše okrevanje v primerjavi z drugimi zaščitnimi shemami - v vsakem primeru. (Obnovitev diska, ki vsebuje geografsko porazdeljene podatke, zahteva veliko količino pretoka in lahko traja zelo dolgo.)

Programska oprema StorageGRID omogoča konfiguriranje več vrst kodiranja izbrisa znotraj enega sistema, da hkrati optimizira stroške, zanesljivost in zmogljivost. Ko se StorageGRID shrani, zagotavlja postopke preverjanja podatkov med letom in v mirovanju, da se zagotovi celovitost podatkov.

Integracija in združevanje v oblak

Druga razlika med StorageGRID in številnimi drugimi rešitvami za StorageGRID, ki so danes na voljo, je njegova sposobnost združevanja z objektnimi storitvami javnih ponudnikov storitev v oblaku. S tem mislimo, da lahko podatki aktivno tečejo med lokalno razmestitvijo StorageGRID in AWS S3, Glacier ali Azure Blob..

Te javne storitve v oblaku je mogoče opredeliti kot raven shranjevanja v mreži in uporabiti kot cilj za politike upravljanja življenjskega cikla informacij. Kot del integracije z javnimi ponudniki storitev v oblaku StorageGRID podpira tudi AWS SNS ali Simple Notification System in pretakanje metapodatkov neposredno v ElasticSearch za indeksiranje.

Funkcija, kot je SNS, lahko omogoči zagon funkcije lambda, ko se novi podatki zapisujejo v vedro, kar lahko nato sproži opravilo ETL za obdelavo nove serije dnevnikov, analizo slike s ponovnim vžigom slike AWS ali celo prepis posnetka ki je bil shranjen v vedru in pripiše transkripcijo kot metapodatke.

 

Programsko definirana možnost shranjevanja

V svetu, kjer so naprave za shranjevanje še vedno pomembne zaradi pomislekov glede zmogljivosti in tesnega povezovanja strojne in programske opreme za zmanjšanje nepredvidljivosti in povečanje razpoložljivosti, je čudovito opaziti, da NetApp podpira postavitev naprave in programske opreme v isti mreži.

Zdaj ta funkcija nikakor ni značilna samo za NetApp in StorageGRID. Nekatere konkurenčne rešitve sicer zagotavljajo enako raven prilagodljivosti, toda glede na omejeno število ponudnikov, ki zagotavljajo to zmogljivost, se nam je zdelo, da je to vredno izreči.

Glede na to, da je shranjevanje predmeta rešitve osredotočiti se na doseganje zelo visoko gostoto za shranjevanje, večina naprav ima zelo visoko minimalno velikost uvajanja. NetApp strankam omogoča, da StorageGRID uvedejo kot datoteko .OVA na obstoječi strojni opremi, kar je super.

Performance

Performance: vsem najljubša tema. Testiranje učinkovitosti shranjevanja predmetov ni lahko. V ATC izvajamo preizkušanje zmogljivosti rešitev za shranjevanje predmetov s pomočjo COSbencha.

V zadnjem času smo imeli priložnost narediti zelo velik POC za shranjevanje predmetov s štirimi različnimi ponudniki, ki so vključevali NetApp StorageGRID s popolno rešitvijo omare za vsakega prodajalca (to je bilo merilo naše stranke za skupno oceno učinkovitosti, stroškov in gostote). Da smo bili čim bolj temeljiti, smo ocenili velikost več predmetov (100 KB, 10 MB in 1 GB), od katerih ima vsak 100-odstotni PUTS in 100-odstotni GETS (branje vs pisanje IO v svetu blokov in datotek) in naraščajoč obseg delavcev ( od 12 do 960 delavcev).

Za te teste smo uporabili osem NetAppovih aparatov SG6060 in bili zelo prijetno presenečeni nad rezultati. Naprava uporablja pogone SSD z zmogljivostjo 2x800 GB za predpomnjenje metapodatkov, kar je TTFB-u zagotovilo nekaj bistvenih koristi pri operacijah GETS in zelo dosledno in omejeno tresenje odzivnega časa. Uporabili smo povezljivost 4x25gbps za vsako od osmih aparatov, vključenih v test, in uspeli doseči več kot 56 GB (da, gigabajti!) Na sekundo pri velikih bralnih datotekah. Platforma je dosegla 40 GB na sekundo pri zapisovanju.