Spoločnosť NetApp, líder v oblasti inteligentnej dátovej infraštruktúry, oficiálne predstavila NetApp Novus. Ide o prelomovú škálovateľnú (scale-out) úložnú architektúru navrhnutú špeciálne pre novú éru umelej inteligencie, suverénnych AI poskytovateľov, hyperskalerov a veľké podniky budujúce obrovské AI továrne.
Problém, ktorý stojí milióny: Keď drahé GPU čakajú na dáta
Martin Bilka
Systems Engineer
martin.bilka@alef.com
Novinka prichádza s odvážnym prísľubom: priniesť najrýchlejšie úložisko na planéte a odstrániť najväčšie úzke hrdlo súčasnej infraštruktúry – hladovanie grafických procesorov (GPU) po dátach.
Problém, ktorý stojí milióny: Keď drahé GPU čakajú na dáta
V moderných dátových centrách sú tisícky prepojených GPU tou najdrahšou položkou. Hodnotu však generujú iba vtedy, keď reálne pracujú – či už ide o trénovanie modelov, ladenie alebo beh pokročilých AI aplikácií. Tradičné úložné systémy narážajú na svoje hardvérové stropy. Keď sa operátori snažia limit prekročiť prepojením viacerých samostatných systémov, vytvoria izolované „dátové ostrovy“. Infraštruktúrne tímy potom musia zložito riešiť, kde dáta žijú, ako vyvažovať záťaž a neustále znova pripájať (remountovať) úložiská. Výsledok? GPU zostávajú nevyužité, spotrebúvajú drahú energiu a namiesto výpočtov generujú len odpadové teplo.
Riešenie: Oddelenie metadát od samotných dát
NetApp Novus tento problém od základov mení vďaka disagregovanej architektúre metadát. Novus úplne oddeľuje koordinačnú vrstvu metadát od samotného presunu dát:
- NetApp Novus Data Director (metadátový server) zaznamená rozloženie dát naprieč úložiskami a odovzdá informáciu priamo GPU klientovi.
- Následne sa stiahne z cesty a GPU uzol číta a zapisuje dáta priamo do úložnej vrstvy bez toho, aby pri každej operácii musel prebiehať spiatočný prenos cez metadáta.
Samotná dátová vrstva beží na overenom systéme NetApp ONTAP® (v počiatočnej fáze na systémoch NetApp AFF A90). Tento prístup umožňuje lineárne zvyšovať výkon. Pridaním nového úložného systému sa okamžite navýši kapacita aj priepustnosť spoločného “poolu”, zatiaľ čo vrstva metadát sa škáluje nezávisle na vlastnej ose. Všetko funguje pod jedným spoločným menným priestorom (Single Namespace), čo znamená koniec fragmentácie a nutnosti neustáleho remountovania.
Žiadne špeciálne ovládače ani zmeny na strane klienta
Obrovskou výhodou pre operátorov je nasadenie bez komplikácií. NetApp Novus komunikuje s GPU uzlami prostredníctvom štandardných sieťových protokolov NFSv4.2 a pNFS Flex Files, ktoré už väčšina firiem využíva. Podporuje tiež funkcie ako nconnect pre viacnásobnú priepustnosť pripojenia a GPUDirect Storage (GDS), čo umožňuje priamy prenos dát medzi úložiskom a pamäťou GPU s úplným obídením CPU. NetApp Novus sa tak správa ako klasické NFS úložisko, na ktoré je už každý server pripravený.
Hlavné prínosy:
- Maximálna produktivita GPU: Eliminuje dátové prestoje, čím transformuje nečinný čas procesorov na produktívne výpočty a fakturovateľné hodiny.
- Zettabajtové škálovanie bez fragmentácie: Umožňuje rozširovať výkon pod jedným menným priestorom.
- Energetická a prevádzková efektívnosť: Softvérovo definovaná architektúra šetrí priestor a elektrickú energiu, keďže netreba predimenzovávať hardvér len kvôli limitom tradičných kontrolerov.
- Bezpečná multitenancia a QoS: Umožňuje bezpečne izolovať viacerých nájomcov na jednom systéme, ponúka šifrovanie na úrovni nájomcu a pokročilé riadenie prístupu pre ľudí aj autonómnych AI agentov.
Budúcnosť v znamení softvérovo definovaných úložísk
Aktuálny model dodania kombinuje dedikovanú pNFS infraštruktúru s dátovými uzlami postavenými na NetApp AFF A90 HA pároch. Do budúcna však NetApp plánuje architektúru Novus ďalej rozširovať a ponúknuť plne softvérovo definované možnosti (software-defined), kde budú môcť služby metadát aj dátové služby bežať na certifikovanom hardvéri tretích strán. S architektúrou NetApp Novus získavajú firmy silný nástroj na to, aby ich najväčšia investícia do AI infraštruktúry namiesto tepla generovala reálne výsledky, tokeny a konkurenčnú výhodu.