Kedy sa stane NVMe dominantnou technológiou pre pripájanie serverov k storage zariadeniam? - časť 1/2

Igor Juran

Pre-sales Systems Engineer - NetApp, EC

igor.juran@alef.com

V tomto článku by som chcel predstaviť NVMe technológiu dostupnú od NetApp-u a zaoberať sa hlavne NVMe/FC.  

NVMe (Non-Volatile Memory Express) štandard je rozvíjajúca sa technológia pre podnikové IT prostredia, ktorá tvorí novú storage infraštruktúru alebo umožňuje prechod na modernejšie technológie. NVMe je nielen protokol optimalizovaný pre pripojenie SSD diskov a zariadení ale aj sada open-source štandardov pre NVMEM komponenty a systémy.

NVMe štandard je navrhnutý pre prenos veľkého množstva dát pri veľmi nízkom oneskorení a to nielen pre súčasné ale aj pre budúce pamäťové technológie. NVMe nahrádza tradičný súbor SCSI príkazov súborom NVMe príkazov a spolieha sa na pripojenie k PCIe (Peripheral Connect Interface express), vysoko-rýchlostnému a vysoko-priepustnému hardware protokolu, ktorý je podstatne rýchlejší ako starší štandard SCSI (Small Computer System Interface), SAS (Serial Attached SCSI) alebo SATA (Serial Advanced Technology Attachment).

  • SCSI bolo predstavené pred viac ako 40 rokmi a bolo navrhnuté pre storage technológie poplatné tej dobe: 8 palcovým floppy diskom a pevným diskom veľkosti chladničky. Tiež bolo navrhnuté pre oveľa pomalšie jedno-jadrové procesory s oveľa menšou DRAM pamäťou.
  • NVMe na druhej strane bolo navrhnuté pre prácu s flash diskami, poháňanými viac-jadrovými procesormi a vybavenými gigabytami pamäte. Využíva tiež podstatný pokrok v počítačových technológiách a používa priamočiary súbor príkazov, ktoré sú pri analýze a spracovaní dát oveľa efektívnejšie.

Prečo je NVMe také rýchle

NVMe sa stáva základnou súčasťou moderných dátových centier pretože dokáže adresovať tri kľúčové atribúty dátových storage zariadení: IOPS, priepustnosť a oneskorenie:

Parameter IOPS je meraný podľa počtu čítacích a zápisových operácií na storage zariadení za jednu sekundu. Tento parameter je rozdielny pre operácie čítania a zápisu dát, závisí od toho, či sa jedná o sekvenčné operácie alebo náhodné operácie a tiež závisí od veľkosti dátového bloku, ktorý je čítaný alebo zapisovaný. Storage zariadenia väčšinou vykazujú vyššie IOPS pri práci s menšími dátovými blokmi ako napríklad 4kB alebo 8kB. Ale aplikácie používané v praxi neraz pracujú s oveľa väčšími blokmi ako napríklad 32kB alebo 64kB, takže prípadné merania musia byť založené na relevantných charakteristikách.

Parameter priepustnosť je meraný ako rýchlo dokáže storage zariadenie čítať alebo zapisovať dáta, najčastejšie je špecifikovaný v gigabitoch za sekundu (Gbps). Priepustnosť je obvykle lepšia pri práci s väčšími IO blokmi dát a závisí aj od druhu IO operácie (čítanie alebo zápis) a samozrejme aj od toho či sa jedná o náhodné ale sekvenčné operácie.

Obrázok 1 NVMe môže používať rôzne spôsoby prenosu dát

NVMe a moderné SAN siete

Storage Area Network (SAN) je preferovaná architektúra pre mnohé z najdôležitejších v súčasnosti používaných priemyselných aplikácií.

SAN siete sú založené na blokovom prístupe k storage zariadeniam. Prezentujú množiny blokov dát pre operačný systém bežiaci na hostoch. Host OS vytvára partície a formátuje LUNy (ktoré sú v podstate množiny blokov dát) do súborového systému, ktorý je spravovaný operačným systémom.

SAN siete založené na FCP (SCSI príkazoch a dátových blokoch vo vnútri FC rámca) majú vo svete najväčší podiel na trhu, na druhom mieste je iSCSI a zvyšok trhu pripadá na FCoE (Fibre Channel over Ethernet). Všetky tieto blokové protokoly sú populárne, efektívne a predstavujú spoľahlivý spôsob prístupu k dátam.

Ďalším primárnym spôsobom prístupu k dátam je NAS (Network-Attached Storage), kde storage zariadenie je vlastníkom súborového systému a prezentuje súbory pripojeným serverom prostredníctvom NFS, CIFS resp. SMB protokolov.

Všetky blokové protokoly sú jednoducho použiteľné host operačnými systémami a priemyselnými aplikáciami, sú rýchle, spoľahlivé a „neviditeľné“ pre aplikácie. SAN je prevažujúca technológia prístupu k dátam. Pokrývajú približne 70% storage trhu. NAS pokrýva zvyšných 30% trhu.

NVMe over Fibre Channel

NetApp zákazníci vybudovali a prevádzkujú niektoré z najväčších dátových centier na svete. V blízkej budúcnosti plánujú upgrade storage zariadení na NVMe technológiu. Ale otázka znie, ktorú možnosť pre NVMe transport použiť?

Aj keď RDMA (Remote Direct Memory Access) transport je dôležitý, je veľmi pravdepodobné, že NVMe/FC bude najmä zo začiatku najdominantnejším spôsobom pripojenia k storage zariadeniam v dátových centrách. Použitie FC ako transportnej vrstvy má tieto benefity:

  • drvivá väčšina dnešnej high-performance záťaže beží dnes na FCP.
  • väčšina (70%) týchto organizácií používa s súčasnosti SAN zariadenia s FCP protokolom.
  • väčšina IT záťaže, ktorá je výkonnostne orientovaná už používa SAN zariadenia (switche) 5tej a 6tej generácie (16Gbps alebo 32Gbps)
  • v kategórii 25/50/100 Gbps Ethernet switchov je iba málo zariadení, ktoré môžu byť použité ako základ pre nosnú časť sieťovej infraštruktúry pre RDMA cez IP, TCP, RoCE alebo podobné spôsoby prenosu.
  • oba protokoly - FCP aj NVMe/FC môžu používať rovnaké fyzické komponenty pre prenos SCSI-3 a NVMe protokolov súčasne.
  • množstvo NetApp zákazníkov už v súčasnosti vlastní potrebný hardware pre prevádzkovanie NVMe/FC a bude schopných začať používať NVMe/FC iba jednoduchým software upgradeom na vhodnú verziu ONTAP.

Obe technológie FCP aj NVMe môžu zdieľať spoločný hardware a sieťové komponenty a môžu koexistovať na rovnakej kabeláži (technicky optických spojeniach), portoch, switchoch a storage kontroleroch. Organizácia tak môže jednoducho prejsť na NVMe, nakoľko si môžu zvoliť svoj spôsob a rýchlosť takejto migrácie.

NVMe/FC technológia je veľmi podobná technológii FCP, ktorá je definovaná vložením SCSI-3 CDB (Command Descriptor Block) do FC rámca. Dôvodom, že je to podobné je lebo NVMe/FC má starší SCSI-3 CDB nahradený za vylepšený NVMe príkaz. S touto jednoduchou substitúciou, NVMe/FC dokáže trvale zlepšiť priepustnosť a znížiť oneskorenie IO operácií.

NetApp implementoval NVMe/FC pre operačný system ONTAP ako prvý z NVMe protokolov, nakoľko FC je najdominantnejší SAN protokol. To znamená, že organizácie, ktoré už urobili signifikantné investície do FC infraštruktúry môžu naďalej používať svoju existujúcu infraštruktúru a skúsenosti.

Keďže NVMe/FC jednoducho nahrádza SCSI príkazy NVMe príkazmi, tak tento prechod je veľmi jednoduchý. NVMe/FC používa rovnakú transportnú vrstvu a tým pádom aj rovnaký hardware na hoste, na pripojených switchoch ako aj cieľový NVMe/FC port na diskovom poli. NVMe/FC implementácia dokáže využiť kompletnú FC infraštruktúru vrátane HBA, switchov, zónovania, cieľových portov a kabeláže.

Aj keď ONTAP používa NVMe/FC LIFy, ktoré sú rozdielne od FCP LIFov, tieto LIFy môžu koexistovať na tých istých fyzických portoch a to na strane serverov ako aj na strane diskových polí. NVMe/FC a FCP môžu zdieľať rovnakú fyzickú infraštruktúru v rovnakom čase, takže fyzické porty, kabeláž, porty na switchoch ako aj cieľové porty môžu v rovnakom čase prenášať FCP ako aj NVMe/FC rámce. Tieto protokoly sú oddelené iba na logickej úrovni, a toto robí prechod medzi FCP a NVMe/FC bezproblémovým.

NVMe a FCP terminológia

NVMe pridalo nové názvy pre niektoré existujúce štruktúry. V pripojenej tabuľke sú zhrnuté výrazy, ktoré sa zmenili oproti FCP.

Tabuľka 1  FCP a NVMe/FC výrazy

FCP

NVMe/FC

Poznámka

Worldwide port name (WWPN)

NQN

Unikátny identifikátor

SCSI target

NVMe subsystem

Entita, ktorá poskytuje prístup k storage kapacite

Port

Port

Prístupový bod

I_T nexus

NVMe kontroller (with multiple queue pairs)

Spojenie medzi iniciátorom a targetom

LUN

Namespace

Storage objekt

Asymmetric logical unit access (ALUA)

ANA

Charakteristika pre asymetrický prístup

NVMe Qualified Name (NQN) identifikuje koncový bod a je to podobné ako iSCSI Qualified Name (IQN) v oboch existujúcich formátoch. Namespace je analógiou LUNu (Logical Unit Number, unikátny identifikátor pre logické alebo fyzické zariadenie), v oboch prípadoch sa jedná o množinu blokov dát prezentovanú iniciátoru. Subsystém je analógiou igroup (initiator group – skupine iniciátorov), pričom subsystém má oveľa širšiu funkcionalitu, pre naše účely je však toto vysvetlenie postačujúce. Subsystém je používaný pre pripojenie iniciátora, ktorý „vidí“ a dokáže si pripojiť LUN alebo namespace. Asymetric namespace access (ANA) je nová vlastnosť protokolu pre monitorovanie komunikačných ciest a ich stavu smerom k MPIO (Multipath IO) bežiacom v rámci operačného systému pripojeného hostu. ANA umožňuje vybrať viacnásobné cesty medzi iniciátorom a targetom.

Veľmi dôležitým rozdielom medzi FCP a NVMe/FC je definícia relácie (session) medzi iniciátorom a targetom. V FCP ponímaní je toto reprezentované prostredníctvomI_T nexus, ktoré mapuje jednu jedinú cestu medzi iniciátorom a targetom. Ale v NVMe/FC je toto definované ako NVMe controler, ktorý všeobecne zahŕňa viacero komunikačných párov medzi iniciátorom a targetom. Toto silne rozširuje paralelizmus a škáluje výkon v rámci jedného vzťahu a predstavuje kľúčový faktor prečo je  technológia NVMe/FC o toľko výkonnejšia než FCP.

Tabuľka 2  SCSI a NVMe mapovanie výrazov

FCP

NVMe/FC

WWPN

NQN

LUN

Namespace

Igroup, LUN mapping, LUN masking

Subsystem

ALUA

ANA

Ak mám na záver odpovedať na otázku, ktorú som položil v názve tohoto článku, tak môj názor je:

Technicky nič nebráni tomu, aby zákazníci okamžite prešli na technológiu NVMe/FC, nakoľko mnohí z nich už vlastnia zariadenia, ktoré podporujú tento spôsob pripojenia. Je to možno iba opatrnosť alebo zotrvačnosť nášho myslenia, ktorá nám hovorí: „Keď to funguje (cez FCP), tak sa toho nechytaj!“

K prechodu na novú kvalitu pripojenia príde, až keď si to vyžiadajú nové požiadavky business aplikácií ako napríklad AI (Artificial Intelligence – umelá inteligencia), ML/DL (Machine Learning/Deep Learning – strojové učenie) alebo IoT (Internet of Things – internet vecí) aj keď súčasné business kritické aplikácie ako Microsoft SQL Server, SAP HANA, a NoSQL databázy (napríklad MongoDB) dokážu tiež benefitovať z výhod poskytovaných technológiou NVMe/FC.

Radi Vás u nás privítame a ponúkame Vám možnosť vykonať PoC testovanie v priestoroch spoločnosti ALEF. 

kontaktujte nás