Architektúra Cisco ACI Multi-Site naživo v priestoroch ALEF

Marian Klas

Team Leader in Data Center

marian.klas@alef.com

Spolu so širokou akceptáciou a narastajúcim počtom implementácií sieťovej architektúry Cisco ACI (Application Centric Infrastructure) v pozícii univerzálnej „network fabric“ technológie pre prostredia dátových centier rastú aj požiadavky podnikov a poskytovateľov služieb na vzájomné prepájanie separátnych sieťových fabrík. Potreby zabezpečenia kontinuity prevádzky a prevencie katastrofických výpadkov priamo vedú k návrhom a implementáciám prostredí využívajúcich separované sieťové fabriky dátových centier, pre ktoré je následne potrebné zabezpečiť vzájomnú konektivitu. V závislosti od zvoleného implementačného modelu každú takúto samostatnú sieťovú fabriku označujeme termínom “pod” alebo “lokalita”.

Implementačné možnosti architektúry Cisco ACI umožňujúce extenziu konektivity a sieťových politík medzi odlišnými ACI fabrikami prešli od predstavenia architektúry postupným vývojom.

Verzia Cisco ACI 1.0 priniesla prvú z možností v podobe klasickej dvojúrovňovej „leaf-spine“ topológie v ktorej je každý „leaf“ uzol priamo pripojený na každý zo „spine“ uzlov, pričom celá topológia reprezentuje jediný „pod“. Uzly v rámci celej takejto topológie komunikujú prostredníctvom jedinej inštancie protokolov riadiacej vrstvy ACI a celá topológia je riadená prostredníctvom jediného riadiaceho APIC clustra (Application Policy Infrastructure Controller).

Nasledujúcim krokom bola verzia ACI 1.1 ktorá umožnila geografickú distribúciu pod topológie medzi separátnymi lokalitami dátového centra, obvykle v rámci jedného metropolitného regiónu. Tento implementačný model označujeme ako „stretched fabric“ design, ktorý zohľadňuje obvykle limitovanú dostupnosť optických prepojení medzi lokalitami a využíva na prepojenie „leaf“ a „spine“ uzlov topológiu neúplného polygónu. V takejto topológii sa vybrané „leaf“ uzly označované ako tranzitné pripájajú k lokálnym aj k vzdialeným „spine“ uzlom, zatiaľ čo všetky ostatné „leaf“ uzly sú pripojené len k lokálnym „spine“ uzlom. Z funkčného pohľadu je aj takáto distribuovaná topológia považovaná za jediný „pod“ s jedinou inštanciou protokolov riadiacej vrstvy ACI a predstavuje tak jednu výpadkovú doménu.

 

Riešením tohoto problému bola ACI Multi-pod architektúra, po prvýkrát predstavená s verziou Cisco ACI 2.0. V rámci tejto architektúry je možné implementovať viaceré samostatné „pody“, pričom každý z nich prevádzkuje svoju vlastnú, separátnu inštanciu protokolov riadiacej vrstvy ACI. Jednotlivé „pody“ sú vzájomne prepojené prostredníctvom externej smerovanej IP siete, označovanej ako IPN (Inter-Pod Network). Multi-pod architectúra tak poskytuje naprieč podmi úplnú redundanciu na úrovni sieťovej vrstvy, napriek tomu, že aj tento implementačný model je z funkčného pohľadu považovaný za jedinú sieťovu fabriku riadenú jediným riadiacim APIC clustrom. Uzly tohoto clustra však môžu byť distribuované medzi jednotlivými podmi participujúcimi v ramci danej Multi-pod infraštruktúry.

Najhmatateľnejšou výhodou ACI Multi-pod architektúry je jej jednoduché prevádzkovanie, pri ktorom sú separátne „pod“ subfabriky spravované ako jedna logická entita. To zároveň umožňuje implementovať ACI funkcie dostupné pre „single pod” architektúru (ako napríklad reťazenie sieťových L4-L7 služieb, mikrosegmentácia, integrácia virtualizovaných serverových prostredí, atď.) naprieč Multi-pod architektúrou. Na druhej strane, keďže Multi-pod architektúra reprezentuje jedinú sieťovú fabriku spravovanú jediným riadiacim APIC clustrom, predstavuje tak jednu modifikačnú doménu, v ktorej sú ľubovoľné zmeny konfigurácie alebo sieťových politík v kontexte daného tenantu aplikované okamžite naprieč všetkými „pod“ subfabrikami, čo môže byť interpretované ako problematické z pohľadu šírenia prípadných konfiguračných omylov a chýb.

Požiadavky na úplnú izoláciu ako zo sieťového pohľadu tak aj z pohľadu modifikačných domén viedli k vývoju Cisco ACI Multi-site architektúry, po prvý raz predstavenej s príchodom verzie ACI 3.0(1). ACI Multi-Site architektúra je tvorená viacerými APIC cluster doménami (vrátane ich asociovanej „pod“ architektúry) vzájomne prepojenými prostredníctvom externej smerovanej siete označovanej ako ISN (Inter-Site Network). Implementačný model Multi-Site sa niekedy označuje tiež ako Multi-Fabric, pretože prepája separátne dostupnostné zóny (fabriky), pričom každá z nich môže byť implementovaná ako „single pod“ alebo „multi pod“.

Pre pochopenie dôvodov ktoré viedli spoločnosť Cisco k investícii do vývoja ACI Multi-Site architektúry napriek už existujúcim možnostiam využitia architektúry Multi-pod je veľmi dôležité správne chápanie modelu dostupnostných zón. Podniky a organizácia obvykle vyžadujú nasadzovanie aplikácií v prostrediach dátových centier reprezentujúcich separátne dostupnostné zóny. Táto požiadavka je kritická pre zabezpečenie kontinuity dostupnosti príslušných aplikačných služieb ako aj pre garanciu že výpadky sieťovej infraštruktúry alebo konfiguračné chyby a omyly v rámci jednej dostupnostnej zóny sa nebudú šíriť a nebudú mať vplyv na aplikačné komponenty prevádzkované v iných dostupnostných zónach.

Architektúry Multi-pod a Multi-site  je možné kombinovať podľa špecifických potrieb konkrétneho prostredia.

Architektúra Cisco ACI Multi-Site umožňuje vzájomné prepojenie separátnych ACI fabrík, t.j. separátnych APIC cluster domén, pričom každá APIC cluster doména predstavuje nezávislú dostupnostnú zónu. Súbor zón združených pod jednu MSO (Multi-Site Orchestrator) doménu vytvára región. Takáto architektúra zabezpečuje nielen L2 a L3 konektivitu medzi rôznymi lokalitami aj s garanciou multi-tenant separácie, ale tiež umožňuje aplikáciu konzistentných politík naprieč celým systémom a teda umožňuje pracovať s celým multi-site regiónom ako s jedinou doménou sieťových politík.

Obr. 1 – Architektúra Cisco ACI Multi-Site

Architektúru Cisco ACI Multi-Site vytvárajú viaceré funkčné komponenty:

  • ACI Multi-Site Orchestrator – komponent vykonávajúci úlohu manažéra inter-site politík pre daný región. Poskytuje centralizovaný administračný portál a nástroje pre prevádzkový monitoring všetkých prepojených fabrík. Umožňuje centralizovanú definíciu všetkých inter-site politík, ktoré je následne možné aplikovať v relevantných APIC cluster doménach a automaticky implementovať v sieťových uzloch tvoriacich zodpovedajúce fabriky. MSO taktiež dokáže importovať ACI politiky už zadefinované lokálne v rámci APIC clustrov prepájaných fabrík a následne ich využiť pri definícii extendovaných inter-site politík. MSO komunikuje s APIC clustrami ACI fabrík tvoriacich daný región prostredníctvom OOB (Out-of-Band) management siete. Poskytuje tiež možnosť programovateľného ovládania prostredníctvom komplexných REST API rozhraní.
  • Riadiaca vrstva Intersite – zabezpečuje vzájomnú komunikáciu a výmenu informácií o dosiahnuteľnosti koncových staníc (t.j. o dosiahnuteľných MAC a IP adresách) a využíva na tento účel riadiacu vrstvu MP-BGP EVPN (Multiprotocol-BGP Ethernet VPN). Riadiace MP-BGP EVPN relácie sa vytvárajú prostredníctvom ISN siete medzi „spine“ uzlami implementovanými v jednotlivých ACI fabrikách danej MSO domény.
  • Dátová vrstva Intersite – celá vzájomná komunikácia medzi koncovými stanicami pripojenými v rôznych ACI fabrikách v rámci regiónu prebieha prostredníctvom site-to-site VXLAN (Virtual Extensible LAN) tunelov zostavených cez generickú Inter-site IP sieť ISN prepájajúcu participujúce ACI fabriky.

Na generickú Inter-site IP sieť prepájajúcu ACI fabriky v rámci MSO regiónu nie sú kladené žiadne špecifické požiadavky okrem podpory IP routingu (OSPF) a podpory pre zvýšenú hodnotu MTU (Maximum Transmission Unit)  schopnú pokryť réžiu vnesenú VXLAN enkapsuláciou.

Design riadiaceho systému Cisco ACI Multi-Site Orchestrator je založeny na architektúre mikroslužieb, systém pozostáva z trojice virtuálnych serverov tvoriacich cluster v rámci ktorého všetky uzly pracujú ako aktívne. Na každom z virtuálnych serverov MSO clustra beží Docker proces inštalovaný spoločne s aplikačnými službami ACI Multi-Site. Tieto služby sú riadené a orchestrované prostredníctvom Docker Swarm orchestrátora zabezpečujúceho distribúciu transakcií a úloh medzi všetkými Cisco ACI MSO kontajnermi v režime aktívny-aktívny, čím je zabezpečená jednak dostatočná škálovateľnosť, tak aj vysoká dostupnosť systému.

V aktuálnych verziách je Cisco ACI Multi-Site Orchestrator dostupný ako virtual appliance pre prostredie VMware vSphere. Do budúcnosti je možné predpokladať aj dostupnosť MSO v aditívnych formách (napr. Linux KVM virtual appliance, fyzická appliance).

Implementácia aplikácií alebo aplikačných komponentov v separátnych dátových centrách prichádza veľmi často spoločne s požiadavkou na zabezpečenie privátnosti celej komunikácie medzi dátovými centrami. Medzi tradičné riešenia tohto problému možno zahrnúť použitie jednoúčelových enkrypčných zariadení vložených do komunikačnej cesty alebo využitie sieťových riešení ako IPsec alebo MACsec. Oba spomínané scenáre však vyžadujú implementáciu aditívnych HW zdrojov so špecifickou funkcionalitou.

Verzia Cisco ACI 4.0(1) po prvý raz predstavila integrované riešenie pre zabezpečenie privátnosti komunikácie medzi ACI fabrikami v rámci MSO regiónu označované termínom CloudSec. Toto riešenie je možné pre zjednodušenie popísať ako využitie „multi-hop MACsec“ funkcionality umožňujúcej enkrypciu komunikácie medzi dvojicou VTEP (Virtual Tunnel End-Point) zariadení prostredníctvom generickej IP L3 siete. V kontexte ACI Multi-Site architektúry umožňuje CloudSec riešenie zabezpečiť enkrypciu kompletnej komunikácie opúšťajúcej danú lokalitu dátového centra prostredníctvom lokálneho „spine“ uzla a smerujúcej do vzdialenej lokality dátového centra prostredníctvom „spine“ uzla vzdialenej lokality.


Obr. 2 – Využitie CloudSec technológie pre enkrypciu Inter-Site komunikácie

Enkrypcia a dekrypcia prevádzky medzi prepojenými ACI fabrikami je vykonávaná pri plnej rýchlosti použitých rozhraní (wire rate), t.j. nemá žiadny vplyv na výkon systému. Vyžaduje však použitie aktuálnych modelov „spine“ uzlov, ktoré poskytujú podporu pre CloudSec technológiu. V súčasnosti sú to platformy s fixnou konfiguráciou Cisco Nexus 9332C, Nexus 9364C a tiež modulárne platformy Cisco Nexus 9500 Series vybavené modulmi rozhraní typu 9736C-FX.

Architektúra Cisco ACI Multi-Site ponúka riešenia pre naplnenie pestrého portfólia business požiadaviek, vrátane riešení pre prevenciu výpadkov alebo riešení pre obnovu prevádzky po výpadkoch. Možnosti využitia ACI Multi-Site architektúry sa v princípe odlišujú v scenároch použitých pre konektivitu bridge domén, zjednodušene môžeme identifikovať tri základné scenáre využitia, ktoré stručne približuje nasledujúci obrázok.


Obr. 3 – Architektúra Cisco ACI Multi-Site a jej základné scenáre využitia

Pri rozhodovaní sa o voľbe technológie pre riešenia infraštruktúry dátových centra a pri vyhodnocovaní vlastností, pozitív a negatív potenciálnych kandidátov pravdepodobne nič nedokáže nahradiť osobnú skúsenosť a možnosť uvidieť konkrétnu technológiu priamo v akcii, s opciou interaktívnej práce s daným systémom a možnosťou jeho prispôsobenia špecifickým požiadavkám konkrétneho riešenia.

Spoločnosť Alef Distribution SK sa preto rozhodla sprístupniť túto možnosť a zainvestovala do vybudovania demonštračného a testovacieho prostredia využívajúceho Cisco ACI Multi-Site architektúru v rámci priestorov svojho kompetenčného centra dostupného širokému okruhu záujemcov. Zjednodušenú topologickú schému nášho ACI Multi-Site prostredia približuje nasledujúci obrázok.

Obr. 4 – Demonštračné a testovacie prostredie Cisco ACI Multi-Site v KC Alef

Demonštračné a testovacie prostredie Cisco ACI Multi-Site v našom kompetenčnom centre je vybudované s využitím aktuálnych generácii hardwarových platforiem Nexus 9300 Series a jeho softwarové komponenty (APIC kontrolery, Multi-Site Orchestrator virtual appliances, firmware sieťových uzlov, hypervisor platformy, atď.) sú pravidelne aktualizované a udržiavané na najaktuálnejších verziách. Súčasťou prostredia je okrem iného aj integrácia hyperkonvergovanej platformy Cisco HyperFlex s APIC kontrolerom a prostredím Cisco ACI.

Rozvoj, rozširovanie a dopĺňanie aditívnych technológií a nových riešení do nášho prostredia Cisco ACI Multi-Site bude jednou z našich dlhodobých priorít. V blízkej budúcnosti plánujeme doplniť riešenia ako napríklad:

  • ACI Remote Leaf
  • ACI vPod
  • ACI Anywhere v prostredí Microsoft Azure
  • Cisco Network Assurance Engine
  • Cisco Workload Optimization Manager
  • atď.