Ako funguje Azure Monitoring
Hlavný ciel monitorovania je zabezpečiť aplikáciám a službám maximálnu dostupnosť a výkon. Taktiež na základe výstupov vieme následne optimalizovať náklady. Monitorovanie je dôležité aj po bezpečnostnej stránke, s čím súvisí auditovanie.
Cena za celkové monitorovanie závisí od rôznych faktorov: množstvo nazbieraných dát, možnosti pristupovania, vyhľadávanie, typ dát a mnoho ďalších. V tomto článku sa pozrieme na to, čo nám ponúka Azure Monitor, aké dáta môžeme zbierať, kam ich ukladať a čo sa s nimi dá robiť.
Azure Monitor je služba, ktorá poskytuje sadu monitorovacích nástrojov. Azure Monitor je k dispozícii v momente vytvorenia Azure subskripcie. Funkcie Azure Monitor, ktoré sú automaticky zapnuté, sú poskytované bezplatne. Konkrétne ide o Activity log a Metrics. Acitivy log okamžite zbiera údaje o aktivite – napríklad vytvorenie, zmazanie alebo editovanie zdrojov. Tieto záznamy môžeme sledovať na úrovni Azure Active Directory, subskripcie, ale aj na samotných zdrojoch.
Metrics okamžite zhromažďuje číselné údaje monitorovaných zdrojov v pravidelných časových intervaloch a ukladá ich do databázy časových radov. Dáta sú zobrazované formou grafov. K dispozícií máme dáta za posledných 90 dní. Na jednotlivých zdrojoch Azure ponúka možnosť ukladať Resource Logs, ktoré sa generujú automaticky, ale nikam sa neukladajú. Každý typ služby má špecifické možnosti alebo kategórie dát, ktoré sú k dispozícii na ukladanie. Kategórie dát a destinácia ukladania sa musia nakonfigurovať pre každú službu (resource) samostatne, preto je vhodné využiť Azure Policy na automatizáciu tohto procesu.
Okrem zbierania dát samotných zdrojov, máme možnosť zbierať dáta o operačnom systéme na virtuálnych strojoch pomocou Microsoft Monitoring Agenta na koncovom zariadení.
Dáta môžeme ukladať do Log Analytics Workspace, Storage Account, Event Hub. Destináciu ukladania môžeme nastaviť okrem Resource Logs aj pre samotné Metrics a Activity log.
1. Log Analytics Workspace (LAW)
Log Analytics Workspace je jednotka úložiska, ktorá okrem úložiska zahŕňa nástroje na bohatú analýzu dát. Dáta sa ukladajú do tabuliek, s ktorými môžeme ďalej pracovať. Držanie dát je bez poplatku na 31 dní (90 ak máme Sentinel). Ak chceme držať dáta dlhšie, je vhodné nastaviť správny lifecycle management. K dispozícii máme Basic, Analytics a Archive logs.
Analytics logs ponúkajú bohatú analýzu (agregovať, sumarizovať, hľadať anomálie...), čo sa prejavuje aj na cene. Do tohto typu sa odporúča zbierať bezpečnostné logy. Štandardne sa uchovávajú 31 dní, ale konfiguráciou nastavení to vieme predĺžiť na dobu 2 rokov. V tomto prípade sa platí za množstvo dát, ktoré uchovávame, a za čas uchovania (po uplynutí 31 dní). Vyhľadávanie a analýza dát je v cene.
Basic logs sa uchovávajú 8 dní, čo môže byť pre menej dôležité procesy dostačujúce (logy z aplikácií). Avšak po 8 dňoch sa tieto dáta presunú na 22 dní do archívnej vrstvy, v prípade potreby prekonvertovania na analytický typ (tie sa štandardne držia 31 dní). Basic logs majú isté obmedzenia – nedokážu používať alerty, k dispozícii sú iba základné queries (filtrovanie, parsovanie) a vyhľadávanie dát je spoplatnené podľa množstva dát, v ktorom vyhľadávame.
Archived logs môžeme archivovať až 7 rokov za minimálne náklady držania. Vyššie náklady sú za obnovenie dát, ale môžeme použiť službu asynchrónneho vyhľadávania dát podľa filtrácie v časovom úseku (maximálne 1 rok), čo vytvorí novú tabuľku typu analytics. Táto možnosť sa oplatí na vytiahnutie menšej podmnožiny špecificky definovaných dát ako dáta jedného užívateľa.
K dispozícii je aj druhá možnosť obnovenia celého bloku dát do tabuľky analytického tieru a následne v nej potom vyhľadávať. Platí sa za množstvo dát za časovú jednotku (minimum 2 dni). Tabuľka nemá zadefinovanú životnosť, takže bude prístupná, až kým ju nezmažeme. Táto možnosť bez filtrácie sa používa v prípade, že nevieme presne, čo hľadáme, a potrebujeme nad tým robiť analýzu.
Na zníženie nákladov sa odporúča zvážiť, či množstvo dát, ktoré zbierame, je pre nás nevyhnutné, a následne vyhodnotiť obmedzenia zbierania. Napríklad nezbierať Informačný level eventov na virtuálnych strojoch, neukladať metriky do LAW a podobne.
2. Azure Storage Account
Azure Storage Account umožňuje nízkonákladové uchovávanie a možnosť prerozdeliť logy do rôznych oblastí. Toto riešenie je cenovo výhodné a používa sa hlavne v prípade, keď chceme dlhodobo uchovávať dáta. Dĺžka uchovávania je bez obmedzenia. Avšak oproti LAW toto riešenie samostatne neponúka možnosť vyhľadávania v našich dátach.
Na vyhľadávanie potrebujeme prelinkovať Azure Data Explorer so Storage Account pomocou External tables. Po konfigurácii budú tabuľky dostupné ako zdroj údajov pre Azure Data Explorer. Veľkou výhodou tohto riešenia je šetrenie nákladov, pretože platí sa iba v prípade, keď analyzujeme dáta.
Podľa frekvencie pristupovania k dátam máme k dispozícii 3 úrovne: hot, cold, archive. Hot tier slúži pre často pristupované dáta. V Cold tier sa držia menej pristupované dáta, ktoré sú ihneď k dispozícii. Archive tier slúži pre offline dáta, ku ktorým sa pristupuje zriedkavo. Spätná rehydratácia dát (pojem pre prevedenie dát z colder na hotter tier) trvá určitý počet hodín a nie je to okamžité. Cena za jednotlivé úrovne sa líši v čase držania dát, čítania dát a zápisu dát.
3. Event Hub
Event Hub posiela dáta do externého monitorovacieho nástroja 3. strany. Funguje na báze publish-subscribe.
Práca s dátami
Okrem spomínanej analýzy dát Azure ponúka nástroje na vizualizáciu, ako sú Dashboards, Workbooks alebo Power Bi. Tieto nástroje ponúkajú vytváranie tabuliek, reportov z kombinácií výstupov queries, metrík, logov.
Insights poskytuje východiskový bod na monitorovanie služieb, kde môžeme sledovať výkon, dostupnosť, latenciu služieb. Insights kombinuje logy a metriku, čo ponúka monitorovacie riešenie v širšom pohľade, ktoré pomáha identifikovať závislosti jednotlivých zdrojov.
Alerts (upozornenia) – V rámci monitorovania je dôležité, aby bola kontaktná osoba informovaná o kritických udalostiach. Toto zabezpečuje vytváranie notifikačných pravidiel (alert rules). Tieto pravidlá môžeme nastaviť na základe metrík, eventov, logov alebo queries. S Alert rules úzko súvisia action groups, ktoré generujú aktivitu na základe upozornenia. Notifikácia môže byť vo forme SMS, e-mail, ale taktiež môže byť alert počiatočný bod pre automatizačný proces. Príklad pravidla by mohol byť: Ak je vyťaženie CPU nad určitý počet percent, niekto vygeneruje SAS token alebo VM je nedostupná.
Azure ponúka možnosť integrácie s inými systémami, ktoré využívajú monitorovacie dáta z Azure Monitor. Logic Apps je služba, ktorá sa používa na automatizáciu procesov s integráciou iných systémov a služieb. Vďaka rozhraniam API máte v podstate neobmedzené možnosti na vytváranie vlastných riešení, ktoré sa integrujú s Azure Monitor.
