Vplyv umelej inteligencie na kybernetickú bezpečnosť spoločností

Doteraz bola kybernetická bezpečnosť postavená najmä na ochrane používateľov, zariadení, siete, aplikácií a údajov. Spoločnosti používajú firewally, antivírusové a EDR riešenia, systémy na monitorovanie siete, ochranu e-mailov, viacfaktorové prihlasovanie, VPN alebo Zero Trust riešenia. Nad týmito technológiami potom pracujú bezpečnostné tímy, ktoré sledujú veľké množstvo udalostí a snažia sa odhaliť prípadné útoky.

Práve tu začína byť veľmi zaujímavá úloha umelej inteligencie.

AI dokáže spracovať veľké množstvo informácií oveľa rýchlejšie ako človek a dokáže hľadať vzťahy medzi udalosťami, ktoré by bolo pre človeka veľmi náročné manuálne identifikovať. Predstavme si napríklad, že používateľ sa ráno prihlási do firemného systému zo svojho bežného počítača. O niekoľko minút sa však jeho účet prihlási z úplne inej krajiny. Následne sa na jeho počítači spustí podozrivý PowerShell skript a zariadenie začne komunikovať s neznámou internetovou doménou. Samostatne môže každý z týchto signálov vyzerať ako samostatný incident. AI však môže vyhodnotiť ich časovú a kontextovú súvislosť a upozorniť bezpečnostného analytika, že pravdepodobne nejde o štyri nezávislé udalosti, ale o jeden koordinovaný útok.

Tým sa mení aj úloha bezpečnostného analytika. Namiesto toho, aby ručne prechádzal obrovské množstvo logov a alertov, môže dostať od AI už pripravený kontext. AI môže napríklad vysvetliť, čo sa pravdepodobne stalo, ktoré systémy sú zasiahnuté, aký používateľ bol kompromitovaný a aké ďalšie kroky by bolo vhodné vykonať. Človek tak zostáva dôležitou súčasťou procesu, ale nemusí robiť všetku mechanickú a opakujúcu sa prácu.

Cisco práve týmto smerom rozvíja koncept AI for Security. AI sa podľa tejto myšlienky nemá používať iba ako chatbot, ale ako nástroj, ktorý pomáha bezpečnostným tímom pri detekcii hrozieb, vyšetrovaní incidentov, threat huntingu a postupne aj pri automatizácii reakcie na útoky. Cisco tento vývoj spája aj s konceptom agentic AI, kde AI agent dokáže vykonávať viacero krokov potrebných na vyriešenie bezpečnostného problému.

Predstavme si napríklad ransomware útok. Tradičný bezpečnostný systém môže zistiť podozrivú aktivitu a vytvoriť alert. Analytik potom musí zistiť, čo sa stalo, ktoré zariadenia sú napadnuté, či bol kompromitovaný používateľ a či sa útočník dostal aj do ďalších častí siete. AI môže jednotlivé kroky výrazne urýchliť. Dokáže vyhľadať súvisiace udalosti, porovnať ich s predchádzajúcimi útokmi, identifikovať podozrivé správanie a pripraviť odporúčanie pre bezpečnostný tím. Pri menej rizikových situáciách môže systém dokonca automaticky vykonať niektoré opatrenia, napríklad izolovať napadnuté zariadenie alebo zablokovať škodlivú komunikáciu.

To však neznamená, že AI by mala dostať úplnú kontrolu nad firemnou bezpečnosťou. Pri kritických operáciách je stále potrebný človek. Je rozdiel medzi tým, keď AI automaticky zablokuje podozrivú IP adresu, a tým, keď by sama deaktivovala účet administrátora alebo zastavila dôležitý podnikový systém. Preto bude dôležitým princípom budúcnosti risk-based autonomy – v rámci ktorého platí princíp, že čím je rozhodnutie rizikovejšie, tým väčšiu kontrolu by mal mať človek.

Druhá strana problému: AI treba chrániť

Používanie AI však prináša aj úplne nový problém. AI totiž nie je iba nástroj, ktorý môže pomáhať bezpečnostnému tímu. Samotná AI sa stáva súčasťou firemnej IT infraštruktúry a preto ju treba chrániť.

Firma môže napríklad používať interného AI asistenta, ktorý má prístup k firemným dokumentom, databázam, e-mailom alebo CRM systému. Zamestnanec sa ho môže opýtať na interné informácie a AI mu ich dokáže vyhľadať. V takomto prípade však už AI nie je obyčajná aplikácia. Má prístup k citlivým firemným dátam a môže sa stať novým vstupným bodom pre útočníka.

Jedným z typických problémov je prompt injection. Útočník sa môže pokúsiť zmanipulovať AI pomocou špeciálne vytvoreného textu tak, aby ignorovala svoje pôvodné pravidlá. Ešte nebezpečnejší môže byť tzv. indirect prompt injection, keď škodlivá inštrukcia nie je priamo v otázke používateľa, ale napríklad v dokumente alebo webovej stránke, ktorú AI spracováva. Ak AI takýto obsah interpretuje ako príkaz, môže začať robiť niečo, čo útočník zamýšľal.

Ďalším problémom je data leakage, teda únik dát. Zamestnanec môže napríklad vložiť interný dokument do verejnej AI služby, pretože chce, aby mu ho AI zhrnula. Z pohľadu používateľa ide o pohodlný spôsob práce. Z pohľadu firmy však môže ísť o bezpečnostný incident, pretože citlivé dáta opustili kontrolované prostredie.

Tento problém sa označuje aj ako shadow AI. Podobne ako firmy v minulosti riešili shadow IT, keď zamestnanci používali neschválené aplikácie, dnes môžu používať neschválené AI služby. Bezpečnostný tím preto potrebuje vedieť, aké AI služby sa v spoločnosti používajú, kto ich používa a aké údaje do nich odosiela.

Cisco preto v rámci svojej stratégie zdôrazňuje potrebu najskôr AI prostredie identifikovať a zmapovať, následne ho otestovať a až potom chrániť počas prevádzky. Tento koncept Cisco označuje ako Discover, Detect and Protect v rámci Cisco AI Defense riešenia.

Ďalším veľkým posunom je vznik AI agentov. Bežný chatbot väčšinou odpovie na otázku. AI agent však môže dostať úlohu a následne sám vykonať sériu krokov.

Predstavme si napríklad firemného agenta, ktorému používateľ zadá úlohu:

„Nájdi všetky faktúry od tohto dodávateľa a priprav ich na zaplatenie.“

Agent môže vyhľadať dokumenty, pristúpiť do firemného systému, identifikovať faktúry a následne pripraviť platbu. Ak má dostatočné oprávnenia, môže dokonca vykonať samotnú finančnú operáciu.

Z bezpečnostného pohľadu je to zásadná zmena. Ak sa kompromituje klasický používateľský účet, útočník môže získať prístup k určitým systémom. Ak sa však kompromituje AI agent, útočník môže potenciálne zneužiť jeho schopnosť vykonávať automatické akcie.

Preto sa na AI agentov prenášajú bezpečnostné Zero Trust princípy. Spoločnosť musí vedieť, ktorý agent vykonáva konkrétnu operáciu, aké má oprávnenia a či je jeho správanie normálne. Agent by mal mať iba také oprávnenia, ktoré skutočne potrebuje, teda princíp least privilege. Cisco tento prístup označuje ako Zero Trust pre agentic AI.

Ďalšou oblasťou je AI supply chain. Moderná AI aplikácia často nie je vytvorená kompletne jednou firmou. Môže využívať model z externého repozitára, open-source knižnice, cudzie datasety, pluginy alebo externých AI agentov.

To znamená, že spoločnosť nemusí mať úplnú kontrolu nad všetkým, čo sa do jej AI aplikácie dostane. Model môže obsahovať zraniteľnosť alebo dokonca škodlivý kód. Podobne ako pri klasickom softvéri preto vzniká potreba kontrolovať pôvod a bezpečnosť jednotlivých komponentov.

Cisco AI Defense sa preto venuje aj AI supply-chain zabezpečeniu, teda kontrole modelov, agentov a ďalších komponentov ešte pred ich nasadením.

Ako sa teda mení pohľad spoločností na IT bezpečnosť?

Najväčšia zmena podľa mňa spočíva v tom, že AI vytvára dva paralelné smery.

Prvým je AI for Security. Firma používa AI na to, aby lepšie chránila svoje IT. AI analyzuje logy, hľadá anomálie, spája jednotlivé alerty, pomáha pri threat huntingu, vysvetľuje incidenty, automatizuje reakcie na útoky, umožňuje používanie štandardnej reči pri definovaní komunikačných pravidiel a podobne.

Druhým je Security for AI. Spoločnosti musia chrániť samotnú AI. Musia kontrolovať modely, dáta, aplikácie a agentov, zabrániť únikom citlivých informácií a chrániť AI pred prompt injection, jailbreakom, poisoningom a ďalšími útokmi.

Tieto dva smery sa postupne začínajú spájať. Tradičná IT bezpečnosť chráni priamy reťazec postupujúci od používateľa cez zariadenie, sieť a aplikáciu až k samotným dátam. AI však do tohto procesu vkladá novú vrstvu, kde používateľ komunikuje s AI a jej agentmi, ktorí následne cez rôzne nástroje pristupujú k aplikáciám a dátam.

Tým vzniká úplne nový typ otázok ohľadom toho, kto vlastne tento AI agent je, čo všetko môže robiť, k akým dátam má prístup a aké príkazy dostáva. Rovnako je potrebné sledovať, či je jeho správanie normálne a čo sa stane, ak ho niekto zmanipuluje. Budúca firemná bezpečnosť preto nebude iba o ochrane počítačov a siete, ale aj o riadení identity, oprávnení a správania samotných AI systémov. Celá problematika sa tak zbieha do jednej hlavnej myšlienky: AI musí pomáhať spoločnostiam chrániť jej IT infraštruktúru, no zároveň sa samotná AI musí stať objektom prísnej ochrany.

AI nemožno teda vnímať iba ako ďalší nástroj, ktorý firma jednoducho nainštaluje. Ide o technológiu, ktorá zásadne mení samotné fungovanie IT bezpečnosti. Na jednej strane výrazne zvyšuje efektivitu bezpečnostných tímov vďaka rýchlej analýze obrovského množstva dát, odhaľovaniu anomálií a automatizácii reakcií na incidenty. Na druhej strane však prináša nové riziká, keďže AI aplikácie a autonómne agenti získavajú priamy prístup k citlivým firemným dátam a systémom.