KYBEZ

Technologický pokrok v oblasti generativní umělé inteligence (např. modely jako ChatGPT, Claude, Gemini a další) výrazně zvyšuje schopnosti útočníků — mnohé aktivity, které byly dříve náročné, se díky AI staly mnohem dostupnějšími a levnějšími. Následují některé z klíčových hrozeb:

Jak se generativní AI zneužívá

• Phishing a business email compromise (BEC)
  Firma SlashNext reportovala, že od roku 2022 došlo k dramatickému nárůstu phishingových útoků — až o 1 265 % v počtu e-mailů s malwarovým či podvodným obsahem, a zvlášť velký nárůst je u útoků, při nichž se snaží útočník získat přihlašovací údaje (“credential phishing”). Generativní AI modely pomáhají vytvářet lépe formulované, cílené zprávy, které se zdají být legitimní, s vyšší úrovní personalizace.

• Falešné identifikační dokumenty a životopisy
  Nedávný článek od Business Insider uvádí, že hackeři z Severní Koreje (např. skupina Kimsuky) a z Číny používají AI ke generování falešných vojenských průkazů, životopisů, ale i k tomu, aby prošli testy a získali pozice v technologických firmách. Tato umělá identita je pak využita pro infiltrace organizací, špionáž nebo získání přístupu ke zdrojům.

• Impersonace a deepfake technologie
  Scammers využívají klony hlasu, falešná videa a jiné deepfake prvky, často v kombinaci se sociálním inženýrstvím, aby vytvořili dojem, že komunikují s důvěryhodnou osobou. To může být použito při podvodech, vydírání či manipulaci. Business Insider upozorňuje, že malé firmy jsou častými oběťmi — např. když jsou napodobené jejich weby, zaměstnanci nebo značky vymyšlené pro falešné nabídky práce.

• Snížení „bariéry vstupu“ pro útočníky
  Generativní AI umožňuje i méně zkušeným aktérům připravit relativně složité útoky — od sofistikovaných e-mailů po falešné dokumenty či aplikace. To znamená, že hrozby rostou nejen v kvalitě, ale i kvantitě.

Multi-agentní systémy a nové typy hrozeb

Když AI agenti nejsou jediní, ale existují jako součást víceagentního systému (Multi-Agent System, MAS), vznikají nové, často komplexnější rizika. Některé typické hrozby:

• Prompt injection / “Prompt Infection”
  Jedna studie („Prompt Infection“) ukazuje, že v multi-agentních systémech může být zneužita schopnost agentů navzájem komunikovat a předávat (či infikovat) si navzájem škodlivé prompt-instrukce, které se šíří jako virus přes více agentů. To může vést k nechtěnému vykonání škodlivých/nevhodných akcí.

• Poisoning dat / memory poisoning
  Pokud agenti sdílejí paměť či databáze (např. vektorové databáze) nebo tréninková data, může útočník vložit zmanipulovaná data tak, že ovlivní rozhodování celého systému. To může být zneužito pro finanční podvody, pohledávky, chybné posouzení rizik, apod.

• Slabé identity a impersonace agentů
  Agent může být zaměněn, napodoben, či napaden – třeba podvržením identity (Agent Impersonation), falešným agentem, nebo kompromitováním přístupových práv. V MAS se pak chybné/infiltrující agent může dostat k ostatním agentům/komunikačním kanálům.

• Komunikační útoky / channel attacks
  Přerušení, odposlech, manipulace komunikací mezi agenty – to může vést k špatným rozhodnutím, šíření dezinformací, ztrátě důvěry nebo kolapsu části systému.

• Kaskádové efekty a emergentní chování
  V MAS, když jeden agent produkuje chybu (např. generuje falešné info, špatný výstup), může tato chyba ovlivnit ostatní, šířit se a zesilovat — tzv. „cascading hallucinations“ či emergentní špatné chování. To je nebezpečné zejména v kritických systémech.

Konkrétní příklady z praxe

• Business Insider / Kimsuky: Hackeři ve skupině Kimsuky využili AI k vytvoření falešných vojenských průkazů, falešných životopisů, prošli kódovacími testy, aby získali práci, což sloužilo jako krytí pro infiltrace do firem a organizací.

• Generativní scam u malých firem: Napodobování firemních značek, falešné nabídky práce, klonované weby, které zneužívají AI-generovaný obsah pro legitimní vzhled i obsah.

• Microsoft a protivníci: Organizace jako Microsoft hlásí, že státní aktéři (Irán, Severní Korea, Rusko, Čína) začínají využívat generativní AI pro phishing, pro analýzu technologií, i pro plánování sofistikovanějších útoků.

Dopady a výzvy

• Důvěryhodnost a reputace: Když se objeví falešné identity nebo podvodné obsahové kusy, organizace riskují poškození reputace, ztrátu důvěry uživatelů i partnerů.

• Regulace a právní rámec: Je otázka, jak upravit odpovědnost za obsah a činosti vytvořené AI — kdo nese zodpovědnost, pokud AI generuje podvodný dokument, kdo je viník?

• Bezpečnost technologií: Jak zajistit, že modely mají omezení (guardrails), že jsou schopné rozeznat škodlivé požadavky, a že prompt injection, impersonace, data poisoning jsou minimalizovány.

• Náklady a schopnosti protiútoku: Menší organizace často nejsou připraveny, nemají odborníky, nástroje nebo rozpočet, aby zvládaly tyto nové hrozby.

Co se dá dělat: doporučení

1. Posílit verifikaci identity — při náboru, ověřování dokumentů, při komunikaci, při přijímání nových zaměstnanců či partnerů.

2. Vzdělávání uživatelů a zaměstnanců — rozpoznání phishingu, schopnost ověřit autenticitu dokumentu, uvědomění, že AI může být použito ke generování dezinformací.

3. Technická opatření

   • nasazení systémů pro detekci deepfake / falešných hlasů / falešného obsahu,

   • audit promptů a ovládání, kdo a jak s AI interaguje,

   • nasazení agent-dozorujících agentů (oversight agents) v multi-agent systémech,

   • zabezpečení komunikace mezi agenty, šifrování, kontrola integrity.

4. Vývoj bezpečnostních standardů a rámců — např. OWASP má iniciativy typu Agentic AI Threats, které se zaměřují na specifika agentních systémů.

5. Regulace & spolupráce — státy, firmy, výzkumné instituce by měly spolupracovat: sdílení informací o útocích, podpoření regulace AI, odpovědnost poskytovatelů AI modelů.

Generativní AI a multi-agentní systémy otevírají ohromné možnosti — od automatizace, zefektivnění práce až po inovaci v mnoha oblastech. Ale zároveň vytvářejí nové cesty pro zneužití. Základním bodem je, že ochrana musí být proaktivní: hrozby se objevují rychle, často překvapují, a tradiční obranné postupy většinou nestačí.

Zdroje: CNBC, Business Insider, Business Insider – malé firmy a AI scam, AP News, Human Security – OWASP Agentic AI Threats, arXiv – Prompt Infection, Sunando Roy – Multi-Agent AI Deployment, LinkedIn – Multi-Agent AI ve finančním sektoru, Galileo AI – Multi-Agent Systems Exploits