Nepamatuji si, že bych kdy zažil takové napětí mezi zaváděním inovací a bezpečností jako dnes. Je logické, že firmy chtějí z AI vytěžit maximum, ale často přehlížejí, že každá nová funkce, každé API, každý agent, otevírá prostor pro útok. Zatímco firmy inovují, potichu ztrácí nad svými systémy kontrolu.

Tím hlavním důvodem je podle mého konkurenční tlak. Společnosti se bojí, že pokud nebudou inovovat stejným tempem jako okolí, ztratí na trhu místo. Očekávají to i jejich marketingové a produktové týmy, které se chtějí zalíbit zákazníkům nebo zrychlit procesy. V honbě za rychlým nasazením nových produktů leckdy zapomínají na revizi kódu nebo bezpečnostní audit. A krátkodobý zisk pak může vést k obrovským problémům.

Není to tak dávno, co podobnou zbrklost vyvolal přechod na cloud. Zatímco firmy soutěžily v tom, která opustí on-premise dříve, nechávaly za sebou úniky dat, nesprávné konfigurace a přístupová práva bez možnosti zpětného dohledání.

Dobrým příkladem, kde AI může napáchat více škody než užitku, je vývoj. V posledních letech v něm rezonuje fenomén vibe codingu. Mezi vývojáři se jedná o běžnou praxi, kdy si kód nechávají psát umělou inteligencí a méně času tráví ověřováním jeho logiky. Ačkoli je kód funkční, může do systému nepozorovaně vnášet slabá místa, na která pak útočníci mohou cílit. AI je tak jakýmsi stínovým vývojářem, u kterého nikdo nedokáže odhalit, za jaké datové toky a API propojení je vlastně zodpovědný.

Zároveň se rodí zbrusu nová hrozba – útoky založené na promptech. Útočníci cíleně zneužívají slabiny velkých jazykových modelů, aby je manipulovali nebo z nich vytáhli citlivá data. V praxi stačí jediný promyšleně postavený text nebo zdánlivě nevinný vstup od zákazníka k tomu, aby AI prozradila důvěrné informace nebo provedla něco, co by vývojář nikdy sám neudělal.

Tyto útoky jsou obzvlášť nebezpečné, pokud AI agenti ovlivňují interní systémy. Představte si agenta, který má přístup do CRM a pomáhá obchodníkům zpracovávat příchozí e-maily – například automatizovat informace o zákaznících nebo odesílat odpovědi. Útočník pak nemusí hledat chybu v kódu. Stačí, když mu do e-mailu napíše, co má udělat. AI agent může prompt pochopit jako skutečný pokyn a provést ho. Útočník tak nezneužije technickou chybu, ale způsob, jakým AI rozumí textu a rozhoduje o akcích. Bezpečnostní týmy pak musejí měnit strategii. Často pak opouštějí tradiční způsoby detekce, protože k manipulaci dochází přímo v komunikaci mezi útočníkem a modelem.

Útočníci jdou ale mnohem dál a AI používají například k hledání bezpečnostních slabin. Jejich agenti založení na LLM systematicky „skenují“ firemní systémy a nacházejí slabá místa. Zatímco firmy se teprve učí, jak AI bezpečně implementovat, útočníci využívají stejné technologie k tomu, aby je napadli.

 

Co tedy dělat, pokud chcete AI ve firmě používat bezpečně? Základem je, aby vaše architektura AI opravdu podporovala a zároveň aby bylo jasné, kdo a jaké nástroje používá. Každé oddělení by mělo otevřeně uvádět, které modely, API a datové zdroje využívá, protože neautorizované používání generativní AI (shadow AI) patří mezi největší rizika. AI agenti by nikdy neměli mít volný přístup ke všem systémům. Proto musíte nastavit role s „nejmenšími oprávněními“, aby každý agent mohl dělat jen to, co skutečně potřebuje. Stejně tak je důležité kontrolovat vstupy do AI systémů. Jednoduché blacklisty nestačí, potřebujete filtry, které odhalí i jemné manipulace v jazyce.

Kromě toho by firmy měly dokumentovat, jak AI používají, aby bylo možné vysvětlit rozhodnutí podporovaná AI, zvlášť pokud ovlivňují zákaznická data nebo klíčové operace. A nikdy nezapomínejte na základní bezpečnostní postupy a kybernetickou hygienu – AI vám nenahradí vývojáře nebo produktové týmy. Ochrana citlivých dat, prompty a modely zůstávají v rukou lidí a bez správných postupů se neobejdete.

Bezpečné používání AI by vás nemělo brzdit v inovování, ale je podmínkou, aby vaše úsilí bylo udržitelné. Osobně si myslím, že dlouhodobě budou z AI benefitovat ty firmy, které najdou balanc mezi rychlým nasazováním technologií a zodpovědností. Organizace, které AI nasadí uvážlivě, dokážou využít její plný potenciál, aniž ohrozí integritu svých systémů, zatímco ty, které ji integrují bez jasné strategie, si pravděpodobně vytvoří časovanou bombu, která se projeví, jakmile někdo zneužije slabiny v ochraně dat.