Zahraniční i tuzemské zkušenosti ukazují, že obavy z bezpečnosti a zneužití AI jsou velmi aktuální. Zhruba polovina Čechů se podle našich dat obává zneužití umělé inteligence ke kyberkriminalitě, a téměř stejně často k úniku citlivých dat. 

Rizika, jako jsou úniky dat, reputační škody a právní dohry, ohrožují společnosti i jejich uživatele. Tyto incidenty přitom v dnešní praxi zůstávají velmi často skryté až do chvíle, kdy negativně ovlivní klientskou zkušenost nebo reputaci značky.

Pro IT specialisty, kteří jsou zodpovědní za integritu firemních systémů, je klíčové znát primární rizikové oblasti, kterým konverzační AI čelí již dnes nebo na ně budou muset být připraveny v nadcházejících měsících, kdy se u nás budou objevovat stále častěji. Tyto hrozby vyžadují komplexní a kontinuální detekci, jež by měla být standardním požadavkem na audit AI systémů. 

 

Náš Defender aktuálně identifikuje 9 hlavních rizikových oblastí rozdělených do dvou skupin:  

Tato skupina rizik představuje přímé ohrožení provozu, finanční stability a dobrého jména firmy.

Konverzační AI může být zneužita k nevhodnému chování, které narušuje chod společnosti. Jedná se o pokusy o „hacknutí“ nebo „přepromtování“ bota ve snaze zneužít jej. Uživatel může takto virtuálního asistenta například přesvědčit, že má nárok na mimořádnou slevu. Příkladem může být incident u automobilky Chevrolet, kde chatbot nabídl jednomu volajícímu auto zdarma a druhému za pouhý jeden dolar.

Asistent může snadno narušit dobrou pověst firmy, i když to není jeho primární funkcí. Především se může vyjadřovat negativně o společnosti, která ho provozuje. Příkladem je chatbot aerolinky Air India, který složil báseň zmiňující, že zpoždění „mohou proměnit slunečnou oblohu v šedou“. 

Podobné problémy mohou vzniknout i ve chvíli, kdy se chatbot či asistent pustí do hodnocení a komentování konkurence. Srovnávání s konkurencí, zejména ve vysoce regulovaných oblastech, jako jsou bankovní služby, představuje značné právní riziko.

Velké reputační riziko představují konverzace, kde se AI vyjadřuje v rozporu s etickými normami. Může se jednat o podporování násilí, hate speech, diskriminační či nelegální chování. Jedna AI-powered aplikace takto například vytvořila tweet, že holokaust dává smysl z environmentálního hlediska, pokud by se lidi nechali přesvědčit, že je morální.  

Podobné riziko představuje vedení hovoru o nedovolených tématech, jako jsou politické nebo sexuální záležitosti. Máme zkušenost, že i s asistenty úzce zaměřenými na bankovní, telekomunikační nebo 

e-commerce služby se množství klientů pokouší vést hovor například o politických nebo sexuálních tématech - pokud by se asistent do takového hovoru nechal vtáhnout a klient by ho publikoval, představuje to reputační riziko.

Častou obavou je, že AI může pomáhat šířit dezinformace. Například Microsoft Bing vygeneroval lživý text o očkovacích látkách proti Covid-19. Jiná AI zase tvrdila, že bývalá členka Evropského parlamentu je teroristka. Podobně v případě virtuálních asistentů reprezentujících konkrétní společnost je nepřípustné, aby si vymýšleli nepravdivé údaje o jejích produktech nebo lidech, kteří společnost veřejně reprezentují.

Poslední skupinou je detekce konverzací, kde se vyskytují nadávky a vulgarity.

Tyto incidenty často vedou k přímým právním dohrám a reputačním katastrofám spojeným s porušením důvěry.

Ochrana soukromí je zásadní a vyžaduje specializované nástroje pro detekci úniků citlivých údajů. V jednom známém případu došlo k tomu, že Microsoft Copilot dostal za úkol vygenerovat fiktivní scénář sexuálního obtěžování pro edukační účely v australské věznici, ale místo toho přišel se skutečným příběhem a skutečnými jmény, a tvrdil přitom, že jde o fikci. Podobně je nepřípustné, aby chatbot použil skutečná data uživatelů, pokud je požádán o fiktivní příklad výpisu z účtu. Systémy by měly rozpoznávat citlivé údaje podle GDPR i v případě, že je uživatel zadá do konverzace.

AI může selhat i v citlivých situacích, jako je řešení úmrtí v rodině (např. rušení účtů u bank) nebo v případě, kdy se klient svěří s vážným zdravotním nebo psychickým problémem. V jednom případě takto asistent špatně porozuměl uživateli se sebevražednými úmysly a doporučil mu, aby odevzdal na nejbližší pobočce úmrtní list. Toto riziko se netýká pouze LLMs, ale i starších technologií, kde je riziko špatného porozumění ve zvláště citlivé situaci vyšší.

 

Z uvedených příkladů a řady praktických situací je zřejmé, že pouhé nasazení konverzační AI již nestačí. Jelikož se tyto problémy ve větší míře dostávají i do Česka a boti velkých tuzemských firem musí čelit desítkám různých forem útoků denně, je nutné zavést komplexní bezpečnostní detekci. 

Včasná detekce rizik je přitom důležitá nejen ve fázi testování AI, ale i v plném provozu. Ztráta přehledu o bezpečnostních hrozbách, nevhodných odpovědích či útocích ze strany uživatelů je totiž nepřijatelná. Nejen, že představuje reputační riziko, ale může přímo ohrozit celý provoz a finanční stabilitu jakékoliv firmy či organizace.