Aktuality -> Analýzy - Dnes - redakce

LLM grooming aneb jak naučit jazykový model lhát?

S rostoucí popularitou vyhledávání informací přes jazykové modely roste i zájem dezinformátorů jejich odpovědi ovlivňovat. V praxi už se objevují případy, kdy se koordinované kampaně snaží zaplavit internet zavádějícím obsahem tak, aby jej AI nástroje následně vyhledávaly, citovaly a reprodukovaly. Tento fenomén se označuje jako LLM grooming. Největší riziko představuje u témat, ke kterým ve veřejném prostoru chybí dostatek kvalitních a ověřených zdrojů.



Dezinformátoři už nebojují o pozornost lidí jen na sociálních sítích, v řetězových e-mailech nebo na dezinformačních webech. Jejich koordinované útoky se již nějakou dobu snaží ovlivňovat i odpovědi jazykových modelů. 
Tento fenomén je označován jako LLM grooming. Jedná se v podstatě o systematické zahlcování internetu zavádějícím nebo nepravdivým obsahem tak, aby jej AI nástroje v budoucnu vyhledávaly, citovaly a reprodukovaly ve svých odpovědích,“ popisuje Jakub Lepš, generální ředitel divize datových analýz česko-americké společnosti Newsmatics.

Aktivita ruské propagandy

Aktuálnost tohoto rizika ukazují i výzkumy z poslední doby. Akademická práce publikovaná v Harvard Misinformation Review se zaměřila na to, zda a v jaké míře mohou jazykové modely přebírat narativy šířené kremelskými a proruskými dezinformačními zdroji, včetně sítě Pravda, která od roku 2022 publikovala velké množství zavádějících a nepravdivých tvrzení zejména v souvislosti s válkou na Ukrajině.
Výzkumníci ve vlastním testování zjistili, že chatboty opakovaly nepravdivá tvrzení v 5 procentech odpovědí a v 8 procentech případů odkazovaly na kremelské dezinformační weby. Některé dřívější anylýzy přitom docházely i k vyšším hodnotám. Samotná přítomnost těchto zdrojů v odpovědích však podle autorů studie nemusí být automaticky důkazem úspěšného LLM groomingu. Spíše ukazuje, že jazykové modely mohou být vůči koordinovanému zaplavování informačního prostoru zranitelné, zvlášť pokud uživatelé kladou dotazy způsobem, který dezinformační rámce předpokládá nebo posiluje.

Riziko informačního vakua

Podle jednoho ze závěrů studie Harvard Misinformation Review byly konverzační modely nejnáchylnější k přebírání dezinformací v situacích, kdy u daného tématu narážely na takzvané informační vakuum – tedy nedostatek kvalitních, ověřených a snadno dohledatelných zdrojů.
Nejrizikovější jsou témata, o kterých ve veřejném prostoru neexistuje dostatek důvěryhodných informací. Pokud v takovém prostoru vznikne mezera, velmi rychle ji může zaplnit někdo jiný, ať už dezinformační aktér, konkurence nebo kdokoli, kdo má zájem dané téma vyložit po svém,“ vysvětluje Jakub Lepš.
 
Riziko přitom nesouvisí jen s masovým šířením geopolitické propagandy. Podobný problém může dopadnout i na firmy, veřejné instituce nebo politiky. „S danou situací se v praxi setkáváme například ve Spojených státech. Souvisí to nejen s tím, že se tam AI nástroje už výrazněji etablovaly jako běžný zdroj informací, ale také s existencí informačních pouští v řadě regionů. Ubývá místních médií, přibývá úzce zaměřených politických a reputačních sporů a o mnoha lokálních aktérech nebo kauzách neexistuje dostatek kvalitních, ověřitelných informací,“ doplňuje Jakub Lepš.

Odpovědnost aktérů i uživatelů

Míra využívání jazykových modelů bude podle Lepše v příštích letech celosvětově dále narůstat. Podle letošního průzkumu agentury STEM/MARK je již dnes k hledání informací alespoň občas používá 79 procent Čechů. „Celkově platí, že kvalita informací poskytovaných jazykovými modely odpovídá kvalitě dostupných zdrojových informací,“ nastiňuje Lepš.
 
Pro instituce, politiky i firmy to znamená, že budou muset stále aktivněji pracovat s tím, jaké informace jsou o nich ve veřejném prostoru dostupné. Klíčová je přitom kombinace vlastních kanálů, jako jsou weby, profily nebo odborný obsah, a nezávislých zmínek v důvěryhodných médiích či dalších relevantních zdrojích. 
Pro běžné uživatele z toho zároveň plyne potřeba přistupovat k odpovědím AI nástrojů kriticky. „Jazykový model může být užitečný pro rychlou orientaci v tématu, neměl by ale nahrazovat ověření v původních zdrojích, zejména u kontroverzních, politických, zdravotních, finančních nebo reputačně citlivých informací,“ uzavírá Jakub Lepš.

 


 
  

- PR -

ZoKB vám neřekne, že jste pod útokem, Progress Flowmon ano

Nový zákon o kybernetické bezpečnosti (ZoKB), který vychází z evropské směrnice NIS2, přináší pro řadu organizací nové povinnosti v oblasti řízení kybernetických rizik. Aktualizují bezpečnostní politiky, nastavují procesy řízení rizik, posilují ochranu kritických systémů a připravují se na nové regulatorní povinnosti. Přesto existuje skutečnost, o které se v souvislosti s ZoKB mluví překvapivě málo. Firma může splňovat všechny požadavky nového zákona o kybernetické bezpečnosti, a přesto neodhalit laterální pohyb útočníka, zneužití privilegovaného účtu nebo probíhající exfiltraci dat.

  

- PR -

Aby AI ve firmách uspěla, musí stát na pevných datových základech

Digitalizace výrobních podniků už dávno není jen otázkou automatizace jednotlivých procesů. Stále více firem si uvědomuje, že skutečná konkurenční výhoda vzniká teprve tehdy, když dokážou propojit výrobní technologie, informační systémy, data a lidské rozhodování do jednoho funkčního celku. Významná část aktuálního vydání IT Systems je proto věnována moderním přístupům k řízení výroby.

Časopis IT Systems / Odborná příloha Kalendář akcí
   červenec - 2026   
Po Út St Čt So Ne
  12345
6789101112
13141516171819
20212223242526
272829303112
3456789
RSS kanál