Představte si dva scénáře. V e-shopu s módou se zákazník zeptá, jakou bundu mu AI doporučí na podzim. Pokud místo péřové doporučí softshellovou, nic zásadního se nestalo. Jde o relevanci, ne o správnost.

Druhý scénář. V bance se klient zeptá: „Mohu si refinancovat hypotéku za stávajících podmínek?” Odpověď závisí na konkrétním produktu, datu dotazu, verzi obchodních podmínek, požadavcích České národní banky, fázi splácení a dokonce na tom, zda se ptá sám klient, jeho poradce, nebo interní auditor. Špatná odpověď může mít právní, regulatorní i reputační důsledky.

Tento rozdíl mezi optimalizací relevance a optimalizací správnosti se v diskusích o enterprise AI často podceňuje. V e-commerce AI optimalizuje uživatelský zážitek. V regulovaném prostředí musí optimalizovat správnost a přípustnost odpovědi. Jsou to fundamentálně odlišné úlohy, i když obě využívají stejné jazykové modely.

Kořen problému leží v povaze dat. Data v e-commerce jsou deskriptivní. Popisují produkty, parametry, ceny. Data v bankách, pojišťovnách nebo ve farmacii jsou normativní. Říkají, co se smí, co se nesmí a za jakých podmínek. Jsou kontextově závislá, vzájemně konfliktní a závislá na implicitních předpokladech. Pracovník banky ví, že pracuje v korunách, že banka nemá určité produkty, že konkrétní služba byla zrušena, ale tři výjimky stále existují. Jazykový model tento kontext nemá, pokud mu ho explicitně neposkytnete.

Problém enterprise AI tedy není primárně technický. Je epistemický: co je v daném kontextu pravda? A normativní: jaká odpověď je přípustná?

Retrieval-Augmented Generation (RAG) se stal dominantním vzorem pro enterprise AI. Princip je intuitivní: systém nejprve vyhledá relevantní dokumenty z firemní znalostní báze a teprve na jejich základě vygeneruje odpověď. Pro scénáře s nízkou mírou rizika (FAQ, produktové katalogy, technická podpora) funguje RAG spolehlivě.

Potíže začínají v regulovaném prostředí. Většina selhání RAG v praxi nejsou selhání modelu, ale selhání retrievalu: špatné dělení dokumentů, nekvalitní indexace, chybějící metadata. K tomu přidejte kolize verzí dokumentů, halucinace při neúplném kontextu a absenci jakékoliv validační vrstvy mezi vygenerováním odpovědi a jejím doručením uživateli.

Jinak řečeno: firmy nasazují AI rychleji, než stíhají stavět kontrolní mechanismy. RAG splnil svůj slib. Dal modelům přístup k firemním datům. Ale sám o sobě nezaručil, že odpovědi budou správné, přípustné a auditovatelné. K tomu je potřeba něco navíc.

Answer governance lze definovat jako disciplínu řízení toho, co AI systém smí odpovědět, na základě čeho, komu a za jakých podmínek. Je to logické pokračování disciplín, které enterprise organizace již znají. Data governance řeší, jak organizace spravuje svá data. Model governance řeší, jak vyvíjí a nasazuje AI modely. Answer governance řeší, jak řídit odpovědi, které tyto modely generují. A to je to, s čím se vaši zákazníci, zaměstnanci a regulátoři skutečně setkávají.

Klíčový posun, který answer governance přináší, je změna základní otázky. Dosud se organizace ptaly: „Je odpověď správná?” Answer governance posouvá otázku jinam: „Můžeme trasovat, jak AI k odpovědi došla, a je celý řetězec pod kontrolou?” Správná odpověď je v regulovaném prostředí relativní pojem, závisí totiž na kontextu, roli, čase a pravidlech. Ale trasovatelnost a kontrola nad celým řetězcem jsou objektivně ověřitelné.

V praxi to znamená řídit, z jakých zdrojů AI čerpá a zda jsou aktuální. Definovat pravidla precedence,  například když si dva dokumenty protiřečí, určit, který má přednost. Řídit, kdy má AI říct „nevím”. V regulovaném prostředí může být nezodpovězení správnější než nepřesná odpověď. Respektovat roli tazatele: zaměstnanec pobočky vidí jiný rozsah informací než interní auditor. A zajistit, že každá odpověď je zpětně dosledovatelná od dotazu přes použité dokumenty až po finální text.

 

Pokud předchozí sekce mohla vyvolat dojem, že stačí zavést answer governance a problém je vyřešený, je namístě tento dojem korigovat.

Jazykové modely nejsou deterministické systémy. Jsou pravděpodobnostní. Generují text na základě statistických vzorů, ne logických pravidel. To znamená, že vždy existuje nenulová pravděpodobnost chybného výstupu. Pokud organizace nedokáže chybu v žádné míře tolerovat, nemůže jazykové modely používat. Většina organizací se nachází někde uprostřed: chyba bolí, ale pokud není příliš častá nebo příliš velká, je únosná. A právě tato tolerance definuje, jakou úroveň governance organizace potřebuje.

Druhý rozpor je úplnost kontextu. Data jsou rozprostřena na mnoha místech, v různých formátech, s různou mírou aktualizace. Kontext zahrnuje i implicitní znalosti, které lidský operátor bere jako samozřejmost, ale které pro AI nejsou viditelné. A paradoxně čím více kontextu modelu poskytnete, tím méně efektivně s ním pracuje.

A konečně nejhlubší rozpor: v mnoha organizacích neexistuje formální definice toho, co je „správná odpověď” na dané typy dotazů. Znalosti jsou distribuovány mezi experty, postupy se liší mezi odděleními. AI systém nemůže poskytnout správnou odpověď, pokud ji organizace sama nedefinovala. Answer governance tedy paradoxně začíná ne u technologie, ale u organizačního úkolu: zmapovat, jaké odpovědi považujeme za správné, kdo za ně nese odpovědnost, a přiznat si, kde to zatím nevíme. Toto je práce, kterou žádný technologický vendor neudělá za vás.

Žádný z následujících kroků problém nevyřeší kompletně. Ale každý z nich snižuje riziko a zvyšuje kontrolu.

Prvním pilířem je dokumentová hygiena. Kvalita odpovědí AI není určena modelem, ale kvalitou dokumentů, ze kterých čerpá. To znamená jasnou strukturu a verzování dokumentů, odstraňování duplicit a zastaralých verzí, definované vlastnictví tak, aby každý dokument měl svého správce, který odpovídá za jeho aktuálnost. Je to práce nudná, ale fundamentální.

Druhým pilířem jsou metadata, řídicí rovina, která určuje, kdo smí vidět jakou odpověď, v jakém kontextu a k jakému datu. Datum účinnosti, verze, cílová skupina, klasifikace dokumentu. Bez metadat se systém chová nahodile. S metadaty se z něj stává řiditelný systém.

Třetím pilířem je auditní stopa. Každá odpověď musí být zpětně dosledovatelná, aby bylo možné dohledat, jaký byl původní dotaz, jaké dokumenty byly použity, jaká pravidla byla aplikována, jaký je finální text. Bez auditní stopy nemůže organizace regulátorovi doložit, že odpověď vznikla kontrolovaným způsobem.

Tyto kroky lze spouštět paralelně a v rozsahu odpovídajícím zralosti organizace. Důležité je začít.

Answer governance je nezbytný krok, ale bylo by nepoctivé tvrdit, že jde o vyřešený problém. Mnohé organizace dosud nemají definováno, co považují za správnou odpověď a formalizace vyžaduje spolupráci compliance, právního oddělení a business ownerů, což přesahuje IT. Organizace nebudou mít jednoho AI asistenta, ale desítky agentů. Jak škálovat governance, aniž se stane brzdou? A přesun odpovědnosti z lidí na systémy je změna kulturní, ne technologická. Kulturní změny jsou vždy těžší.

RAG dal AI asistentům přístup k firemním datům. Answer governance jim dává pravidla, jak s těmito daty nakládat při generování odpovědí. V regulovaném prostředí to není volba, je to podmínka provozu. A governance nakonec rozhodne o tom, zda AI zůstane interním experimentem, nebo se stane důvěryhodnou součástí kritických systémů.