Běžné IT prostředí je optimalizované pro klasické IT aplikace a systémy typu ERP nebo virtuální farmy. Aplikace Umělé inteligence jsou ale postaveny trochu jinak a mají tak jiné nároky na podkladovou infrastrukturu. Nejen tím, že pro svůj běh potřebují specifický akcelerační hardware.  Typicky běží v kontejnerech, takže potřebují kontejnerový engine, orchestraci v podobě kubernetess clusteru vybaveného celou řadou funkcí: od bezpečnosti přes service mesh až po správu zdrojů. 

To znamená, že i infrastruktura musí vypadat jinak. Musí být postavená tak, aby AI aplikace bylo kde vyvíjet, provozovat, monitorovat a dohledovat. Aby se daly efektivně škálovat, reagovat na zátěž a zároveň zůstaly pod plnou kontrolou.

Mnohé firmy, které se do AI pustily, zjistily, že dostat projekt z pilotní fáze do produkce není jednoduché. Často totiž využívají kombinaci více open-source nástrojů, které spolu dobře nekomunikují, mají třeba pouze komunitní podporu a chybí jim jednotná správa.

Výsledkem je roztříštěnost, která se těžko kontroluje a ještě hůř škáluje. To je problém hlavně ve chvíli, kdy je potřeba přejít z testovacího režimu do produkčního prostředí. Jakmile má model začít zpracovávat firemní data ve skutečném produkčním prostředí, začne narážet na nedostatek výpočetního výkonu, škálování, bezpečnostní bariéry nebo problémy v komunikaci mezi klasickým IT a AI týmem. Není proto výjimkou, že pilotní aplikace není v ostrém provozu jednoduše provozovatelná.

Proto vznikl koncept AI továren, jejichž cílem je odstranění těchto provozních problémů. Jde o infrastrukturu navrženou přímo pro potřeby umělé inteligence. Od správného typu akcelerátorů, přes úložiště, výpočetní výkon až po orchestraci, správu zdrojů a observabilitu. Funguje jako celek, předvídatelným způsobem, dá se provozovat, monitorovat, dohledovat i škálovat. AI týmy pak mohou pracovat v prostředí, které je optimalizované pro AI aplikace a od začátku kompatibilní s produkčním provozem.

Často padá otázka, proč vůbec budovat vlastní podvozek, vlastní AI infrastrukturu, když by vše mohlo běžet ve veřejném cloudu. Veřejný cloud není v principu špatné řešení. Má ale několik zásadních nedostatků, se kterými se potýká většina firem, které nasazují AI aplikace ve větším měřítku.

Prvním je bezpečnost a regulace. Řada firem jednoduše nemůže zpracovávat data mimo svůj perimetr. Ať už kvůli vlastní bezpečnosti, zmíněným regulacím, nebo kvůli požadavkům odběratelů. Typickým příkladem z oblasti podnikové AI může být automatizace zpracování RfP, tedy cenových nabídek u produktů vyráběných na míru. Krásná práce pro AI aplikaci, ovšem velcí odběratelé nechtějí, aby byla jejich data zpracovávána ve veřejném cloudu.

Druhým důvodem je kontrola a flexibilita. Ve vlastním prostředí si firma může vybrat, jaké modely bude používat. Není omezena nabídkou jednoho poskytovatele a může si modely i dále upravovat a dotrénovávat a hotový výsledek opět držet v privátním prostředí. A třetím důvodem je potom předvídatelnost nákladů. Ať už se používá model platby za čas využití GPU, nebo za spotřebované tokeny při využívání velkých jazykových modelů, může se s rostoucím počtem uživatelů, dotazů a dat stát provoz generativní AI v cloudu finančně neudržitelným. Firmy proto stále častěji hledají způsob, jak AI provozovat efektivněji, na vlastním hardwaru.

Firmy mají k dispozici několik možností, jak si takovou AI továrnu postavit. Někdo se opře o veřejně dostupné referenční architektury pro hardware a software, jiný volí vlastní návrh infrastruktury přesně podle svých potřeb. Rostoucí popularitě se těší i hotová řešení na klíč, která jsou dodávaná buď tradičně jako systém v datacentru, nebo formou služby (as a service) kombinující pohodlí cloudu s kontrolou nad vlastním prostředím.

AI továrna jako celek potom stojí na několika vrstvách. Tou první je samotná infrastruktura, tedy výkonný a optimalizovaný hardware, úložiště a síťová propojení. Druhou vrstvou je softwarový podvozek, který zajišťuje orchestraci kontejnerů, bezpečnost a monitoring. A třetí, nejdůležitější vrstvou, jsou samotné AI aplikace, které přinášejí reálný byznysový přínos.

Moderní AI továrny jsou navrženy tak, aby zaručovaly maximální bezpečnost. Pro kritická prostředí, například pro státní správu nebo silové složky, existují i varianty air-gapped, tedy zcela odpojené od internetu.

AI projekty dnes tedy nekončí pouze kvůli špatným modelům nebo řešením, ale i kvůli chybějícímu vhodnému podvozku. Umělá inteligence je nová třída aplikací, která vyžaduje novou generaci infrastruktury. Pro firmy, které nechtějí využívat služeb veřejného cloudu, tuto problematiku řeší právě AI továrny: dávají firmám platformu, na které mohou bezpečně provozovat své modely, využívat vlastní data a přetavit je do konkrétních výsledků. Proto o nich slyšíme stále častěji.