„Pro klienta Rohlik Group jsme vybrali GPU server značky Dell se čtyřmi grafickými kartami NVIDIA A100, z nichž každá má kapacitu 80 GB paměti, zapojené do NVLINK. Tato konfigurace stála tři miliony korun a uspokojí klientovy nároky na výkon. Může tak provozovat i velmi náročné aplikace pro strojové učení, rozpoznávání obrazu, analýzu dat nebo provoz velkých jazykových modelů. V době, kdy je využití pokročilých technologií klíčové pro úspěšný byznys, se tak Rohlik Group může spolehnout nejen na samotný hardware, ale také na podporu a naše know-how pro jeho efektivní provoz,“ říká Václav Svátek, generální ředitel ČMIS.

Václav Svátek

„Rozpoznání kvality produktů, jako je například ovoce, nebo ověřování správnosti objednávek jsou typické úkoly pro strojové učení. V Rohlik Group neustále hledáme a vyvíjíme nové způsoby, jak pomocí umělé inteligence zlepšit zákaznický servis. V současné době máme rozjeto hned několik iniciativ, které řeší zákaznický problém pomocí umělé inteligence. Příležitosti ale hledáme i v interních procesech a právě zde nám pomůže nová infrastruktura od ČMIS. Díky dostatečné kapacitě nově dodaných grafických karet jsme byli schopni vytvořit vlastní LLM trénovaný nad interními daty, jako jsou interní wiki či data z reportingu,“ vysvětluje Ondřej Klamt, CTO v Rohlik Group.

Využití nové technologie najdou také v interních procesech: „Uživatel, v tomto případě zaměstnanec, má tak možnost se prostřednictvím chatu velmi rychle dobrat k interní informaci, kterou právě hledá. Například jak funguje daný interní proces, jaká je politika pro schvalování nových pozic nebo třeba jak přesně funguje nějaká funkce v našem systému. Do budoucna bude možné se přes interního chatbota dostat i k odpovědi na otázky spojené s konkrétními výsledky v nějaké KPI. Díky infrastruktuře od ČMIS nemusíme při rozvoji těchto technologií sahat kvůli omezení výkonu k větším kompromisům a můžeme se soustředit na svoje byznysové potřeby,“ dodává Ondřej Klamt.

Zpracování stovek GB dat? Klíčový je nejen výkon, ale i know-how

Rostoucí nároky na využití AI pro byznys znamená i zvýšení nároků na samotnou IT infrastrukturu. Aby mohla firma vůbec trénovat vlastní modely, potřebuje nejen obrovský výpočetní výkon, ale také expertní know-how, jak optimálně navrhnout databáze a zajistit jejich maximální dostupnost. „Zejména velké jazykové modely jsou mimořádně datově náročné, na disku běžně zabírají stovky GB. Jsou to v zásadě obrovské matice, které se musejí načíst do gra­fic­ké paměti (VRAM), aby nad nimi karta mohla provádět výpočty. Od stavu, kdy původně nebylo možné provést výpočty vůbec, jsme se dostali do řádu dnů, respektive hodin u těch nejnáročnějších operací. Nyní může klient například trénovat modely na rozpoznání obrazu, aniž musí významně komprimovat zdrojové obrázky nebo dělat další kompromisy,“ doplňuje Václav Svátek.

Foto: ČMIS, Dell, Ingimage