„Zakázané praktiky v mnoha ohledech připomínají známé sci-fi filmy – zakázány budou například systémy umělé inteligence, které umožňují podprahovou manipulaci uživatelů, kategorizaci osob podle rasy či jiných faktorů s využitím biometriky, vyhodnocují pravděpodobnost spáchání trestného činu, analyzují emoce lidí na pracovišti a podobně,“ sděluje advokátka Štěpánka Havlíková, advokátka z kanceláře Dentons v Praze.

Systémy umělé inteligence řadí AI Act do kategorií dle míry rizika pro koncové uživatele a pro svobody a hodnoty v Evropské unii, přičemž každá kategorie bude podléhat různému rozsahu regulace. Nejpřísnější kategorii tvoří právě ony zakázané praktiky. Druhou skupinu budou tvořit systémy s vysokým rizikem, používané například pro biometriku, přijímací řízení ke studiu či do zaměstnání, credit scoring (hodnocení úvěruschopnosti bankami při rozhodování o žádosti o úvěr), nacenění životního pojištění či nástroje obsažené v kritické infrastruktuře. V rámci další skupiny bude regulována umělá inteligence určená pro komunikaci s fyzickými osobami jako jsou například chatboti. Vedle toho stanoví AI Act rovněž pravidla pro tzv. obecné modely, tedy modely umělé inteligence všeobecně dostupné pro veřejnost, jakou jsou chatboty typu ChatGPT.

„Účinnost nových pravidel bude nabíhat postupně. K zákazu nejrizikovějších systémů umělé inteligence dojde již po půl roce od počátku účinnosti AI Actu, tedy od 2. února 2025. Kompletní nařízení bude závazné sice až po dvou letech, od 2. srpna 2026, nicméně i to znamená, že by se firmy měly včas připravit, neboť zejména splnění povinností pro vysoce rizikové užití umělé inteligence bude vyžadovat poměrně rozsáhlé kroky. Jako první krok je vhodné zmapovat užití umělé inteligence v rámci firmy a zhodnotit, zda může spadat do rizikové kategorie v rámci AI Actu a zda se může naopak uplatnit některá z výjimek aplikace AI Actu,“ komentuje Štěpánka Havlíková.

Používání nástrojů umělé inteligence bude transparentnější

Zatímco nejrizikovější systémy umělé inteligence norma zakazuje, pro systémy s vysokým stupněm rizika stanoví řadu povinností. Musí být provozovány pod lidským dohledem včetně možnosti okamžitého vypnutí a pro uživatele musí být obsah, který vytváří, zcela transparentní.

Umělá inteligence přímo komunikující se zákazníky jako chatboty nebo callcentra budou muset uživatele informovat, že komunikují s umělou inteligencí, jasně identifikovány musí být rovněž systémy pro detekci emocí a biometriku. Nově bude muset být rovněž transparentně označován obsah generovaný umělou inteligenci včetně tzv. deep fakes (některé sociální sítě například již dnes zavedly možnost označování obsahu vytvořeného AI).

Přísná pravidla rovněž budou platit pro data sety k trénování umělé inteligence, řízení rizik a logování, stejně jako pro registraci AI systémů v databázi EU a pro technickou dokumentaci, která prokazuje soulad s požadavky EU.

„Implementace umělé inteligence však není jen o novém AI Actu. Již dnes by měly firmy nastavit pro využití systémů umělé inteligence pravidla, která budou v souladu s unijní legislativou,“ uzavírá advokátka Štěpánka Havlíková. „Týká se to především zpracování osobních údajů a souladu s GDPR, kyberbezpečnosti, ochrany duševního vlastnictví a otázek nakládání se vstupy a výstupy umělé inteligence, stejně jako otázky implementace umělé inteligence v produktech či v rámci služeb a péče o zákazníky.“