facebook LinkedIN LinkedIN - follow
IT SYSTEMS 9/2021 , AI a Business Intelligence , IT právo

Proč je potřebná právní regulace umělé inteligence?

JUDr. Jiří Matzner, Ph.D., LLM


Právní regulace umělé inteligence nabrala v uplynulých letech na úrovni Evropské unie na obrátkách. Na počátku roku 2020 Evropská komise vydala tzv. Bílou knihu o umělé inteligenci, která představila základní rámec pro právní regulaci umělé inteligence, s hlavním principem, podle něhož je člověk vždy na prvním místě. Bílá kniha o umělé inteligenci sice vynesla na světlo hlavní principy a zásady důležité pro regulaci umělé inteligence, včetně zhodnocení souvisejících rizik, nepřinesla však žádný konkrétní právní rámec nebo právní předpis, který by danou problematiku upravoval. To se změnilo na jaře roku 2021, kdy Evropská komise vydala návrh nového nařízení, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci (dále jen „Nařízení o umělé inteligenci“). Pojďme se podívat na základní regulační pravidla, která návrh Nařízení o umělé inteligenci hodlá zavést a vysvětlit si, proč je právní regulace umělé inteligence vůbec potřebná.


Rizika spojená s využitím umělé inteligence a potřeba právní regulace

Na úvod je na místě sdělit, z jakých důvodů je právní regulace umělé inteligence vůbec potřebná. Hlavními důvody pro právní úpravu umělé inteligence jsou její neopomenutelná rizika, které je třeba udržet pod kontrolou. Jedním z hlavních rizik umělé inteligence je bezpečnost. Příklad se dá uvést třeba u autonomní dopravy neboli dopravy řízené umělou inteligencí, u které teoreticky může nastat situace, že v důsledku chybné identifikace objektu na pozemní komunikaci vozidlo řízené umělou inteligencí způsobí vážnou dopravní nehodu. Jako další příklad lze uvést situaci, kdy umělá inteligence nepodléhá patřičnému dozoru, může se na základě špatných vstupních dat naučit diskriminovat různé druhy sociálních skupin, což by bylo rovněž krajně nežádoucí. Zní to v tuto chvíli sice poněkud abstraktně, ale realita vskutku taková je. Další rizika existují např. při využívání umělé inteligence ve zdravotnictví, kdy by zcela banální technologické selhání umělé inteligence mohlo způsobit dokonce ztráty na životech. Z důvodů nezpochybnitelné existence řady různých rizik při využívání umělé inteligence tak vyvstává jednoznačná potřeba její užívání regulovat.

Právní regulace umělé inteligence

V České republice zatím neexistuje žádná komplexní právní regulace umělé inteligence a na úrovni Evropské unie tato regulace teprve vzniká, což dokládá mj. publikace Bílé knihy o umělé inteligenci i návrh nového Nařízení o umělé inteligenci. V bílé knize o umělé inteligenci Evropská komise představila svou vizi právního rámce umělé inteligence, s důrazem na bezpečnost, nediskriminaci, ochranu soukromí při využívání umělé inteligence a v neposlední řadě i na lidský dozor nad užíváním umělé inteligence. Především pak ve vysoce rizikových odvětvích, mezi něž bílá kniha řadí například zdravotnictví, státní správu nebo dopravu.

Návrh nového Nařízení o umělé inteligenci se snaží položit základní kámen pro nastavení harmonizovaných pravidel pro vývoj systémů umělé inteligence v rámci Evropské unie, jejich uvádění na trh a užívání na základě vyváženého přístupu založeného na posouzení rizik. Jednak Nařízení o umělé inteligenci zavádí seznam zakázaných praktik v oblasti umělé inteligence, majících potenciál manipulovat s fyzickými osobami zejména skrze podprahové metody bez jejich vědomí, s cílem ovlivnit jejich chování. Návrh nového Nařízení o umělé inteligenci také například zakazuje přidělování sociálního kreditu na základě umělé inteligence pro účely orgánů veřejné moci. Až na některé výjimky by mělo být zakázáno i používání biometrické identifikace na dálku v reálném čase na veřejně přístupných místech.

Nařízení o umělé inteligenci dále také zavádí speciální pravidla pro systémy umělé inteligence, jenž představují vysoké riziko pro zdraví a bezpečnost fyzických osob nebo pro základní práva fyzických osob. Používání těchto vysoce rizikových systémů umělé inteligence by mělo být povoleno výhradně za předpokladu, že dojde ke splnění přísných zákonných požadavků, zejména pokud jde o správu údajů, uchovávání záznamů, transparentnost a poskytování informací uživatelům těchto systémů, lidský dohled, spolehlivost, přesnost či bezpečnost.

Nařízení o umělé inteligenci nezapomíná zohlednit i rizika potenciální manipulace některých systémů umělé inteligence. Zavádí tak povinnost informovat fyzické osoby, jakožto uživatele systémů umělé inteligence, které komunikují s lidmi, používají se k detekci emocí nebo generují obsah (popř. s ním manipulují), o tom, že komunikace probíhá se systémem umělé inteligence. Nařízení v neposlední řadě zřizuje správní systémy týkající se regulace umělé inteligence, a to jak na úrovni Evropské unie, tak i na úrovni jednotlivých členských států. Na úrovni Evropské unie by mělo dojít ke zřízení Evropské rady pro umělou inteligenci složené ze zástupců jednotlivých členských států a Evropské komise. Na vnitrostátní úrovni by měly členské státy mít povinnost ustanovit jeden nebo více příslušných vnitrostátních orgánů (vč. dozorového orgánu), pro účely dohledu nad uplatňováním a prováděním Nařízení o umělé inteligenci.

Závěr

Nařízení o umělé inteligenci by mělo přinést zásadní průlom v právní regulaci systémů umělé inteligence, jelikož se jedná o jeden z prvních právní předpisů komplexně upravujících tuto rychle se rozvíjející oblast. Nařízení se pokouší nastavit spolehlivou metodiku řízení rizik, s cílem definovat „vysoce rizikové“ systémy umělé inteligence, představující rizika pro zdraví a bezpečnost nebo základní práva fyzických osob, což je bezesporu značně ambiciózní cíl. Do jaké míry se to nakonec podaří, samozřejmě ukáže čas.

Jiří Matzner JUDr. Jiří Matzner, Ph.D., LLM.
Autor článku je zakladatelem advokátní kanceláře MATZNER et al.
Chcete získat časopis IT Systems s tímto a mnoha dalšími články z oblasti informačních systémů a řízení podnikové informatiky? Objednejte si předplatné nebo konkrétní vydání časopisu IT Systems z našeho archivu.

Inzerce

Konec papírování, digitalizujte a usnadněte si práci!

IT Systems 3/2024V aktuálním vydání IT Systems jsme se zaměřili na vývoj digitalizace ve světě peněz, tedy v oblasti finančnictví a pojišťovnictví. Dozvíte se například, proč je aktuální směrnice PSD2 v inovaci online bankovnictví krokem vedle a jak by její nedostatky měla napravit připravovaná PSD3. Hodně prostoru věnujeme také digitalizaci státní správy a veřejného sektoru, která nabírá obrátky.