Hlavní strana -> Zprávy
Aktuality -> Analýzy - Dnes - Adam Paclt

Firmy mohou nevědomky sbírat biometrická data

a vystavovat se tím postihu za porušení nařízení AI Act

Evropská unie v nařízení AI Act reguluje takzvané behaviorální AI systémy. Jde o nástroje, které rozpoznávají emoce zaměstnanců, analyzují jejich chování nebo je kategorizují podle biometrických rysů. Problém je, že většina firem si ani neuvědomuje, že podobné funkce už můžou mít zabudované v nástrojích, které denně používají, od kamerových systémů přes monitorovací software až po doplňky do videokonferencí.



Školy nevěděly, že sbírají biometrická data studentů

V březnu 2025 začala videokonferenční platforma Teams automaticky sbírat hlasová a obličejová data uživatelů prostřednictvím funkce nazvané voice and face enrolment.  Funkce vytváří hlasový a obličejový profil každého účastníka videohovorů. Poskytovatel platformy tvrdil, že to zlepšuje kvalitu zvuku a umožňuje softwaru rozpoznat, kdo mluví.
Úřad pro školství v australském Novém Jižním Walesu, kde Teams používají školy jako hlavní komunikační platformu pro učitele a studenty, se o tom dozvěděl až po měsíci. Úřad funkci ihned vypnul a profily smazal. Případ ovšem ukazuje, jak snadno se může stát, že firma nebo instituce sbírá biometrická data, aniž by o tom věděla. Poskytovatel změnu nastavení oznámil na konci roku 2024, ale ne všichni zákazníci si upozornění všimli nebo pochopili jeho dosah.

Kde se behaviorální AI schovává

Funkce využívající biometrii se můžou objevit v nástrojích, které firma už běžně používá. Často jako volitelný modul nebo doplněk, který někdo zapnul, aniž by si uvědomil právní dopady. Videokonference a doplňky patří mezi nejčastější zdroje rizika. Zoom v roce 2020 zrušil funkci attention tracking po kritice kvůli narušování soukromí. Dnes ale nabízí analýzu sentimentu v kontaktních centrech, kde některé verze zkoumají nejen text, ale i tón hlasu. To už může spadat pod rozpoznávání emocí z biometrických dat.
Kamerové systémy a retailová analytika představují další riziko. Například britský Network Rail testoval na nádražích AI analýzu emocí a demografie. Podobné moduly nabízí řada kamerových systémů jako volitelné doplňky. Firmy si často neuvědomují, že demografická analýza je forma biometrické kategorizace, která může spadat pod regulaci.
Docházka a přístupové systémy založené na biometrii vyžadují zvláštní pozornost. Britský úřad ICO v únoru 2024 nařídil společnosti Serco Leisure přestat používat rozpoznávání obličeje pro docházku. Byl to první případ, kdy úřad zakázal zaměstnavateli biometrickou docházku.

Co říká AI Act a jaké pokuty hrozí

Nařízení AI Act přímo zakazuje některé praktiky s behaviorální AI. Od 2. února 2025 platí zákaz rozpoznávání emocí na pracovištích a ve školách. Výjimky jsou přípustné pouze pro medicínské nebo bezpečnostní účely. Zákon také zakazuje biometrickou kategorizaci podle chráněných znaků jako je politické přesvědčení, náboženství nebo sexuální orientace. A zakazuje nekontrolované stahování obličejů z internetu nebo kamerových systémů k vytváření databází.
Pokuty jsou vysoké. Za porušení zákazů hrozí až 35 milionů eur nebo 7 procent celosvětového obratu, podle toho, co je vyšší. Za jiná porušení povinností až 15 milionů eur nebo 3 procenta obratu.

Riziko z pohledu kyberbezpečnosti

Zpracování biometrických dat není rizikem jen ve vztahu k možnému porušení předpisů. Jde také o vážné riziko z pohledu kyberbezpečnosti. Biometrické systémy sbírají nejcitlivější data jako obličejové skeny nebo hlasové profily. Útočníci po získání těchto dat mohou vytvářet deepfake videa, falešné hlasové autorizace nebo obcházet biometrické ověření. Nejde už jen o částečné informace o lidech, ale hotové klíče k jejich identitě.
Případ britské inženýrské firmy Arup potvrzuje, že riziko je reálné. V roce 2024 přišla o 25 milionů dolarů při deepfake videohovoru. Policie v Hong Kongu případ nadále vyšetřuje. Jde o ilustraci toho, jaké následky může mít únik hlasových a obličejových dat.

Okamžitá ochrana není složitá

První krok je inventura platforem. Firma by měla projít všechny nástroje pro videokonference, HR, kontaktní centra, docházku a kamerové systémy. U každého nástroje zkontrolovat nastavení a seznam aktivních doplňků. U často používaných komunikačních platforem jako Teams je nutné zkontrolovat aplikace třetích stran a nastavit povinné schvalování. Například u Zoomu prověřte AI Companion. Vyhledejte a vypněte jakékoliv funkce s názvem emotion, mood nebo engagement score. U kamerových systémů deaktivujte biometrické nebo demografické moduly.
Kromě technických opatření zaveďte také interní směrnici, že firma nepoužívá systémy k rozpoznávání emocí. Do smluv s dodavateli přidejte klauzuli, že řešení neobsahuje zakázané funkce, a definujte možnost odstoupení a smluvní pokutu při porušení.

AI nástroje se ale vyvíjí a je třeba zajistit průběžný dohled

Častý předpoklad je, že pokud firma nic speciálně nezapínala, nemá žádné rizikové funkce. Případ australského úřadu pro školství ale ukazuje opak. Dodavatel může funkci zapnout automaticky a uživatel se o tom dozví až s odstupem.
AI Act se snaží regulovat oblast, která se velmi rychle vyvíjí. Některé funkce, které dnes vypadají neškodně, můžou být za rok zakázané. A naopak, některé zakázané praktiky už dnes běží v nástrojích, které firma používá, aniž by o tom věděla.
Nejlepší ochrana je pravidelný audit nástrojů, jasná politika a školení zaměstnanců. A hlavně pozornost k tomu, co dodavatelé přidávají do svých produktů. Protože to, co dnes vypadá jako užitečná funkce pro zlepšení kvality zvuku, může být zítra důvod k pokutě.
 
Adam Paclt
Autor článku je generálním ředitelem společnosti APPSEC.

 
  

- PR -

Jak dostat výrobu pod kontrolu aneb realistické plánování v praxi

Registrujte se na odborný workshop, který vám udělá jasno v tom, jak efektivně řídit kapacity a termíny ve výrobě, jak snížit rozpracovanou výrobu, jak reagovat rychle na neočekávané změny, jak simulovat plány a rozvrhy… Setkejte se s experty na plánování a rozvrhování výroby s dlouholetou praxí. Zástupce výrobní firmy se s vámi podělí o praktické zkušenosti s plánováním a rozvrhováním v APS.

  

- PR -

Lenovo Workstations

Nejvýkonnější technologie pro profesionály i motorsport


Výpočetní výkon dnes rozhoduje o tom, jak rychle se podaří vyvíjet, testovat, simulovat i uvádět nové technologie do praxe. V oblastech, kde se pracuje s rozsáhlými 3D modely, aerodynamickými simulacemi, datovou analýzou či pokročilým renderováním, už běžné notebooky a kancelářské desktopy nestačí. Právě zde nastupují pracovní stanice Lenovo ThinkStation a ThinkPad P jako nejvýkonnější zařízení, která Lenovo vůbec nabízí.