AI Act – Zákon o umělé inteligenci – konsolidované znění

Před malou chvílí Výbor stálých zástupců vlád členských států Evropské unie jednomyslně schválil navržené znění Zákona o umělé inteligenci – AI Act. Plné znění tohoto zákona jsem sem dával před pár dny na konci článku Aktualizace: plné znění návrhu AI Act – zákona o umělé inteligenci.

Je to ale 258 stránek hutného textu, a tak jsem si zde dovolil pro vás ještě přeložit shrnutí klíčových informací zpracované institutem Future of Life. S překladem mi mocně pomohl Deepl, ale hodně jsem toho upravoval a doplnil pár dalších informací, uvítám místní právníky a češtináře, když mi dají vědět o chybách v překladech, mám pocit, že tahle zkrácená verze by se totiž mohla hodit i dalším lidem (a dávám tímto svolení s jejím užitím za předpokladu uvedení zdroje).

Vytvořil jsem také GPT asistenta EU AI Act Insight, kterého můžete využít pro dotazování se na detaily z plného znění zákona. Pro jeho využití musíte být uživatelé placené verze ChatGPT Plus, Team nebo Enterprise.

TL;DR

Zákon o AI klasifikuje AI podle její rizikovosti:

• Systémy s nepřijatelným rizikem jsou zakázány (např. sociální bodovací systémy a manipulativní umělá inteligence).
• Většina textu se zabývá vysoce rizikovými systémy AI, které jsou regulovány.
• Menší část se zabývá systémy umělé inteligence s omezeným rizikem, na které se vztahují mírnější povinnosti transparentnosti: vývojáři a nasaditelé musí zajistit, aby koncoví uživatelé věděli, že komunikují s umělou inteligencí (chatboty a deepfakes).
• Minimální riziko je neregulované (včetně většiny aplikací umělé inteligence, které jsou v současnosti dostupné na jednotném trhu EU, jako jsou videohry s umělou inteligencí a filtry nevyžádané pošty – přinejmenším v roce 2021; to se mění s generativní umělou inteligencí).

Většina povinností připadá na poskytovatele (vývojáře) vysoce rizikových systémů AI.

• Subjekty, které mají v úmyslu uvést na trh nebo do provozu vysoce rizikové systémy AI v EU, bez ohledu na to, zda mají sídlo v EU nebo ve třetí zemi.
• A také poskytovatelé ze třetích zemí, u nichž se v EU používá výstup systému AI s vysokým rizikem.

Uživatelé („nasaditelé“) jsou fyzické nebo právnické osoby, které systém AI nasazují jako profesionálové, nikoliv dotčení koncoví uživatelé.

• Uživatelé (nasaditelé) vysoce rizikových systémů AI mají určité povinnosti, i když menší než poskytovatelé (vývojáři).
• To se týká uživatelů v EU a uživatelů ze třetích zemí, pokud se výstup systému AI používá v EU.

AI pro všeobecné účely (GPAI):

• Všichni poskytovatelé modelů GPAI musí poskytnout technickou dokumentaci, návod k použití, dodržovat směrnici o autorských právech a zveřejnit shrnutí obsahu použitého pro školení.
• Poskytovatelé modelů GPAI s volnou a otevřenou licencí musí pouze dodržovat autorská práva a zveřejňovat přehled výukových dat, pokud nepředstavují systémové riziko.
• Všichni poskytovatelé modelů GPAI, které představují systémové riziko – otevřené nebo uzavřené – musí rovněž provádět hodnocení modelů, testování protistrany, sledovat a hlásit závažné incidenty a zajistit ochranu kybernetické bezpečnosti.

Zakázané systémy AI (hlava II, čl. 5)

Je zakázané:

• Použití podprahových, manipulativních nebo klamavých technik, které narušují chování a zhoršují informované rozhodování a způsobují značnou škodu.
• Zneužívání zranitelnosti související s věkem, postižením nebo socioekonomickými okolnostmi k narušení chování a způsobení značné újmy.
• Biometrické kategorizační systémy odvozující citlivé atributy (rasa, politické názory, členství v odborech, náboženské nebo filozofické přesvědčení, sexuální život nebo sexuální orientace), s výjimkou označování nebo filtrování zákonně získaných souborů biometrických údajů nebo v případě kategorizace biometrických údajů orgány činnými v trestním řízení.
• Sociální bodování, tj. hodnocení nebo klasifikace jednotlivců nebo skupin na základě sociálního chování nebo osobních vlastností, což způsobuje poškozování nebo znevýhodňování těchto osob.
• Posuzování rizika, že se jednotlivec dopustí trestného činu, pouze na základě profilování nebo osobnostních rysů, s výjimkou případů, kdy se používá k doplnění lidského posouzení založeného na objektivních, ověřitelných skutečnostech přímo souvisejících s trestnou činností.
• Sestavování databází rozpoznávání obličejů necíleným získáváním snímků obličejů z internetu nebo kamerových záznamů.
• Rozpoznávání emocí na pracovištích nebo ve vzdělávacích institucích, s výjimkou zdravotních nebo bezpečnostních důvodů.
• „Real-time“ dálková biometrická identifikace (RBI) na veřejně přístupných místech pro účely vymáhání práva, s výjimkou:
  • pátrání po pohřešovaných osobách, obětech únosů a osobách, které se staly obětí obchodování s lidmi nebo sexuálního vykořisťování;
    • zabránění závažnému a bezprostřednímu ohrožení života nebo předvídatelnému teroristickému útoku nebo
    • identifikace podezřelých ze závažných trestných činů (např. vraždy, znásilnění, ozbrojené loupeže, obchodování s narkotiky a nelegálními zbraněmi, organizovaná trestná činnost, trestná činnost proti životnímu prostředí atd.).
  • Používání RBI s umělou inteligencí v reálném čase je povoleno pouze tehdy, pokud by nepoužití nástroje způsobilo značnou újmu a musí zohledňovat práva a svobody dotčených osob.
  • Před nasazením musí policie dokončit posouzení dopadu na základní práva a zaregistrovat systém v databázi EU, avšak v řádně odůvodněných naléhavých případech může být nasazení zahájeno bez registrace, pokud bude později bez zbytečného odkladu zaregistrováno.
  • Před nasazením musí rovněž získat povolení od soudního orgánu nebo nezávislého správního orgánu¹, ačkoli v řádně odůvodněných naléhavých případech může být nasazení zahájeno bez povolení, pokud je o něj požádáno do 24 hodin. Pokud je povolení zamítnuto, musí být nasazení okamžitě ukončeno a všechny údaje, výsledky a výstupy vymazány.

Vysoce rizikové systémy umělé inteligence (hlava III)

Klasifikační pravidla pro vysoce rizikové systémy AI (článek 6)

Vysoce rizikové jsou systémy umělé inteligence jsou ty, které

• se používají jako bezpečnostní komponenta nebo výrobek, na který se vztahují právní předpisy EU uvedené v příloze II A KTERÉ musí být podrobeny posouzení shody třetí stranou podle těchto právních předpisů uvedených v příloze II, NEBO
• spadají pod případy použití podle přílohy III (níže), s výjimkou případů, kdy:
  • systém umělé inteligence vykonává úzkou procedurální úlohu;
  • zlepšuje výsledek dříve dokončené lidské činnosti;
  • zjišťuje vzorce rozhodování nebo odchylky od předchozích vzorců rozhodování a nemá nahradit nebo ovlivnit dříve provedené lidské hodnocení bez řádného lidského posouzení; nebo
  • provádí přípravný úkol k posouzení, které je relevantní pro účely případů použití uvedených v příloze III.

Systémy umělé inteligence jsou vždy považovány za vysoce rizikové, pokud se jedná o profilování osob, tj. automatizované zpracování osobních údajů za účelem posouzení různých aspektů života osoby, jako je pracovní výkonnost, ekonomická situace, zdraví, preference, zájmy, spolehlivost, chování, poloha nebo pohyb.

Poskytovatelé, kteří se domnívají, že jejich systém AI, který nesplňuje požadavky přílohy III, není vysoce rizikový, musí toto posouzení doložit před uvedením na trh nebo do provozu.

Požadavky na poskytovatele vysoce rizikových systémů AI (čl. 8-25)

Poskytovatelé vysoce rizikové AI musí:

• Zavést systém řízení rizik v průběhu celého životního cyklu vysoce rizikového systému AI;
• Provádět správu dat a zajišťovat, aby soubory dat pro školení, validaci a testování byly relevantní, dostatečně reprezentativní a pokud možno bez chyb a úplné podle zamýšleného účelu.
• Vypracovat technickou dokumentaci k prokázání shody a poskytnout orgánům informace k posouzení této shody.
• Navrhnout svůj systém vysoce rizikové umělé inteligence pro vedení záznamů tak, aby umožňoval automatické zaznamenávání událostí důležitých pro identifikaci rizik na národní úrovni a podstatných změn v průběhu celého životního cyklu systému.
• Poskytnout návod k použití následným subjektům nasazení, aby bylo možné zajistit jejich soulad.
• Navrhnout svůj vysoce rizikový systém AI tak, aby umožňoval nasadit lidský dohled.
• Navrhnout svůj vysoce rizikový systém umělé inteligence tak, aby dosáhl odpovídající úrovně přesnosti, robustnosti a kybernetické bezpečnosti.
• Zavést systém řízení kvality k zajištění shody.

Případy použití dle přílohy III
Biometrické údaje, které nejsou zakázané: Systémy vzdálené biometrické identifikace, s výjimkou biometrického ověřování, které potvrzuje, že osoba je tím, za koho se vydává. Systémy biometrické kategorizace odvozující citlivé nebo chráněné atributy či charakteristiky. Systémy rozpoznávání emocí.
Kritická infrastruktura: Bezpečnostní prvky při řízení a provozu kritické digitální infrastruktury, silniční dopravy a dodávek vody, plynu, tepla a elektřiny.
Vzdělávání a odborná příprava: Systémy umělé inteligence, které rozhodují o přístupu, přijetí nebo zařazení do vzdělávacích institucí a institucí odborné přípravy na všech úrovních. Hodnocení výsledků učení, včetně těch, které se používají k řízení procesu učení studentů. Posouzení vhodné úrovně vzdělání pro jednotlivce. Sledování a odhalování zakázaného chování studentů během testů.
Zaměstnanost, řízení pracovníků a přístup k samostatné výdělečné činnosti: Systémy umělé inteligence používané pro nábor nebo výběr zaměstnanců, zejména pro cílené inzeráty, analýzu a filtrování žádostí a hodnocení kandidátů. Povyšování a ukončování smluv, přidělování úkolů na základě osobnostních rysů nebo vlastností. a chování a sledování a hodnocení výkonnosti.
Přístup k základním veřejným a soukromým službám a jejich využívání: Systémy umělé inteligence používané orgány veřejné moci k posuzování nároku na dávky a služby, včetně jejich přiznávání, snižování, odnímání nebo vymáhání. Hodnocení úvěruschopnosti, s výjimkou případů odhalování finančních podvodů. Vyhodnocování a klasifikace tísňových volání, včetně stanovení priorit dispečinku policie, hasičů, lékařské pomoci a urgentní péče o pacienty. Hodnocení rizik a stanovení cen v oblasti zdravotního a životního pojištění.
Vymáhání práva: Systémy umělé inteligence používané k posouzení rizika, že se jednotlivec stane obětí trestného činu. Detektor lži. Hodnocení spolehlivosti důkazů při vyšetřování nebo trestním stíhání. Posouzení rizika spáchání nebo opakování trestné činnosti u jednotlivce, které není založeno pouze na profilování nebo hodnocení osobnostních rysů nebo minulého kriminálního chování. Profilování při odhalování, vyšetřování nebo stíhání trestných činů.
Migrace, azyl a řízení ochrany hranic: Detektor lži. Posouzení nelegální migrace nebo zdravotních rizik. Posuzování žádostí o azyl, víza a povolení k pobytu a souvisejících stížností týkajících se způsobilosti. Zjišťování, rozpoznávání nebo identifikace osob, s výjimkou ověřování cestovních dokladů.
Výkon spravedlnosti a demokratické procesy: Systémy umělé inteligence používané při zkoumání a výkladu skutečností a při aplikaci práva na konkrétní skutečnosti nebo používané při alternativním řešení sporů. Ovlivňování výsledků voleb a referend nebo chování voličů, s výjimkou výstupů, které nemají vliv na výsledky voleb a referend. Přímo komunikovat s lidmi, jako nástroje používané k organizaci, optimalizaci a strukturování politických kampaní.

AI pro všeobecné účely (GPAI)

Modelem GPAI se rozumí model umělé inteligence, a to i v případě, že je vycvičen s velkým množstvím dat pomocí autosupervize ve velkém rozsahu, který vykazuje značnou obecnost a je schopen kompetentně vykonávat širokou škálu různých úloh bez ohledu na způsob uvedení modelu na trh a který lze integrovat do různých navazujících systémů nebo aplikací. To se netýká modelů umělé inteligence, které se používají před uvedením na trh pro výzkumné, vývojové a prototypové činnosti.

Systémem GPAI se rozumí systém AI, který je založen na modelu AI pro obecné účely, který je schopen sloužit k různým účelům, a to jak pro přímé použití, tak pro integraci do jiných systémů AI.

Systémy GPAI mohou být použity jako vysoce rizikové systémy AI nebo do nich mohou být integrovány. Poskytovatelé systémů GPAI by měli s takovými poskytovateli vysoce rizikových systémů AI spolupracovat, aby umožnili jejich soulad.

Všichni poskytovatelé modelů GPAI musí:

• Vypracování technické dokumentace, včetně procesu školení a testování a výsledků hodnocení.
• Vypracovat informace a dokumentaci, které budou poskytnuty navazujícím poskytovatelům, kteří hodlají integrovat model GPAI do svého vlastního systému umělé inteligence, aby tito poskytovatelé pochopili možnosti a omezení a mohli se jimi řídit.
• Zavést politiku respektování směrnice o autorských právech.
• Zveřejnit dostatečně podrobné shrnutí obsahu použitého pro trénink modelu GPAI.

Modely GPAI s volnou a otevřenou licencí – jejichž parametry, včetně vah, architektury modelu a použití modelu, jsou veřejně dostupné a umožňují přístup k modelu, jeho použití, modifikaci a distribuci – musí splňovat pouze poslední dvě výše uvedené povinnosti, pokud model GPAI s volnou a otevřenou licencí není systémový.

Modely GPAI jsou považovány za systémové, pokud je kumulativní objem výpočetních operací použitých pro jejich trénování větší než 10^25 operací s pohyblivou řádovou čárkou za sekundu (FLOPS). Poskytovatelé musí Komisi do dvou týdnů oznámit, zda jejich model toto kritérium splňuje. Poskytovatel může předložit argumenty, že i přes splnění kritéria jeho model nepředstavuje systémové riziko. Komise může sama nebo prostřednictvím kvalifikovaného upozornění vědeckého panelu nezávislých odborníků rozhodnout, že model má vysoké dopadové schopnosti, což jej činí systémovým.

Kromě čtyř výše uvedených povinností musí poskytovatelé modelů GPAI se systémovým rizikem také:

• Provádět hodnocení modelů, včetně provádění a dokumentování testování protistrany s cílem identifikovat a zmírnit systémové riziko.
• Vyhodnocení a zmírnění možných systémových rizik, včetně jejich zdrojů.
• Sledovat, dokumentovat a bez zbytečného odkladu hlásit závažné incidenty a případná nápravná opatření úřadu pro umělou inteligenci a příslušným vnitrostátním orgánům.
• Zajistit odpovídající úroveň ochrany kybernetické bezpečnosti.

Všichni poskytovatelé modelů GPAI mohou prokázat splnění svých povinností, pokud budou dobrovolně dodržovat kodex správné praxe, dokud nebudou zveřejněny evropské harmonizované normy, jejichž dodržování povede k předpokladu shody. Poskytovatelé, kteří nedodržují kodexy správné praxe, musí pro schválení Komisí prokázat alternativní odpovídající způsoby zajištění shody.

Kodexy správné praxe

• Zohlednit mezinárodní přístupy.
• Bude se zabývat mimo jiné výše uvedenými povinnostmi, zejména příslušnými informacemi, které je třeba zahrnout do technické dokumentace pro orgány a navazující poskytovatele, identifikací typu a povahy systémových rizik a jejich zdrojů a způsoby řízení rizik zohledňujícími specifické problémy při řešení rizik vzhledem ke způsobu, jakým mohou vznikat a projevovat se v celém hodnotovém řetězci.
• Úřad AI může přizvat poskytovatele modelů GPAI a příslušné vnitrostátní orgány, aby se podíleli na vypracování kodexů, zatímco občanská společnost, průmysl, akademická obec, navazující poskytovatelé a nezávislí odborníci mohou tento proces podpořit.

Správa a řízení

• V rámci Komise bude zřízen Úřad pro umělou inteligenci (AI Office), který bude sledovat účinné provádění a dodržování modelů GPAI ze strany poskytovatelů.
• Následní poskytovatelé mohou podat stížnost na porušování práv ze strany vyšších poskytovatelů u Úřadu pro umělou inteligenci.
• Úřad pro umělou inteligenci může provádět hodnocení modelu GPAI za účelem:
  • posouzení souladu, pokud informace shromážděné v rámci jeho pravomocí k vyžádání informací nejsou dostatečné.
  • prošetření systémových rizik, zejména na základě kvalifikované zprávy vědeckého panelu nezávislých odborníků.

Časový harmonogram

• Po vstupu v platnost Zákon o umělé inteligenci bude platit:
  • 6 měsíců pro zakázané systémy AI.
  • 12 měsíců pro GPAI.
  • 24 měsíců pro vysoce rizikové systémy AI podle přílohy III.
  • 36 měsíců pro vysoce rizikové systémy AI podle přílohy II.
• Kodexy správné praxe musí být připraveny 9 měsíců po vstupu v platnost.

1. Nezávislé správní orgány mohou podléhat většímu politickému vlivu než soudní orgány (Hacker, 2024). ↩︎

Další kroky

Výbory Evropského parlamentu pro vnitřní trh a pro občanské svobody přijmou soubor pravidel pro umělou inteligenci 13. února a následné hlasování na plenárním zasedání je předběžně naplánováno na 10.-11. dubna. Formální přijetí pak bude dokončeno schválením na ministerské úrovni.

Zákon o umělé inteligenci vstoupí v platnost 20 dní po zveřejnění v úředním věstníku. Zákazy zapovězených praktik začnou platit po šesti měsících, zatímco povinnosti týkající se modelů AI začnou platit po jednom roce.

Všechna ostatní pravidla začnou platit po dvou letech, s výjimkou klasifikace systémů AI, které vzhledem ke své vysoké rizikovosti musí projít posouzením shody třetí stranou podle jiných pravidel EU, a mají tak o rok více času.

Jaký je váš názor na AI Act?

Dejte mi vědět třeba na sociálních sítích, co si o novém zákonu o umělé inteligenci myslíte. Za sebe vítám určitě fakt, že už je v zásadě daný a všichni se na něm shodují, dává to firmám nyní velkou jistotu toho, co můžou očekávat a na co se mají připravit, prvotní návrhy spoustu firem vyděsily a řešily to neuvolněním jejich řešení pro EU a tyto firmy v posledních dnech právě díky zveřejnění finálního návrhu zpřístupňují i své technologie (včera například Google začal zpřístupňovat svůj Gemini model i pro Evropu, podobně před pár týdny uvedený Copilot Pro a Copilot pro Microsoft 365 už funguje i v evropských zemích (jen zatím není podporovaná čeština)…

A mimochodem – vypsal jsem na únor nové termíny svých AI školení, kde budou právě i tyto novinky, a objíždím i velká města, abyste nemuseli jezdit jen do Prahy – Brno, Ostrava, České Budějovice, Plzeň. Přihlaste se co nejdříve, ať vím, kde je případně zájem.