Aktualizace: plné znění návrhu AI Act – zákona o umělé inteligenci

Aktualizace: plnou verzi najdete na konci článku a nově jsem připravil i zkrácenou TL;DR verzi, viz AI Act – Zákon o umělé inteligenci – konsolidované znění. Vytvořil jsem také GPT asistenta EU AI Act Insight, kterého můžete využít pro dotazování se na detaily z plného znění zákona. Pro jeho využití musíte být uživatelé placené verze ChatGPT Plus, Team nebo Enterprise.

Cílem návrhu tzv. zákona o umělé inteligenci („Artificial inteligence act“ či „AI Act“) je zajistit, aby systémy umělé inteligence uváděné na evropský trh a používané v EU byly bezpečné a respektovaly základní práva a hodnoty EU. Cílem tohoto přelomového návrhu je rovněž stimulovat investice a inovace v oblasti AI v Evropě.

Zákon o umělé inteligenci je stěžejní legislativní iniciativou, která má potenciál podpořit vývoj a zavádění bezpečné a důvěryhodné umělé inteligence na jednotném trhu EU soukromými i veřejnými subjekty. Hlavní myšlenkou je regulovat AI na základě její schopnosti způsobit společnosti škodu podle přístupu založeného na „riziku“: čím vyšší riziko, tím přísnější pravidla. Jako první legislativní návrh svého druhu na světě může stanovit globální standard pro regulaci AI v jiných jurisdikcích, stejně jako to učinilo GDPR, a podpořit tak evropský přístup k regulaci technologií na světové scéně.

Hlavní prvky předběžné dohody

Ve srovnání s původním návrhem Komise lze hlavní nové prvky prozatímní dohody shrnout následovně:

• pravidla týkající se modelů umělé inteligence pro všeobecné použití s vysokým dopadem, které mohou v budoucnu způsobit systémové riziko, jakož i vysoce rizikových systémů umělé inteligence;
• revidovaný systém řízení s určitými pravomocemi k prosazování na úrovni EU;
• rozšíření seznamu zákazů, ale s možností používat biometrickou identifikaci na dálku donucovacími orgány ve veřejném prostoru, s výhradou ochranných opatření;
• lepší ochrana práv prostřednictvím povinnosti pro subjekty nasazující vysoce rizikové AI systémy provést před uvedením systému AI do provozu posouzení dopadu na základní práva.

Konkrétněji se prozatímní dohoda týká následujících aspektů.

Definice a oblast působnosti

Aby bylo zajištěno, že definice systému AI poskytuje dostatečně jasná kritéria pro odlišení AI od jednodušších softwarových systémů, kompromisní dohoda sjednocuje definici s přístupem navrženým OECD.

Předběžná dohoda rovněž objasňuje, že nařízení se nevztahuje na oblasti mimo oblast působnosti práva EU a v žádném případě by nemělo mít vliv na pravomoci členských států v oblasti národní bezpečnosti nebo na jakýkoli subjekt pověřený úkoly v této oblasti. Kromě toho se zákon o AI nebude vztahovat na systémy, které se používají výhradně pro vojenské nebo obranné účely. Stejně tak dohoda stanoví, že nařízení se nebude vztahovat na systémy AI používané výhradně za účelem výzkumu a inovací nebo na osoby, které používají AI z neprofesionálních důvodů.

Klasifikace systémů AI jako vysoce rizikových a zakázané postupy v oblasti AI

Kompromisní dohoda stanoví horizontální úroveň ochrany, včetně klasifikace jako vysoce rizikové, aby se zajistilo, že nebudou postiženy systémy AI, které pravděpodobně nezpůsobí závažné porušení základních práv nebo jiná významná rizika. Na systémy AI, které představují pouze omezené riziko, by se vztahovaly velmi mírné povinnosti transparentnosti, například zveřejnění toho, že obsah byl vytvořen AI, aby uživatelé mohli činit informovaná rozhodnutí o dalším používání.

Široká škála vysoce rizikových systémů AI by byla povolena, ale podléhala by souboru požadavků a povinností pro získání přístupu na trh EU. Tyto požadavky byly zákonodárci vyjasněny a upraveny tak, aby byly technicky proveditelnější a pro zúčastněné strany méně zatěžující, pokud jde například o kvalitu údajů nebo o technickou dokumentaci, kterou by měly malé a střední podniky vypracovat, aby prokázaly, že jejich vysoce rizikové systémy AI splňují požadavky.

Vzhledem k tomu, že systémy AI jsou vyvíjeny a distribuovány prostřednictvím složitých hodnotových řetězců, zahrnuje kompromisní dohoda změny, které vyjasňují rozdělení odpovědností a rolí jednotlivých účastníků těchto řetězců, zejména poskytovatelů a uživatelů systémů AI. Rovněž vyjasňuje vztah mezi povinnostmi podle zákona o AI a povinnostmi, které již existují podle jiných právních předpisů, jako jsou příslušné právní předpisy EU o ochraně údajů nebo odvětvové právní předpisy.

U některých způsobů využití AI se riziko považuje za nepřijatelné, a proto budou tyto systémy v EU zakázány. Předběžná dohoda zakazuje například kognitivní behaviorální manipulaci, necílené získávání obrazů lidských tváří z internetu či kamerových záznamů, rozpoznávání emocí na pracovišti a ve vzdělávacích institucích, sociální skórování, biometrickou kategorizaci za účelem odvození citlivých údajů, jako je sexuální orientace nebo náboženské přesvědčení, a některé případy prediktivního policejního dohledu nad jednotlivci.

Výjimky v oblasti prosazování práva

S ohledem na specifika orgánů činných v trestním řízení a potřebu zachovat jejich schopnost využívat umělou inteligenci při své životně důležité práci bylo dohodnuto několik změn návrhu Komise týkajících se využívání systémů umělé inteligence pro účely vymáhání práva. S výhradou vhodných ochranných opatření mají tyto změny odrážet potřebu respektovat důvěrnost citlivých operativních údajů v souvislosti s jejich činností. Byl například zaveden nouzový postup, který umožňuje donucovacím orgánům v naléhavých případech nasadit vysoce rizikový nástroj AI, který neprošel postupem posuzování shody. Byl však také zaveden zvláštní mechanismus, který má zajistit, že základní práva budou dostatečně chráněna před případným zneužitím systémů AI.

Pokud jde navíc o používání biometrických identifikačních systémů na dálku v reálném čase ve veřejně přístupných prostorách, prozatímní dohoda objasňuje cíle, kdy je takové použití nezbytně nutné pro účely vymáhání práva, a pro které by proto mělo být orgánům činným v trestním řízení výjimečně povoleno takové systémy používat. Kompromisní dohoda stanoví další záruky a omezuje tyto výjimky na případy obětí některých trestných činů, předcházení skutečným, aktuálním nebo předvídatelným hrozbám, jako jsou teroristické útoky, a vyhledávání osob podezřelých z nejzávažnějších trestných činů.

Systémy obecné umělé inteligence a základní modely

Byla doplněna nová ustanovení, která zohledňují situace, kdy lze systémy AI používat k mnoha různým účelům (obecná umělá inteligence) a kdy je technologie obecná AI následně integrována do jiného vysoce rizikového systému. Prozatímní dohoda se rovněž zabývá specifickými případy systémů obecné AI (GPAI).

Specifická pravidla byla dohodnuta také pro základní modely (foundation models), velké systémy schopné kompetentně vykonávat širokou škálu charakteristických úkolů, jako je generování videa, textu, obrázků, konverzace v bočním jazyce, výpočetní technika nebo generování počítačového kódu. Prozatímní dohoda stanoví, že základní modely musí před uvedením na trh splňovat zvláštní povinnosti transparentnosti. Přísnější režim byl zaveden pro základní modely s „vysokým dopadem„. Jedná se o základní modely vycvičené s velkým množstvím dat a s pokročilou složitostí, schopnostmi a výkonností výrazně převyšující průměr, které mohou šířit systémová rizika v hodnotovém řetězci.

Nová architektura řízení

V návaznosti na nová pravidla pro modely GPAI a zřejmou potřebu jejich prosazování na úrovni EU byl v rámci Komise zřízen Úřad pro umělou inteligenci, jehož úkolem je dohlížet na tyto nejpokročilejší modely umělé inteligence, přispívat k podpoře standardů a testovacích postupů a prosazovat společná pravidla ve všech členských státech. Vědecký panel nezávislých odborníků bude Úřadu pro AI poskytovat poradenství ohledně modelů GPAI tím, že bude přispívat k vývoji metodik pro hodnocení schopností základních modelů, poskytovat poradenství při označování a vzniku základních modelů s vysokým dopadem a monitorovat možná podstatná bezpečnostní rizika související se základními modely.

Rada pro umělou inteligenci, která by se skládala ze zástupců členských států, zůstane koordinační platformou a poradním orgánem Komise a bude členským státům poskytovat důležitou úlohu při provádění nařízení, včetně návrhu kodexů praxe pro základní modely. V neposlední řadě bude zřízeno poradní fórum pro zúčastněné strany, jako jsou zástupci průmyslu, malých a středních podniků, začínajících podniků, občanské společnosti a akademické obce, které bude Radě pro umělou inteligenci poskytovat technické odborné znalosti.

Sankce

Pokuty za porušení zákona o AI byly stanoveny jako procento z celkového ročního obratu společnosti, která se dopustila přestupku, v předchozím finančním roce nebo v předem stanovené výši, podle toho, která z těchto částek je vyšší. Za porušení zakázaných aplikací AI by to bylo 35 milionů eur, tj. 7 %, za porušení povinností vyplývajících ze zákona o AI 15 milionů eur, tj. 3 %, a za poskytnutí nesprávných informací 7,5 milionu eur, tj. 1,5 %. Prozatímní dohoda však stanoví přiměřenější stropy správních pokut pro malé a střední podniky a začínající podniky v případě porušení ustanovení zákona o AI.

Kompromisní dohoda rovněž jasně stanoví, že fyzická nebo právnická osoba může podat stížnost na nedodržování zákona o AI příslušnému orgánu dozoru nad trhem a může očekávat, že taková stížnost bude vyřízena v souladu se specializovanými postupy tohoto orgánu.

Transparentnost a ochrana základních práv

Předběžná dohoda stanoví, že před uvedením vysoce rizikového systému AI na trh jeho zavádějící subjekty provedou posouzení dopadu na základní práva. Prozatímní dohoda rovněž stanoví větší transparentnost, pokud jde o používání vysoce rizikových systémů AI. Pozoruhodné je, že některá ustanovení návrhu Komise byla změněna tak, aby uváděla, že někteří uživatelé vysoce rizikového systému AI, kteří jsou veřejnými subjekty, budou rovněž povinni zaregistrovat se v databázi EU pro vysoce rizikové systémy AI. Nově přidaná ustanovení navíc kladou důraz na povinnost uživatelů systému rozpoznávání emocí informovat fyzické osoby o tom, že jsou takovému systému vystaveny.

Opatření na podporu inovací

S cílem vytvořit právní rámec, který bude příznivější pro inovace, a podpořit regulační učení založené na faktech byla ustanovení týkající se opatření na podporu inovací oproti návrhu Komise podstatně změněna.

Zejména bylo vyjasněno, že regulační „hřiště“ pro umělou inteligenci, která mají vytvořit kontrolované prostředí pro vývoj, testování a ověřování inovativních systémů umělé inteligence, by měla umožňovat také testování inovativních systémů umělé inteligence v reálných podmínkách. Kromě toho byla doplněna nová ustanovení, která umožňují testování systémů AI v podmínkách reálného světa za specifických podmínek a ochranných opatření. S cílem zmírnit administrativní zátěž menších společností obsahuje prozatímní dohoda seznam opatření, která mají být přijata na podporu těchto subjektů, a stanoví některé omezené a jasně specifikované odchylky.

Platnost

Prozatímní dohoda stanoví, že zákon o umělé inteligenci by se měl používat dva roky po svém vstoupení v platnost, s některými výjimkami pro specifická ustanovení.

Další kroky

V návaznosti na dnešní předběžnou dohodu bude v nadcházejících týdnech pokračovat práce na technické úrovni s cílem dokončit podrobnosti nového nařízení. Po dokončení této práce předloží předsednictví kompromisní znění zástupcům členských států (Coreper) ke schválení.

Celé znění bude muset být potvrzeno oběma orgány a před formálním přijetím spolunormotvůrci projít právně-lingvistickou revizí.

Informace o pozadí dohody

Návrh Komise, který byl předložen v dubnu 2021, je klíčovým prvkem politiky EU na podporu rozvoje a zavádění bezpečné a zákonné AI, která respektuje základní práva, na celém jednotném trhu.

Návrh vychází z přístupu založeného na rizicích a stanoví jednotný horizontální právní rámec pro AI, jehož cílem je zajistit právní jistotu. Cílem návrhu nařízení je podpořit investice a inovace v oblasti AI, posílit správu a účinné prosazování stávajícího práva v oblasti základních práv a bezpečnosti a usnadnit rozvoj jednotného trhu pro aplikace AI. Jde ruku v ruce s dalšími iniciativami, včetně koordinovaného plánu pro umělou inteligenci, jehož cílem je urychlit investice do AI v Evropě. Dne 6. prosince 2022 dosáhla Rada dohody o obecném přístupu (mandátu k jednání) k tomuto spisu a v polovině června 2023 zahájila interinstitucionální rozhovory s Evropským parlamentem („trialogy“).

Zdroj: Tisková zpráva Rady EU

Můj komentář

Dohoda, která byla v noci na dnešek uzavřena, nebyla vůbec jednoduchá, původní návrh Evropské komise spatřil světlo světa v dubnu 2021, tedy před 2,5 lety, diskuse o něm začala ještě o půl roku dříve.

Od té doby probíhala spousta jednání s odborníky a všichni si uvědomují, že svět kolem nestojí, a že neschopnost stanovit jasná pravidla už dnes snižuje konkurenceschopnost evropských firem i uplatnění našich občanů na celosvětovém trhu, a znemožňuje nám přístup k některým nejnovějším technologiím a modelům.

Zároveň ale nikdo nechce slevit ze základních evropských hodnot a například dopustit, aby se zde třeba vyvíjely či dokonce používaly systémy pro skórování občanů, které se používají v Číně.

Finální znění dohody se teď bude ještě pár týdnů „dávat na papír“, z toho, co je ale známo mi přijde, že jde o velmi dobrý kompromis, který pokrývá klíčové problematické body.

Zajímá mě ale, jestli se stanovením pravidel bude spojená konečně i nějaká zvýšená aktivita v této oblasti – tedy podpora aktivit, které zajistí, že nebudeme v oblasti zejména generativní umělé inteligence zaostávat a že nebudou evropské firmy a občané fakticky nuceni posílat své hodnotné informace na mimounijní servery (a ještě za to platit dvojnásobek oproti anglicky hovořícím).

Aktualizace: finální znění dohody

Vytvořil jsem také GPT asistenta, kterého můžete využít pro dotazování se na detaily. Můj EU AI Act Insight je k dispozici zde, pro jeho využití musíte být uživatelé placené verze ChatGPT Plus, Team nebo Enterprise.