Sisteme AI cu risc ridicat: Cum le definește UE și de ce sunt interzise în zone sensibile

Înainte de a vorbi despre sistemele AI cu risc ridicat și viitoarele obligații ale furnizorilor de modele AI de uz general, este important de menționat că Regulamentul UE 2024/1689 este destul de complex, iar unele dintre reglementările sale au intrat deja în vigoare în februarie 2025, în timp ce altele vor fi implementate treptat în 2025 și 2026, inclusiv cele despre care vom vorbi în acest articol.

Astfel, începând cu 2 august 2025, companiile care utilizează sisteme AI nu vor mai avea voie să le aplice în anumite zone considerate „sensibile”, iar furnizorii de modele AI de uz general vor avea obligații suplimentare. 

Dar ce înseamnă, mai exact, sistemele AI de risc ridicat? Adriana Radu, avocat partener, Radu Opriș SPARL, a explicat că „sunt o componentă a unui produs sau a unui sistem de AI care îndeplinește o funcție de siguranță pentru produsul sau sistemul de AI respectiv, a cărei defectare sau funcționare defectuoasă pune în pericol siguranța persoanelor sau a bunurilor”.  Un exemplu ar fi un sistem AI care controlează frânele automate ale unei mașini. În cazul în care nu funcționează corect, poate provoca un accident. 

Zonele în care utilizarea IA prezintă un risc ridicat includ:

• biometrie; 
• infrastructură critică; 
• educație și formare profesională;
• ocuparea forței de muncă, gestionarea lucrătorilor și accesul la activități independente;
• accesul la servicii private esențiale și la servicii și beneficii publice esențiale, precum și la posibilitatea de a beneficia de acestea;
• aplicarea legii, în măsura în care utilizarea lor este permisă în dreptul Uniunii sau intern relevant;
• migrație, azil și gestionarea controlului la frontiere, când utilizarea lor este permisă în dreptul Uniunii sau intern relevant;
• administrarea justiției și procesele democratice.

Deși companiilor le va fi interzisă utilizarea sistemelor AI în domeniile menționate anterior, specialista a subliniat că Regulamentul prevede și câteva excepții, printre care:

1. Sistemul AI îndeplinește o sarcină procedurală restrânsă

• scanează CV-urile primite;
• organizează automat informațiile în categorii standard (educație, experiență, competențe);
• identifică aplicații duplicate atunci când candidații aplică de mai multe ori.

De ce este cu risc scăzut?

• nu ia decizii de angajare;
• nu evaluează candidații;
• doar organizează informațiile pentru eficientizarea procesului;
• nu afectează drepturile fundamentale ale candidaților.

• verifică claritatea limbajului juridic;
• sugerează formulări standard pentru terminologia juridică;
• asigură consistența stilistică în document.

De ce este cu risc scăzut?

• decizia juridică este deja luată de judecător;
• AI doar îmbunătățește forma, nu conținutul;
• judecătorul păstrează controlul final asupra textului;
• nu influențează substanța hotărârii.

• analizează modelul general de notare al Anei din ultimii 2 ani;
• compară notele actuale cu acest istoric;
• identifică potențiale inconsistențe (ex: o notă de 8 dată unei lucrări similare cu una notată anterior cu 9).

De ce este cu risc scăzut?

• nu influențează notarea inițială;
• semnalează doar potențiale inconsistențe pentru revizuire;
• servește ca instrument de auto-verificare.

4. Sistemul AI îndeplinește o sarcină pregătitoare pentru o evaluare relevantă în scopul cazurilor de utilizare enumerate în anexa III

Exemplu: La un tribunal, se folosește un sistem AI pentru pregătirea dosarelor penale care:

• Indexează automat documentele din dosar;
• Organizează probele pe categorii;
• Identifică referințe încrucișate între documente;
• Traduce declarațiile martorilor din alte limbi.

Procesul de utilizare:

1. AI procesează documentele;
2. creează un index digital al dosarului;
3. procurorul/judecătorul evaluează personal toate informațiile.

De ce este cu risc scăzut?

• nu analizează fondul cauzei;
• nu face recomandări juridice;
• doar organizează informațiile pentru eficiență;
• decizia finală se bazează pe analiza umană completă.

Atenție! Toate excepțiile discutate nu se aplică dacă sistemul AI de risc ridicat creează profiluri ale persoanelor fizice. Adică, dacă colectează și analizează informații despre o persoană pentru a crea un profil detaliat al acesteia (date despre comportamentele, preferințele, interesele sau istoricul unei persoane).

De asemenea, Regulamentul impune companiilor care utilizează AI (indiferent dacă este de risc ridicat sau nu) să asigure transparența și să informeze persoanele care interacționează cu aceste sisteme despre utilizarea tehnologiilor de inteligență artificială.

Și furnizorii de modele AI de uz general au noi obligații

Începând cu 2 august 2025, intră în vigoare Capitolul V din Regulament (vedeți documentul atașat la finalul articolului), care impune furnizorilor de modele de AI de uz general să respecte anumite reguli. Acest capitol descrie procesul de clasificare al modelelor de AI, cu accent pe identificarea celor cu risc sistemic. Astfel, modelele AI de uz general vor fi împărțite în două categorii: modelele standard, care trebuie să îndeplinească cerințe de transparență și siguranță, și modelele cu risc sistemic, care vor trebui să respecte reglementări suplimentare datorită impactului lor semnificativ asupra societății.

„Un model de AI de uz general este definit ca un model antrenat cu un volum mare de date, care utilizează auto-supravegherea la scară largă și care are o generalitate semnificativă, fiind capabil să îndeplinească o gamă largă de sarcini distincte. Acesta poate fi utilizat indiferent de modul în care este introdus pe piață și poate fi integrat într-o varietate de sisteme sau aplicații. Singura excepție este dacă modelul este utilizat în scopuri de cercetare, dezvoltare sau prototipurizare înainte de a fi lansat pe piață”, a explicat specialista. 

Un model poate fi considerat cu risc sistemic dacă are capabilități avansate și un impact semnificativ asupra societății, iar această clasificare va fi stabilită de Comisia Europeană. Furnizorii de AI trebuie să notifice Comisia dacă modelele lor îndeplinesc criteriile de risc, iar Comisia are posibilitatea de a ajusta regulile pe măsură ce tehnologia evoluează. 

„Un model AI de uz general poate fi clasificat drept cu risc sistemic dacă are capabilități cu impact ridicat, evaluate pe baza unor instrumente și metodologii tehnice adecvate, inclusiv indicatori și valori de referință. De asemenea, un model poate fi considerat cu risc sistemic pe baza unei decizii a Comisiei Europene, ca urmare a unei alerte din partea grupului științific, dacă impactul și capabilitățile acestuia sunt echivalente cu cele menționate anterior. Aceste criterii sunt stabilite în Anexa XIII a regulamentului”, a adăugat Adriana Radu. 

Reamintim că, tot din 2 august 2025, vor intra în vigoare și sancțiunile pentru nerespectarea obligațiilor, precum și normele privind autoritățile de reglementare.

În cazul în care autoritățile publice nu respectă interdicțiile impuse, acestea pot fi sancționate cu amenzi de până la 1.500.000 de euro. Pentru alte entități, amenzile pot ajunge până la 35.000.000 de euro sau 7% din cifra de afaceri mondială totală anuală.