UE a interzis o serie de practici în domeniul AI. Noi obligații pentru companii

Astfel, potrivit Regulamentului UE 2024/1689, începând cu 2 februarie 2025, companiile sunt obligate să asigure instruirea personalului propriu, precum și a altor persoane responsabile de operarea și utilizarea sistemelor de AI în numele lor. Această instruire trebuie să fie adaptată nivelului de cunoștințe tehnice, educației, experienței și formării acestora, luând în considerare contextul în care vor fi utilizate sistemele de AI și impactul asupra persoanelor sau grupurilor afectate. Totodată, companiile trebuie să își definească statutul în raport cu AI, stabilind dacă acționează ca furnizori sau implementatori.

De asemenea, tot de pe 2 februarie 2025, Regulamentul interzice și o serie de practici din domeniul AI, precum: 

• AI manipulativ şi înşelător;
• AI care exploatează vulnerabilitățile;
• AI de evaluare socială;
• AI pentru predicția infracțiunilor;
• AI de scraping nețintit al imaginilor faciale;
• AI pentru deducerea emoțiilor la locul de munca sau în sfera educației;
• AI de categorizare biometrică;
• AI de identificare biometrică în timp real.

Începând cu 2 august 2025, vor intra în vigoare noi reglementări care vor impune:

• norme referitoare la autoritățile de reglementare;
• reguli pentru modelele de AI de uz general;
• norme care vizează sistemele AI cu risc ridicat;
• introducerea sancțiunilor pentru nerespectarea regulamentului.

Începând cu 2 august 2026, se vor aplica restul obligațiilor prevăzute în regulament, mai puțin cele care vizează sistemele AI cu grad ridicat de risc ce reprezintă componente de siguranță ale unui produse sau produce potrivit Anexei I, plus obligațiile corelative. 

„Noi avem practicile interzise în acest moment dar sancțiunile intră în vigoare abia în august și nici nu avem autorități care să pună în aplicare acest regulament. Deci, deși practicile sunt interzise de acum, dacă e să vorbim de amenzi, de asta vom vorbi în august 2025”, a adăugat Adriana Radu, avocat partener, Radu Opriș SPARL.

Furnizor sau implementator? Sfaturi pentru companii 

Pentru a înțelege cum se aplică Regulamentul unei companii, primul pas este stabilirea rolului său: dacă este furnizor sau implementator. Această distincție este esențială, deoarece fiecare categorie are obligații diferite.

Pe scurt, furnizorul este o persoană fizică sau juridică, o autoritate publică, o agenție sau un alt organism care dezvoltă un sistem de AI sau un model de AI de uz general sau care comandă dezvoltarea unui sistem de Al sau a unui model de AI de uz general şi îl introduce pe piață sau pune în funcțiune sistemul de AI sub propriul nume sau propria marcă comercială, contra cost sau gratuit.

Implementatorul este o persoană fizică sau juridică, o autoritate publică, o agenţie sau un alt organism care utilizează un sistem de AI aflat sub autoritatea sa, cu excepția cazului în care sistemul de AI este utilizat în cursul unei activități neprofesionale, personale.

După identificarea statutului lor, companiile trebuie să efectueze o inventariere a sistemelor și modelelor de AI pe care le utilizează. Acest proces le va permite:

• să determine ce tipuri de tehnologii folosesc (modele de AI sau sisteme de AI - atenție, sunt diferite atât din punct de vedere tehnologic, cât și juridic);
• să identifice obligațiile care le revin în baza regulamentului;
• să coreleze aceste obligații cu alte reglementări relevante, cum ar fi legislația privind protecția datelor cu caracter personal, care rămâne în vigoare și se intersectează frecvent cu reglementările privind AI.

„În practică, multe companii care utilizează IA, fie că sunt furnizori sau implementatori, își fac un inventar pentru a înțelege unde se situează în raport cu acest regulament. Multe dintre acestea se află în etapa de inventariere, analizând softurile pe care le folosesc și încercând să le clasifice conform regulamentului, pentru a determina ce obligații au, de când li se aplică aceste obligații și cum se corelează acestea cu alte reglementări incidente, precum legislația privind protecția datelor cu caracter personal, care rămâne în vigoare și se intersectează frecvent cu reglementările privind IA (..) Poate fi dificilă clasificarea unui software drept sistem IA sau nu, respectiv calificarea drept furnizor sau implementator. CE va emite orientări în acest scop în viitorul apropiat. Companiile ar putea cere furnizorului să ofere o declarație conform căreia să se specifice dacă softul pe care îl folosesc are o componentă  IA sau nu”, a explicat avocata. 

Practici interizise în domeniul AI

1. Al manipulativ și înşelător  

Este interzisă introducerea pe piață, punerea în funcțiune sau utilizarea unui sistem de AI care utilizează tehnici subliminale ce nu pot fi percepute în mod conştient de o persoană sau tehnici intenționat manipulatoare sau înşelătoare, cu scopul sau efectul de a denatura în mod semnificativ comportamentul unei persoane sau al unui grup de persoane prin împiedicarea apreciabilă a capacității acestora de a lua o decizie în cunoştinţă de cauză, determinându-le astfel să ia o decizie pe care altfel nu ar fi luat-o, într-un mod care aduce sau este susceptibil în mod rezonabil să aducă prejudicii semnificative persoanei respective, unei alte persoane sau unui grup de persoane

Exemple:

Tehnici subliminale: Un pacient foloseşte dispozitivul Neuralink pentru a controla un cursor pe ecranul computerului prin gânduri, ajutându-l să comunice după ce a suferit un accident care i-a afectat capacitatea de mişcare.

Scenariul interzis (manipulativ): Acelaşi dispozitiv ar putea fi programat astfel: Aparent, ajută pacientul să joace un joc de memorie pentru reabilitare. În realitate, sistemul de AI învaţă tiparul neural când pacientul se gândește la parola contului bancar Decodifică aceste informații din activitatea cerebrală Transmite datele către terți fără știrea pacientului

2. Manipulare senzorială

Imaginați-vă o aplicație de meditație care folosește Al pentru a personaliza experienţa utilizatorului. În loc să ajute însă la relaxare, sistemul introduce subtil sunete de frecvență joasă şi imagini subliminal anxiogene. Treptat, utilizatorul începe să se simtă din ce în ce mai anxios şi dependent de aplicație, crezând că doar aceasta îl poate ajuta să se calmeze. În realitate, aplicația creează şi apoi exploatează starea de anxietate, a dat exemplu specialista. 

Manipulare personalizată: Maria foloseşte o aplicație de fitness care îi monitorizează toate datele: greutate, alimentație, somn, activitate fizică. Sistemul de AI observă că Maria are momente de vulnerabilitate emoțională seara târziu şi că este foarte sensibilă la comparațiile sociale. Aplicația începe să-i trimită notificări personalizate exact în aceste momente, cu mesaje precum "95% din persoanele ca tine au avut mai multă activitate fizică azi" sau "Prietena ta Andreea tocmai şi-a atins toate obiectivele săptămânii", ştiind exact ce butoane emoționale să apese pentru a o determina să ia decizii impulsive, cum ar fi achiziționarea de produse sau servicii sau împingerea limitelor fizice în mod nesănătos.

Tehnici înşelătoare: Maria primeşte un apel video de la "nepotul" său - în realitate un chatbot Al care foloseşte deepfake şi voce sintetică pentru a imita perfect imaginea și vocea nepotului. Sub pretextul unei urgențe medicale, sistemul Al solicită un transfer bancar urgent, exploatând legătura emoțională și încrederea victimei.

2. IA care exploatează vulnerabilitățile

Este interzisă introducerea pe piață, punerea în funcțiune sau utilizarea unui sistem de AI care exploatează oricare dintre vulnerabilitățile unei persoane fizice sau ale unui anumit grup de persoane asociate vârstei, unei dizabilități sau unei situații sociale sau economice specifice, cu scopul sau efectul de a denatura în mod semnificativ comportamentul persoanei respective sau al unei persoane care aparține grupului respectiv într-un mod care aduce sau este susceptibil în mod rezonabil să aducă prejudicii semnificative persoanei respective sau unei alte persoane.

Exemplu: lon, 75 ani, văduv, cu deficiențe de auz şi pensionar cu venit minim, primeşte reclame personalizate pe telefonul sau. Sistemul de AI, analizând profilul său complet (vârstă, dizabilitate și situație financiară), îi trimite insistent oferte pentru "aparate auditive miraculoase" la "pret special pentru pensionari", folosind mesaje manipulative care exploatează simultan toate vulnerabilitățile sale, pentru a-l determina să îşi cheltuiască toate economiile pe produse ineficiente sau inexistente.

3. IA deducere a emoțiilor la locul de muncă sau în sfera educației 

Este interzisă introducerea pe piață, punerea în funcțiune în acest scop specific sau utilizarea unor sisteme de AI o pentru a deduce emoțiile unei persoane fizice în sfera locului de muncă şi a instituțiilor de învăţământ, cu excepția cazurilor în care utilizarea sistemului de AI este destinată a fi instituită sau introdusă pe piață din motive medicale sau de siguranță.

Exemplul unui scenariu interzis: O companie folosește un sistem AI care analizează expresiile faciale, tonul vocii și gesturile angajaților în timpul ședințelor online pentru a determina nivelul lor de angajament, stresul și atitudinea față de management, folosind aceste date în deciziile de promovare sau evaloare.

Exemplul unui scenariu permis: Un sistem de AI monitorizează șoferi de camion pentru semne fizice de oboseală (clipit prelungit, căscat), mișcări ale capului care indică adormirea sau modificări în poziția corpului. În acest exemplu, scopul este prevenirea accidentelor, fără a deduce starea emoțională.

Diferența cheie: Sistemul permis detectează doar stări fizice observabile direct, fără a face interfețe despre emoții sau intenții.

4. IA de evaluare socială

Este interzisă introducerea pe piață, punerea în funcțiune sau utilizarea unor sisteme de AI pentru evaluarea sau clasificarea persoanelor fizice sau a grupurilor de persoane pe o anumită perioadă de timp, pe baza comportamentului lor social sau a caracteristicilor personale sau de personalitate cunoscute, deduse sau preconizate, cu un punctaj social care conduce la una dintre următoarele situații sau la ambele:

• tratamentul prejudiciabil sau nefavorabil aplicat anumitor persoane fizice sau unor grupuri de persoane;
• în contexte sociale care nu au legătură cu contextele în care datele au fost generate sau colectate inițial;
• care este nejustificat sau disproporționat în raport cu comportamentul social al acestora sau cu gravitatea acestuia;

Exemplu: Maria deține o florărie mică. Un sistem de AI o selectează pentru control fiscal bazându-se nu doar pe datele discale relevante (venituri, proprietăți), ci și pe faptul că:

• face cumpărături online frecvent;
• are cont de Instagram activ pentru florărie;
• călătorește des în weekend.

Așa cum a subliniat avocata, problema constă în utilizarea datelor irelevante pentru scopul fiscal.

Interdicțiile privind practicile de manipulare și exploatare prevăzute în Regulament nu ar trebui să afecteze practicile medicale legale, cum ar fi tratamentul psihologic al bolilor mintale sau reabilitarea fizică, atât timp cât acestea respectă legislația și standardele medicale aplicabile, inclusiv obținerea consimțământului explicit al persoanelor vizate sau al reprezentanților lor legali.

De asemenea, practicile comerciale uzuale și legitime, precum cele din domeniul publicității, care se desfășoară în conformitate cu reglementările aplicabile (de exemplu, GDPR, DSA, legislația privind protecția consumatorului), nu ar trebui considerate, în sine, drept practici dăunătoare de manipulare bazate pe AI.

Nerespectarea interdicțiilor de către autoritățile publice poate atrage o amendă de până la 1.500.000 de euro. Pentru alte entități, amenda poate ajunge până la 35.000.000 de euro sau 7% din cifra de afaceri mondială totală anuală.