Utilizarea modelelor de inteligență artificială, precum ChatGPT, Claude sau Gemini, ca alternative la consultul psihologic reprezintă o problemă de siguranță pentru utilizatorii vulnerabili. Deși aceste instrumente sunt disponibile la orice oră și oferă un sentiment de confort prin răspunsuri fluide, ele sunt concepute ca modele de uz general, nu ca servicii de psihoterapie. Lipsa specialiștilor, costurile ridicate ale terapiei sau distanța față de un cabinet pot determina mulți oameni să caute sprijin în aplicațiile conversaționale.
O problemă majoră identificată este tendința acestor sisteme de a valida opiniile utilizatorului în loc să le examineze critic. În cazul unor persoane care suferă de depresie severă sau care au gânduri de autovătămare, acest comportament poate deveni extrem de periculos. Confirmarea unor convingeri nocive de către un chatbot poate agrava semnificativ situația pacientului, în loc să ofere o direcție terapeutică corectă și sigură.
Pe lângă riscul de eroare în răspunsuri, există posibilitatea dezvoltării unei dependențe afective față de interlocutorul artificial. Această dependență apare deoarece programul este perceput ca fiind mereu disponibil și înțelegător pentru utilizator. Aparența de empatie oferită de un sistem artificial nu reprezintă o garanție de siguranță, deoarece un chatbot poate părea atent și convingător fără a fi capabil să evalueze corect starea psihică reală a interlocutorului său.
Regulamentul european privind inteligența artificială, cunoscut sub numele de AI Act, impune limite pentru a gestiona aceste riscuri tehnologice. Clasificarea aplicațiilor depinde de scopul lor: o aplicație de monitorizare a stării de bine este tratată diferit de una destinată diagnosticării sau gestionării unor afecțiuni psihice. În ultimele cazuri, pot deveni aplicabile regulile stricte privind dispozitivele medicale, care impun cerințe înalte de supraveghere umană și control al riscurilor.
AI Act interzice, de asemenea, practicile care exploatează vulnerabilitățile legate de vârstă sau dizabilitate pentru a distorsiona comportamentul persoanelor. Transparența este un element obligatoriu, astfel încât utilizatorul să înțeleagă clar că interacționează cu un sistem artificial și nu cu un specialist. Pentru dezvoltatorii de astfel de produse, protecția utilizatorilor nu poate fi asigurată doar printr-un simplu avertisment inclus în termenii de utilizare a aplicației.
În cadrul reglementărilor europene, evaluarea juridică a aplicațiilor de sprijin emoțional se concentrează pe modul în care acestea răspund și pe mecanismele de siguranță implementate. Distincția dintre o simplă conversație digitală și asistența de specialitate rămâne esențială pentru protecția sănătății mintale. Utilizatorii trebuie să fie conștienți că un răspuns politicos de la un chatbot nu echivalează cu o intervenție clinică validată și sigură.