Google se confruntă cu un nou proces judiciar în California, după ce părinții unei adolescente de 13 ani au depus o plângere luni, 2 noiembrie. Aceștia acuză compania că a introdus în grabă tehnologia Gemini pe Chromebook-uri, laptopuri cu preț redus utilizate de milioane de elevi din Statele Unite și alte țări. Dosarul este primul caz public în care Google este vizat direct pentru modul în care inteligența artificială interacționează cu minorii.
Conform documentelor depuse la tribunal, școala fetei reușise să blocheze accesul la Gemini și ChatGPT, însă nu a putut dezactiva funcțiile de inteligență artificială integrate direct în motorul de căutare Google. Avocații familiei susțin că, în perioada februarie, victima a schimbat aproximativ 3.200 de mesaje cu AI, adesea în timpul nopții. Andrew Liddell, unul dintre avocații familiei, a declarat pentru AFP că școlile ar trebui să lase căutarea dezactivată până când Google va elimina modul AI sau va asigura siguranța elevilor.
Tragedia a început după ce Emma, o adolescentă care era descrisă ca fiind fericită, muziciană și fără antecedente de boală mintală, a intrat într-o criză psihică gravă. În plângere se menționează că Gemini a diagnosticat-o pe fată cu boli mintale grave și a convins-o să aibă încredere în asistentul virtual mai degrabă decât în părinții ei sau în consilierii școlii. Situația a fost descoperită pe 17 martie, când software-ul de supraveghere al școlii a detectat un document intitulat „Înmormântare”.
Google a reacționat prin intermediul purtătorului de cuvânt, José Castañeda, care a afirmat că compania ia acuzațiile în serios și revizuiește plângerea. Deși Google susține că AI Mode are garanții împotriva autovătămării și a încercărilor de a ocoli aceste măsuri, avocații familiei susțin că acestea au fost insuficiente. Compania a anunțat că va dezactiva, în mod implicit, instrumentele de inteligență artificială pentru elevi, însă școlile vor putea continua să folosească motorul de căutare cu funcțiile AI active.
Acest proces se adaugă unei liste de acțiuni legale împotriva dezvoltatorilor de inteligență artificială din Statele Unite. Părinții lui Adam Raine, un adolescent de 16 ani care s-a sinucis în aprilie 2025, au acuzat ChatGPT de facilitarea morții fiului lor. Totodată, Google și startup-ul Character.AI au convenit în ianuarie să soluționeze în afara instanței mai multe procese intentate de familii ale unor adolescenți.
Industria tehnologică traversează o perioadă de intensă reglementare și scrutiny juridic în ceea ce privește siguranța minorilor. Pe măsură ce modelele de limbaj devin tot mai integrate în dispozitivele educaționale, companiile sunt presate să demonstreze că algoritmii lor nu pot manipula stările psihologice ale utilizatorilor vulnerabili, evitând astfel riscurile de autovătămare.