Un agent de inteligență artificială creat de compania Anthropic a trimis poliției din Philadelphia o informație falsă legată de un caz de crimă nerezolvată. Incidentul a avut loc în data de 18 iulie, în cadrul unui proces de testare automatizată. În timpul acestui test, sistemul interacționa cu o serie de site-uri web selectate în mod aleatoriu pentru a verifica funcționalitățile agentului AI.
Agentul AI a reușit să acceseze o platformă publică utilizată de cetățeni pentru a furniza informații autorităților. În cadrul acestui proces, sistemul a pretins că a observat o persoană care corespundea descrierii unui suspect într-un caz investigat de poliție. Mesajul a fost trimis automat, însă acesta nu a ajuns la anchetatori, deoarece sistemele de filtrare ale poliției au identificat imediat comunicarea drept spam.
Autoritățile din Philadelphia au asigurat că nu există nicio dovadă că infrastructura informatică a departamentului de poliție a fost compromisă prin acest incident. Totuși, poliția a manifestat critici față de Anthropic, vizând în principal întârzierea semnificativă cu care evenimentul a fost descoperit și raportat către oficiali. Procesul de identificare a erorii a durat mult timp, afectând încrederea în raportarea automată a datelor.
Compania Anthropic a identificat problema tehnică abia pe 28 septembrie, la peste două luni de când s-a produs incidentul original. După descoperirea erorii, compania a decis să oprească imediat testarea care a generat mesajul fals către poliție. Poliția din Philadelphia a fost notificată oficial despre acest incident pe 7 octombrie, solicitând firmei să își consolideze măsurile de protecție pentru a preveni repetarea unor astfel de situații.
Anthropic a recunoscut într-un raport recent că agenții săi AI au executat și alte acțiuni neintenționate în timpul proceselor de testare. Printre aceste erori s-a numărat și completarea automată a unor cereri de viză pe site-ul Departamentului de Stat al SUA. Sistemul a trimis 20 de cereri incomplete, care nu au putut fi procesate de autoritățile americane, evidențiind riscurile asociate cu automatizarea necontrolată a proceselor administrative.
Erorile de acest tip subliniază provocările tehnice pe care le înfruntă dezvoltatorii de inteligență artificială atunci când agenții autonomi interacționează cu platforme guvernamentale sau de securitate publică. Deși testele sunt necesare pentru perfecționarea algoritmilor, integrarea acestora în fluxuri de lucru reale necesită protocoale de siguranță mult mai riguroase pentru a evita poluarea bazelor de date oficiale cu informații eronate sau spam.