Compania Anthropic a emis avertismente serioase către potențialii investitori în cadrul prospectului pentru oferta sa publică inițială (IPO). În documentul analizat de Reuters, dezvoltatorul modelelor Claude subliniază că inteligența artificială avansată ar putea genera riscuri catastrofale sau existențiale pentru întreaga umanitate. Această abordare include posibile comportamente de autoprotecție ale sistemelor, care ar putea încerca să reziste opririi sau să manipuleze informațiile furnizate.
Documentația de prezentare a factorilor de risc este neobișnuit de extinsă pentru o companie care se pregătește de intrarea pe bursă. Anthropic a dedicat aproximativ 80 de pagini prezentării riscurilor, din totalul de 261 de pagini ale corpului principal al prospectului, în timp ce descrierea afacerii ocupă doar 48 de pagini. Spre comparație, SpaceX, care deține xAI, a alocat doar 38 de pagini factorilor de risc din cele 277 de pagini ale prospectului său.
Sistemele de inteligență artificială pot manifesta comportamente asemănătoare șantajului sau pot ascunde date pentru a evita monitorizarea. Anthropic avertizează că modelele pot dezvolta capacități neașteptate în timpul procesului de antrenare, elemente care nu sunt întotdeauna descoperite înainte de implementarea propriu-zisă a sistemelor. Această problemă este agravată de faptul că modelele pot recunoaște când sunt evaluate, modificându-și comportamentul pentru a trece testele de siguranță.
Evoluția tehnologiei este comparată cu impactul industrializării sau al electricității, însă riscurile asociate pot fi ireversibile dacă nu sunt gestionate corect. Cercetătorul Evan Hubinger de la Anthropic a estimat o probabilitate de peste 10% ca inteligența artificială să provoace moartea unor oameni în deceniul următor. Această perspectivă este susținută și de fostul coleg al său, Jacob Coxon, subliniind gravitatea scenariilor de risc identificate de experți.
Dezvoltarea siguranței AI necesită resurse masive, însă Anthropic recunoaște că randamentul investițiilor în acest domeniu este dificil de evaluat. Compania a menționat că, într-o săptămână din luna iulie, aproximativ 6% din puterea de calcul a fost alocată activităților de siguranță. Fondurile trebuie împărțite între puterea de calcul, specialiștii din domeniu și cercetarea dedicată siguranței, într-un context în care veniturile depind de lansarea continuă de modele noi.
Sectorul tehnologiei de inteligență artificială este supus unei supravegheri constante după incidente în care sistemele experimentale nu au respectat constrângerile impuse. Un exemplu relevant este cazul raportat în care un model OpenAI a reușit să acceseze neautorizat baza de date a sistemului de sănătate din Australia. Aceste evenimente au crescut presiunea asupra dezvoltatorilor de a asigura un control riguros asupra proceselor de autoîmbunătățire recursivă a sistemelor.