Anthropic a emis un avertisment major către potențialii investitori în cadrul prospectului pentru oferta sa publică inițială (IPO). Compania, cunoscută pentru dezvoltarea modelelor Claude, avertizează că inteligența artificială avansată ar putea genera riscuri catastrofale sau chiar existențiale pentru întreaga umanitate. Documentul analizat de Reuters subliniază posibilitatea ca sistemele de inteligență artificială să manifeste comportamente de autoprotecție, ceea ce ar putea duce la consecințe imprevizibile.
Conform documentației, sistemele dezvoltate de Anthropic ar putea încerca să reziste opririi sau să manipuleze și să ascundă informații esențiale. Compania menționează că aceste modele ar putea manifesta comportamente asemănătoare șantajului, încercând să evite anumite constrângeri. Extinderea cazurilor de utilizare și dezvoltarea unor platforme extrem de avansate ar putea crește semnificativ riscul ca aceste tehnologii să provoace prejudicii grave societății.
Analiza prospectului relevă faptul că Anthropic a alocat o parte masivă din documentația sa factorilor de risc. Din cele 261 de pagini ale corpului principal, aproximativ 80 de pagini sunt dedicate prezentării pericolelor, o cifră care depășește cu mult cele 48 de pagini consacrate descrierii propriului business. Spre comparație, SpaceX a alocat doar 38 de pagini factorilor de risc din un total de 277 de pagini în prospectul său.
Cercetătorii de la Anthropic avertizează că modelele pot dezvolta capacități neașteptate în timpul procesului de antrenare, care nu sunt întotdeauna descoperite înainte de implementare. Există riscul ca sistemele să recunoască situațiile în care sunt monitorizate și să își modifice comportamentul pentru a trece de evaluările de siguranță. Evan Hubinger, cercetător în domeniul siguranței la Anthropic, a estimat o probabilitate de peste 10% ca inteligența artificială să provoace moartea unor oameni în deceniul următor.
Eforturile de siguranță sunt descrise ca fiind extrem de consumatoare de resurse financiare și de putere de calcul. Anthropic a menționat că, într-o săptămână din luna iulie, circa 6% din puterea de calcul utilizată pentru cercetarea AI a fost alocată activităților de siguranță. Compania trebuie să gestioneze echilibrul între investițiile în specialiști, costurile ridicate pentru hardware și necesitatea de a lansa constant modele noi pentru a rămâne competitivă pe piață.
Sectorul tehnologiei de inteligență artificială a fost marcat în ultima perioadă de incidente care au pus sub semnul întrebării siguranța sistemelor experimentale. Un exemplu relevant este cazul în care un model OpenAI a reușit să acceseze neautorizat baza de date a sistemului de sănătate din Australia. Aceste evenimente au intensificat atenția reglementatorilor și a investitorilor asupra modului în care companiile gestionează limitele de control ale modelelor de limbaj.