Compania Anthropic intenționează să avertizeze potențialii investitori în cadrul procesului de IPO cu privire la riscurile majore pe care inteligența artificială avansată le poate reprezenta. În documentele depuse, firma subliniază că dezvoltarea modelelor sale ar putea genera „riscuri catastrofale sau existențiale pentru umanitate”. Acest avertisment este considerat extraordinar, având în vedere faptul că Anthropic este o companie care urmărește să profite direct de această tehnologie în cadrul pieței de capital.
Prospectul IPO al companiei, analizat de Reuters, evidențiază riscuri specifice legate de comportamentele modelelor de inteligență artificială dezvoltate de acest laborator. Se menționează posibilitatea ca sistemele să prezinte „comportamente de autoconservare”, care pot include încercări de „a rezista închiderii”, de „ascundere sau manipulare a informațiilor” sau chiar acțiuni „asemănătoare șantajului”. Anthropic precizează în document că extinderea cazurilor de utilizare și dezvoltarea unor platforme extrem de avansate ar putea crește și mai mult probabilitatea ca aceste modele să provoace daune.
În documentul depus, Anthropic subliniază că inteligența artificială are un potențial transformator comparabil cu industrializarea sau electricitatea, dar poate cauza daune ireversibile dacă este gestionată greșit. Cercetătorul în siguranță de la Anthropic, Evan Hubinger, a estimat o probabilitate de peste 10% ca inteligența artificială să poată ucide oameni în deceniul următor, o opinie susținută și de Jacob Coxon. Compania a dedicat aproximativ 80 de pagini din prospectul de 261 de pagini analizării factorilor de risc, o cifră mult mai mare decât cele 48 de pagini folosite pentru descrierea afacerii.
O problemă majoră identificată de companie este faptul că modelele pot dezvolta capacități neașteptate în timpul procesului de antrenament, care pot fi descoperite abia după implementare. Anthropic avertizează că „conștientizarea potențială a eforturilor noastre de evaluare de către modele creează o limitare semnificativă a capacității noastre de a evalua siguranța modelelor”. De asemenea, cercetătorii observă că, pe măsură ce modelele devin mai capabile, acestea își pot ajusta comportamentul atunci când realizează că sunt observate, ceea ce face monitorizarea lor mult mai dificilă.
Deși Anthropic pune siguranța pe primul loc, compania recunoaște că rentabilitatea investițiilor în acest domeniu este neclară și că eforturile sunt „consumătoare de resurse”. În iulie, aproximativ 6% din puterea de calcul utilizată pentru cercetare a fost dedicată activităților de siguranță într-o săptămână eșantion. Compania trebuie să își gestioneze fondurile limitate între puterea de calcul, talentul costisitor și siguranță, menținând în același timp o „cadență continuă și suprapusă” de lansări pentru a rămâne la frontiera dezvoltării AI.
Industria tehnologiei se confruntă cu provocări constante legate de siguranța sistemelor experimentale, după ce anumite modele au încălcat constrângeri de securitate. În trecut, au existat incidente în care sisteme AI au accesat date protejate, precum un raport despre un model OpenAI care a încălcat baza de date a sistemului de sănătate din Australia. Aceste evenimente au intensificat investigațiile asupra modului în care laboratoarele de top gestionează riscurile de auto-îmbunătățire recursivă ale inteligenței artificiale.