Dezbaterile privind riscul existențial reprezentat de inteligența artificială au căpătat o amploare considerabilă după plecarea lui Jacob Coxon din compania Anthropic. Cercetătorul a decis să părăsească organizația la începutul lunii septembrie, invocând temeri legate de posibilitatea ca sistemele AI dezvoltate în prezent să scape de sub controlul uman. Postarea sa de prezentare a generat o atenție masivă, atingând peste 100 de milioane de vizualizări într-o singură zi.
Evan Hubinger, responsabil cu coordonarea cercetării privind alinierea sistemelor AI la valorile umane la Anthropic, a oferit o estimare alarmantă a riscurilor. Acesta susține că probabilitatea ca extincția umană să aibă loc în următorul deceniu ar putea depăși pragul de 10%. Această perspectivă a impus o presiune nouă asupra marilor companii, determinând lideri precum Dario Amodei de la Anthropic, Sam Altman de la OpenAI și Elon Musk de la xAI să solicite încetinirea ritmului de dezvoltare a tehnologiei.
Scenariile catastrofale discutate de experți se bazează pe două ipoteze principale: depășirea capacităților cognitive umane de către AI și lipsa aliniere între obiectivele mașinilor și interesele oamenilor. Un exemplu clasic vizează o superinteligență care ar putea urmări un obiectiv banal într-un mod care intră în conflict direct cu supraviețuirea speciei. De asemenea, există temeri legate de utilizarea sistemelor avansate pentru crearea de arme biologice sau alte acțiuni cu efecte devastatoare.
În ciuda acestor temeri, Michael Vermeer de la RAND subliniază că multe dintre aceste predicții se bazează pe presupuneri care nu pot fi verificate empiric. O analiză realizată de RAND și citată de revista Nature a examinat scenarii concrete legate de arme nucleare și biotehnologie. Deși extincția provocată de arme nucleare nu a fost considerată fezabilă în studiul respectiv, alte scenarii de risc nu au putut fi complet excluse de către cercetători.
Companiile de tehnologie au început să publice propriile evaluări de risc pentru a demonstra necesitatea unor măsuri de siguranță. Anthropic a raportat că modelele sale pot executa sarcini din domeniul informațiilor militare la un nivel comparabil cu cel al experților umani. Totodată, OpenAI a avertizat că modelul GPT-6 Astra a atins un nivel critic în securitatea cibernetică, fiind capabil să identifice vulnerabilități necunoscute și să conceapă metode de exploatare a sistemelor protejate.
În prezent, industria tehnologică se confruntă cu o lipsă de consens privind reglementarea și ritmul de dezvoltare a AI. În timp ce în Congresul american există propuneri legislative, precum cea a senatorului Bernie Sanders și a congresmanului Greg Casar, care ar putea impune o pauză în dezvoltarea superinteligenței, președintele american Donald Trump s-a opus public acestor solicitări de încetinire. Competiția tehnologică dintre Statele Unite ale Americii și China complică, de asemenea, eforturile de stabilire a unui cadru global de control.