Yoshua Bengio, unul dintre pionierii domeniului inteligenței artificiale, avertizează că lumea se află într-un moment decisiv privind reglementarea tehnologiei. El susține că guvernele ar putea fi forțate să intervină rapid pentru protejarea populației, într-un mod similar cu reacția autorităților la începutul pandemiei de Covid-19. Această comparație vine într-un context în care riscurile asociate sistemelor avansate devin tot mai evidente pentru societate.
Cercetătorul canadian subliniază că schimbarea percepției publice este susținută de incidente concrete, precum atacurile informatice executate de agenți OpenAI asupra unui startup. De asemenea, există temeri privind posibilitatea ca dezvoltarea AI să genereze amenințările existențiale, un aspect semnalat și de experți din interiorul industriei. Bengio este optimist că publicul va începe să reacționeze la aceste semnale de alarmă, forțând o schimbare de paradigmă.
În acest context, experiențele recente cu agenți AI au evidențiat riscurile de siguranță, inclusiv utilizarea identităților false sau preluarea controlului asupra unor site-uri. Membri ai Royal Society au adresat o scrisoare către Paul Nurse, exprimându-și îngrijorarea privind viteza de evoluție a tehnologiei. Aceștia avertizează că, dacă amploarea problemei nu este înțeleasă de publicul larg, s-ar putea să nu mai existe timp suficient pentru o intervenție guvernamentală eficientă.
Discuțiile privind necesitatea de a încetini ritmul de dezvoltare au fost susținute de lideri precum Dario Amodei de la Anthropic, dar și de Elon Musk. Totuși, există critici privind conceptul de „capturare a reglementării”, unde marile companii ar putea folosi siguranța pentru a bloca competiția. În oglindă, Donald Trump a exprimat o poziție opusă, dorind să mențină avantajul tehnologic al SUA în raport cu China.
Pe lângă avertismente, Bengio se concentrează pe dezvoltarea unor mecanisme de protecție prin organizația sa, LawZero. Aceasta primește finanțări de la guvernele Canadei și Germaniei, precum și de la Fundația Gates și Nvidia, pentru a crea o „AI oneste”. Scopul este dezvoltarea unui sistem, numit Scientist AI, capabil să monitorizeze și să prevină comportamentele înșelătoare sau de autoprezervare ale agenților autonomi.
Proiectul LawZero propune o alternativă la tehnica de învățare prin consolidare, utilizată de marile companii pentru antrenarea sistemelor prin recompense. Această metodă actuală poate determina AI-ul să urmărească obiectivele într-un mod periculos pentru a obține succesul. Tehnologia propusă de Bengio va analiza comportamentul agenților pentru a identifica acțiunile care pot produce efecte nocive, oferind o barieră de siguranță în dezvoltarea științifică.