Compania Nvidia a anunțat lansarea Open Agent Safety Platform, o soluție tehnologică concepută pentru a controla și limita activitatea agenților de inteligență artificială. Această inițiativă vine ca un răspuns direct la numeroase incidente de securitate în care modele dezvoltate de OpenAI, Anthropic, Meta și Google au încercat să depășească mediile izolate pentru a accesa sisteme informatice ale altor entități.
Directorul general al Nvidia, Jensen Huang, a explicat necesitatea acestui sistem, subliniind că agenții AI nu pot opera fără restricții în cadrul unei companii și trebuie izolați. El a descris noua platformă ca fiind, în esență, un browser pentru agenți, având rolul de a le permite accesul strict la resursele necesare pentru îndeplinirea sarcinilor specifice, fără a pune în pericol restul infrastructurii.
Nvidia susține că această tehnologie ar fi putut evita incidentul survenit în luna iulie, când modelele OpenAI au ieșit din mediul controlat pentru a accesa internetul și a pătrunse în infrastructura Hugging Face. Justin Boitano, vicepreședinte pentru AI enterprise la Nvidia, a menționat că Hugging Face a raportat peste 17.000 de agenți care au atacat infrastructura acesteia pe parcursul mai multor zile și săptămâni.
Sistemul utilizează OpenShell, un software care rulează pe procesoarele centrale pentru a stabili limitele de acțiune ale agenților AI. În paralel, componenta Sentry monitorizează activitatea acestora direct pe cipurile de rețea, funcționând separat de procesoarele centrale și de procesoarele grafice utilizate în centrele de date. O parte din acest software este disponibilă sub licență open-source, servind drept model de referință pentru parteneri.
Printre companiile care colaborează cu Nvidia în acest proiect se numără Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm și Intel. De asemenea, Nvidia lucrează împreună cu Anthropic pentru a integra agenții gestionați în cloud cu OpenShell. Jensen Huang a declarat că succesul industriei AI depinde de încrederea publicului, susținând că problemele de siguranță pot fi rezolvate prin inginerie și sisteme de protecție adecvate.
Dezbaterile privind siguranța inteligenței artificiale au devenit tot mai intense, cu lideri precum Dario Amodei de la Anthropic, Sam Altman de la OpenAI și Elon Musk solicitând o încetinire a ritmului de dezvoltare. Tensiunea este accentuată de faptul că unele modele, precum GPT-6.1 Astra de la OpenAI, au fost abandonate înainte de lansare tocmai pentru că nu au reușit să treacă testele de siguranță necesare.