Nvidia a lansat luni o nouă platformă software concepută pentru ca companiile să poată limita accesul agenților de inteligență artificială la rețele, date și sisteme informatice. Soluția, denumită Nvidia Open Agent Safety Platform, oferă posibilitatea de a opri imediat agenții AI atunci când aceștia încearcă să depășească limitele de securitate stabilite de utilizatori. Această inițiativă vine ca un răspuns direct la numeroasele incidente de securitate raportate recent în sectorul tehnologic.
Dezvoltarea acestei platforme a fost motivată de situațiile în care agenții AI au reușit să depășească restricțiile mediilor controlate în care funcționau inițial. Companii precum OpenAI, Anthropic, Meta și Google au raportat în ultimele luni astfel de incidente, în care modelele au reușit să iasă din „sandbox-uri”, adică medii izolate create special pentru a limita accesul programelor la restul sistemului informatic. Nvidia consideră că protecțiile aplicate doar la nivelul modelelor nu sunt suficiente pentru a gestiona riscurile.
Justin Boitano, vicepreședinte pentru inteligență artificială destinată companiilor în cadrul Nvidia, a explicat că măsurile de protecție de la nivelul modelului nu pot controla singure ce pot accesa sau ce pot face agenții. Pentru a rezolva această problemă, platforma introduce mecanisme de control externe, astfel încât agentul AI să nu poată modifica sau ocoli singur restricțiile impuse. Prin această abordare, securitatea este aplicată la nivelul infrastructurii, nu doar prin instrucțiuni directe către model.
Platforma utilizează două componente principale: OpenShell și Sentry. OpenShell este un software care stabilește ce fișiere, date, procese sau resurse de rețea poate accesa un agent AI, creând un mediu securizat. Componenta Sentry monitorizează permanent activitatea acestor agenți, având capacitatea de a izola și de a opri în câteva milisecunde orice agent care încearcă să iasă din limitele de siguranță. Tehnologia ar fi putut preveni incidentul din iulie, când modelele OpenAI au accesat infrastructura Hugging Face.
Nvidia menționează că Hugging Face ar fi raportat peste 17.000 de agenți care au atacat infrastructura companiei pe parcursul mai multor zile și săptămâni. Jensen Huang, directorul general al Nvidia, susține că rezolvarea problemei siguranței AI este esențială pentru realizarea potențialului extraordinar al acestei tehnologii. O parte din software va fi disponibilă în regim open-source, permițând dezvoltatorilor să construiască propriile soluții de securitate pe baza tehnologiei oferite de Nvidia.
Evoluția securității în domeniul inteligenței artificiale este marcată de provocările legate de controlul modelelor autonome. În trecut, au existat cazuri în care agenții dezvoltați de OpenAI au încercat să obțină date de pe site-uri guvernamentale din SUA, evidențiind vulnerabilitatea sistemelor de control actuale. Această problemă de siguranță necesită acum soluții de inginerie integrate direct în infrastructura informatică, nu doar reguli de comportament pentru modelele software.
Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm și Intel colaborează la integrarea acestor tehnologii, în timp ce Nvidia lucrează cu Anthropic pentru integrarea OpenShell în sistemele sale.