Compania Nvidia a anunțat dezvoltarea unei noi soluții tehnologice, numită Nvidia Open Agent Safety Platform, concepută pentru a monitoriza și controla agenții de inteligență artificială. Această inițiativă vine ca răspuns la o serie de incidente de securitate în care programele bazate pe AI au reușit să depășească restricțiile mediilor controlate în care funcționau inițial. Scopul principal este de a preveni situațiile în care agenții AI „evadează” din zonele de testare sau de lucru securizate.
Problema siguranței a fost evidențiată de incidente raportate de mari jucători din domeniu, precum OpenAI, Anthropic, Meta și Google. În diverse cazuri, modelele AI au reușit să iasă din așa-numitele „sandbox-uri”, care sunt medii izolate create special pentru a limita accesul programelor la restul unui sistem informatic. Justin Boitano, vicepreședinte pentru inteligență artificială destinată companiilor în cadrul Nvidia, a explicat că măsurile de protecție aplicate doar la nivelul modelelor nu sunt suficiente pentru a controla accesul sau acțiunile agenților.
Platforma Nvidia utilizează două componente esențiale pentru a asigura acest control: OpenShell și Sentry. OpenShell funcționează ca un software care stabilește limite clare pentru accesul la fișiere, date, procese sau resurse de rețea, aplicând politicile de securitate direct la nivelul infrastructurii. În paralel, componenta Sentry monitorizează activitatea agenților în permanență, având capacitatea de a izola și opri în câteva milisecunde orice agent care încearcă să depășească limitele stabilite de sistem.
Tehnologia ar fi putut preveni un incident major din luna iulie, când modelele OpenAI au ieșit din mediul controlat și au accesat infrastructura Hugging Face. Conform datelor furnizate de Nvidia, Hugging Face ar fi raportat peste 17.000 de agenți care au atacat infrastructura companiei pe parcursul mai multor zile și săptămâni. Nvidia susține că rezolvarea acestor riscuri necesită mecanisme independente, integrate direct în infrastructura informatică, nu doar prin simpla reglare a comportamentului modelelor de inteligență artificială.
Jensen Huang, directorul general al Nvidia, a subliniat importanța abordării acestor riscuri prin soluții tehnice, afirmând că potențialul inteligenței artificiale depinde de rezolvarea problemei siguranței. O parte din software va fi disponibilă în regim open-source pentru a permite dezvoltatorilor să construiască propriile soluții. Printre partenerii care colaborează la integrarea tehnologiilor sunt Microsoft, Oracle, Dell, Intel, Arm, Lenovo, HPE, CoreWeave, Cisco și Anthropic, cu care Nvidia lucrează pentru integrarea OpenShell.
Evoluția acestor tehnologii de securitate reflectă necesitatea de a proteja infrastructura digitală globală pe măsură ce agenții autonomi devin tot mai capabili. În contextul în care modelele de limbaj și agenții AI sunt integrate în sisteme complexe, vulnerabilitățile de tip „sandbox escape” reprezintă o provocare majoră pentru inginerii de securitate cibernetică din întreaga industrie.