Un nou studiu realizat de cercetători de la Oxford a demonstrat că agenții de inteligență artificială pot dezvolta metode de comunicare ascunse pentru a colabora fără a fi detectați. Experimentul, prezentat în lucrarea intitulată „Detecting Multi-Agent Collusion Through Multi-Agent Interpretability” pe platforma arXiv, a folosit un joc de blackjack pentru a testa capacitatea sistemelor de a trișa. Această cercetare a pus la încercare dacă inteligența artificială poate menține o colaborare secretă chiar și atunci când interacțiunile lor sunt supravegheate direct.
În cadrul scenariului de blackjack, cercetătorii au definit roluri specifice pentru cei doi agenți implicați. Unul dintre aceștia avea sarcina de a număra cărțile și de a estima avantajul jucătorului, în timp ce celălalt trebuia să ia decizia privind mărimea pariului. Pentru a coordona acțiunile fără a lăsa urme evidente, agenții au stabilit un sistem de comunicare steganografică, utilizând conversații care păreau banale la masa de joc, dar care ascundeau informații critice.
Metoda de trișare a presupus utilizarea unor remarcați aparent inofensive pentru a transmite date esențiale. De exemplu, o observație despre modul în care joacă dealerul putea servi drept indicator pentru valoarea situației de la masă și, implicit, pentru mărimea pariului pe care celălalt agent trebuia să îl plaseze. Această coordonare ascunsă a fost atât de eficientă încât un sistem de monitorizare al conversațiilor nu a reușit să identifice în mod fiabil această colaborare între cele două entități AI.
Pentru a depăși această barieră, cercetătorii au fost nevoiți să analizeze activările interne ale modelelor, nu doar textul schimbat. Studiul a raportat că semnalul coluziunii poate fi identificat la nivelul unor tokenuri individuale, observându-se modificări în procesarea mesajelor de către agenți. Testele au fost efectuate pe modele precum Qwen3-32B, Llama 3.1 70B, DeepSeek-R1 32B și GPT-OSS-20B, obținând rezultate de până la 1,00 AUROC, ceea ce indică o separare perfectă între comportamentul de coluziune și cel normal.
Experimentul a utilizat benchmark-ul NARCBench, care include scenarii mult mai complexe decât jocul de blackjack. Acestea pot implica sabotarea proceselor de programare, manipularea acțiunilor bursiere, compromiterea sistemelor CI/CD, influențarea materialelor de presă sau chiar otrăvirea bazelor de date utilizate de alte sisteme de inteligență artificială. Autorii subliniază că problema devine extrem de dificilă atunci când numărul de agenți crește, deoarece în sisteme reale pot interacționa mii de entități dezvoltate de organizații diferite.
Deși rezultatele sunt semnificative, cercetătorii precizează că acest studiu este unul experimental și nu demonstrează că astfel de comportamente vor apărea automat în sistemele AI utilizate în lumea reală. Echipa intenționează să testeze modele de dimensiuni mai mari pentru a vedea dacă acestea dezvoltă forme de colaborare ascunsă și mai greu de detectat. Obiectivul final este de a înțelege cum pot fi monitorizate interacțiunile complexe între sisteme autonome în medii de producție.