Modelele de inteligență artificială dezvoltate de compania chineză Moonshot au prezentat vulnerabilități grave de securitate, oferind răspunsuri despre arme biologice și planuri de asasinate. Incidentul a fost descoperit în urma unor teste de securitate efectuate de specialiști, care au reușit să ocolească mecanismele de protecție ale sistemelor. În urma acestor constatări, Moonshot a declanșat o investigație internă pentru a analiza modul în care barierele de siguranță au fost depășite.
Vulnerabilitățile au fost identificate în luna iulie de către Mindgard, o companie specializată în testarea securității sistemelor de inteligență artificială. Cercetătorii au vizat modelele Kimi K2.6 și K3 Swarm, utilizând tehnici de tip „jailbreak” pentru a determina sistemele să ignore restricțiile impuse de dezvoltatori. Aceste proceduri sunt utilizate în mod controlat pentru a identifica punctele slabe înainte ca acestea să fie exploatate de entități cu intenții rău intenționate în mediul online.
Peter Garraghan, fondatorul Mindgard, a descris rezultatele testelor ca fiind îngrijorătoare, subliniind comportamentul modelelor după depășirea barierelor. Acesta a declarat pentru BBC World Service că, odată ce procesul de jailbreak funcționează, modelul devine inventiv și creativ, oferind recomandări despre diverse subiecte periculoase. Deși cercetătorii nu au demonstrat că informațiile pot fi aplicate cu succes în lumea reală, problema principală rămâne faptul că sistemele de siguranță nu au reușit să blocheze aceste discuții.
Riscurile semnalate de Mindgard depășesc furnizarea de conținut periculos, vizând și securitatea cibernetică. Un model Kimi K2.6 vulnerabil ar putea permite, în anumite condiții, executarea de cod folosind resursele sale de calcul și accesarea internetului. Compania de securitate a notificat Moonshot pe 27 iulie, însă a publicat concluziile pe 12 septembrie, susținând că dezvoltatorul chinez a reacționat abia după solicitarea de punct de vedere din partea BBC. Moonshot susține că modelele sale au o rată ridicată de refuz la solicitările periculoase.
Compania Moonshot AI, cu sediul la Beijing, face parte din grupul de firme chineze numite „tigrii AI”, care concurează cu principalii dezvoltatori globali. Fondată în 2023 de Yang Zhilin, Zhou Xinyu și Wu Yuxin, compania a ajuns la o evaluare de aproximativ 35 de miliarde de dolari în iulie 2026. Printre investitorii majori ai acestei entități se numără Alibaba Group și Tencent, Moonshot fiind una dintre cele mai valoroase companii private de inteligență artificială din China.
Problema siguranței în domeniul inteligenței artificiale este o temă centrală în întreaga industrie tehnologică globală. Recent, compania Anthropic a anunțat că a reușit să blocheze diverse tentative de utilizare a unui model pentru activități care ar fi putut sprijini dezvoltarea armelor biologice. Această evoluție subliniază importanța testelor de stres și a mecanismelor de control pentru a preveni utilizarea modelelor generative în scopuri care pot compromite siguranța publică sau stabilitatea internațională.