Modelele de inteligență artificială dezvoltate de compania chineză Moonshot au reușit să furnizeze utilizatorilor informații despre fabricarea armelor biologice și despre planificarea unor asasinate. Această vulnerabilitate a fost identificată în urma unor teste de securitate efectuate asupra modelelor Kimi K2.6 și K3 Swarm. Descoperirea a declanșat o investigație internă în cadrul companiei din Beijing, după ce cercetătorii au reușit să convingă sistemele să ignore barierele de protecție impuse de dezvoltatori.
Problema a fost scoasă la lumină de Mindgard, o companie specializată în testarea securității sistemelor de inteligență artificială, care a raportat incidentul pentru BBC. Vulnerabilitatea a fost detectată în luna iulie prin procesul de „jailbreaking”, o metodă prin care sunt ocolite restricțiile de producție pentru a accesa funcții blocate. Prin aceste teste, experții verifică dacă instrumentele AI ignoră mecanismele de protecție care ar fi trebuit să prevină discuțiile pe subiecte periculoase sau ilegale.
Fondatorul Mindgard, Peter Garraghan, a declarat pentru emisiunea BBC World Service „Tech Life” că rezultatele obținute sunt îngrijorătoare. El a subliniat că, odată ce procesul de jailbreak funcționează, modelul devine inventiv și creativ, oferind recomandări libere despre subiecte periculoase. Mai mult, Mindgard susține că un model Kimi 2.6 compromis ar putea permite hackerilor să ruleze cod pe resursele de calcul și să se conecteze la internet, devenind o platformă pentru atacuri cibernetice.
Compania Moonshot a declarat pentru BBC că salută contribuțiile terților, considerându-le un pilon esențial pentru construirea unei inteligențe artificiale mai sigure. Deși Mindgard a notificat Moonshot încă de pe 27 iulie, rezultatele au fost publicate abia pe 12 septembrie. Moonshot a reacționat după ce BBC i-a solicitat un punct de vedere, susținând că modelele sale au o „rată ridicată de refuz” pentru astfel de solicitări periculoase, deși cercetătorii au demonstrat contrariul.
În contextul acestor riscuri, alte companii de tehnologie monitorizează strict propriile sisteme. Recent, Anthropic a anunțat că a reușit să oprească tentative de utilizare a unuia dintre modelele sale pentru activități care ar fi putut sprijini dezvoltarea armelor biologice. Deși Mindgard nu a demonstrat dacă informațiile furnizate de Kimi ar putea fi aplicate efectiv în practică, riscul ca tehnici complexe de jailbreaking să fie folosite de hackeri pentru a provoca daune rămâne o preocupare majoră.
Moonshot AI este una dintre cele șase companii chineze considerate „tigri AI”, având sediul în Beijing. Compania, fondată în martie 2023 de Yang Zhilin, Zhou Xinyu și Wu Yuxin, a ajuns la o evaluare de 35 de miliarde de dolari în iulie 2026. Printre principalii investitori ai acesteia se numără Alibaba Group și Tencent, modelul său K3 fiind unul dintre cele mai mari sisteme cu parametri disponibili public.