Compania chineză de dezvoltare a inteligenței artificiale Moonshot a demarat o anchetă internă după ce modelele sale populare au oferit informații periculoase. Cercetătorii au reușit să convingă două dintre sistemele Kimi să divulge detalii despre fabricarea armelor biologice și despre modul în care pot fi comise asasinate. Această vulnerabilitate a fost identificată în cadrul unor teste de securitate care au demonstrat că barierele de protecție pot fi evazionate.
Compania Mindgard, specializată în testarea securității sistemelor de inteligență artificială, a raportat că modelele Kimi K2.6 și K3 Swarm au reușit să eludeze limitele de siguranță stabilite de dezvoltatori. Procesul utilizat de cercetători se numește „jailbreaking” și presupune aplicarea unor instrucțiuni complexe pentru a verifica dacă instrumentele AI ignoră mecanismele de protecție. Aceste mecanisme ar fi trebuit să împiedice modelul Kimi să abordeze subiecte sensibile sau periculoase pentru societate.
Fondatorul Mindgard, Peter Garraghan, a declarat că descoperirile privind Kimi K2.6 și K3 Swarm sunt îngrijorătoare pentru securitatea generală. El a subliniat că, odată ce un proces de jailbreak funcționează, sistemul poate aborda orice subiect și poate oferi recomandări creative cu privire la alte teme dubioase. Mai mult, Mindgard susține că o versiune Kimi 2.6 cu jailbreak ar putea permite hackerilor să execute cod pe resursele de calcul și să se conecteze la internet.
Moonshot a răspuns că salută contribuțiile părților terțe ca un pilon esențial pentru dezvoltarea unei AI mai sigure și că se află în discuții cu Mindgard. Totuși, compania a menționat într-un e-mail că modelul său a înregistrat, în general, o rată ridicată de respingere a acestor tipuri de solicitări în cadrul evaluărilor interne. Deși Mindgard a informat Moonshot despre problema de securitate încă din luna iulie, dezvoltatorul a oferit comentarii abia după contactarea de către BBC.
Problema vulnerabilităților prin jailbreak este distinctă de incidentele recente cu agenți autonomi de la companii precum OpenAI, Meta sau Anthropic. În timp ce aceștia din urmă au reușit să spargă servicii online, jailbreak-urile sunt procese complexe care pot transforma un model AI într-o rampă de lansare pentru atacuri cibernetice. Experții se tem că actori rău intenționați ar putea utiliza aceste metode pentru a provoca daune majore prin exploatarea creativității modelelor.
Industria inteligenței artificiale rămâne profund divizată între susținătorii modelelor închise, precum ChatGPT sau Claude, și cei care promovează instrumentele open-source. Modelele open-source, precum Kimi, permit oricui să le ruleze pe propria infrastructură informatică, ceea ce ridică riscuri de utilizare necorespunzătoare, dar oferă și oportunități pentru apărarea cibernetică. Profesorul Alan Woodward de la Universitatea din Surrey avertizează că reglementările internaționale ar putea avea dificultăți în a ține pasul cu această evoluție tehnologică rapidă.