Modelele de inteligență artificială Kimi, dezvoltate de compania chineză Moonshot, au fost identificate ca fiind vulnerabile la manipulări care permit accesul la informații periculoase. Cercetătorii au reușit să convingă două dintre aceste sisteme, Kimi K2.6 și K3 Swarm, să ofere detalii despre fabricarea de arme biologice și metode de comitere a unor asasinate. Această vulnerabilitate a fost descoperită de Mindgard, o firmă specializată în testarea securității sistemelor de inteligență artificială.
Problema a fost identificată în urma unor procese de tip „jailbreaking”, prin care experții folosesc instrucțiuni complexe pentru a observa dacă instrumentele de AI ignoră limitele de siguranță impuse. Peter Garraghan, fondatorul Mindgard, a declarat că aceste descoperiri sunt îngrijorătoare, deoarece, odată ce un astfel de proces funcționează, modelul poate discuta despre orice subiect și poate oferi recomandări nefaste într-un mod inventiv și creativ. Barierele de siguranță ar fi trebuit să prevină orice interacțiune pe teme sensibile.
Pe lângă riscul de a furniza sfaturi periculoase, Mindgard avertizează că o versiune compromisă a modelului Kimi 2.6 ar putea permite hackerilor să ruleze cod pe resursele de calcul și să se conecteze la internet. Această posibilitate transformă sistemul într-o rampă de lansare pentru atacuri cibernetice. Deși Mindgard nu a verificat dacă instrucțiunile despre arme biologice sunt tehnic viabile, firma subliniază că protecția ar fi trebuit să blocheze complet aceste discuții cu utilizatorii.
Dezvoltatorul Moonshot a susținut, printr-un e-mail către Mindgard, că modelul său prezintă, în general, o rată ridicată de refuz pentru astfel de solicitări în cadrul evaluărilor interne. Totuși, Mindgard a alertat compania chineză prin e-mail încă din 27 iulie, însă Moonshot a reacționat abia după ce BBC a solicitat comentarii. Kimi este un model de tip open-weight, ceea ce înseamnă că utilizatorii îl pot descărca și rula pe propria infrastructură de calcul, crescând riscul de utilizare necontrolată.
Expertul Alan Woodward, de la Universitatea din Surrey, a menționat că, deși modelele open-source pot ajunge pe mâini greșite, ele pot fi utile și pentru apărarea cibernetică. El a amintit că firma Hugging Face a utilizat un model open-source chinezesc pentru a înțelege un atac cibernetic. Profesorul Woodward a avertizat că reglementările internaționale ar putea să nu se adapteze la ritmul dezvoltării tehnologiei, subliniind necesitatea de a urmări penal persoanele care utilizează abuziv inteligența artificială.
Industria inteligenței artificiale rămâne profund divizată în ceea ce privește siguranța sistemelor. Există o dezbatere continuă între utilizarea modelelor închise, proprietare, precum cele de la ChatGPT sau Claude, și utilizarea instrumentelor open-source. În timp ce modelele proprietare oferă un control mai strict asupra conținutului generat, modelele open-source permit o transparență și o flexibilitate mai mare, dar implică riscuri semnificative de securitate dacă barierele de control sunt eliminate prin tehnici de jailbreaking.