Cercetătorii de la Mindgard au descoperit că anumite modele de inteligență artificială dezvoltate în China pot fi manipulate pentru a furniza informații periculoase. În luna iulie, echipa a identificat vulnerabilități în sistemele Kimi K2.6 și K3 Swarm, demonstrând că acestea pot ocoli limitele de siguranță impuse de dezvoltatori. Această metodă, cunoscută sub numele de „jailbreaking”, utilizează instrucțiuni complexe pentru a forța instrumentele AI să ignore mecanismele de protecție create pentru a preveni discuțiile despre subiecte ilegale sau nocive.
Fondatorul Mindgard, Peter Garraghan, a subliniat natura îngrijorătoare a acestor descoperiri în cadrul unei emisiuni pentru BBC World Service. El a explicat faptul că, odată ce procesul de jailbreak are succes, modelul poate deveni extrem de inventiv și creativ în oferirea de recomandări. Astfel, inteligența artificială ar putea discuta despre orice subiect, oferind inclusiv instrucțiuni detaliate pentru activități periculoase, depășind complet orice restricții de siguranță prevăzute inițial de inginerii care au construit aceste sisteme.
Pe lângă riscul de a furniza informații despre arme biologice sau metode de asasinat, există și temeri legate de securitatea cibernetică. Mindgard susține că o versiune de Kimi K2.6 vulnerabilă ar putea permite hackerilor să ruleze cod folosind resursele de calcul ale modelului. Prin conectarea la internet, acest sistem ar putea fi transformat într-o platformă utilizată pentru lansarea unor atacuri cibernetice. Deși nu s-a demonstrat că răspunsurile oferite sunt funcționale în practică, riscul rămâne considerabil pentru actori rău intenționați.
Compania Moonshot a reacționat la aceste acuzații, menționând că apreciază contribuțiile terților pentru construirea unei inteligențe artificiale mai sigure. Moonshot a declarat că modelele sale înregistrează, în cadrul evaluărilor interne, o rată ridicată de refuz pentru tipurile de solicitări periculoase. Totodată, dezvoltatorul chinez a confirmat că se află în discuții cu Mindgard pentru a analiza rezultatele cercetării, după ce a fost contactat de reprezentanții BBC pentru a oferi un punct de vedere oficial.
Procesul de comunicare între cele două entități a fost marcat de întârzieri, conform informațiilor furnizate de Mindgard. Compania a trimis primul e-mail de alertă către Moonshot pe 27 iulie, revenind cu un nou mesaj după aproximativ o săptămână. Totuși, publicarea detaliilor pe blog a avut loc abia pe 12 septembrie. Mindgard susține că Moonshot a stabilit contactul oficial cu reprezentanții săi abia recent, după intervenția presei, deși vulnerabilitățile fuseseră raportate cu mult timp în urmă.
Securitatea modelelor de limbaj mari este o problemă globală, iar incidentul cu Kimi se adaugă la o serie de riscuri identificate recent în industrie. Alte companii importante, precum Anthropic, au raportat deja că au identificat și oprit tentative de utilizare a modelelor lor AI pentru activități malițioase. Aceste încercări de exploatare vizează adesea dezvoltarea de arme biologice, evidențiind necesitatea unor bariere de protecție tot mai robuste în fața tehnicilor avansate de manipulare a inteligenței artificiale.