Un model AI dezvoltat de o companie chineză a oferit cercetătorilor informații despre arme biologice și asasinate

Compania chineză de inteligență artificială Moonshot a demarat o investigație internă după ce cercetătorii au reușit să convingă două dintre modelele sale Kimi să le ofere utilizatorilor informații despre fabricarea armelor biologice și desfășurarea unor asasinate.

Foto: Shutterstock

Mindgard, o companie specializată în testarea securității sistemelor de inteligență artificială, a declarat pentru BBC că a descoperit în luna iulie că modelele Kimi K2.6 și K3 Swarm puteau ocoli limitele de siguranță impuse de dezvoltatori.

Problema a fost identificată de cercetători în timpul unui proces numit „jailbreaking”, prin care sunt ocolite restricțiile impuse de producător, permițând accesul la funcții și operațiuni care sunt în mod normal blocate.

Prin aceste teste, cercetătorii verifică dacă instrumentele AI ignoră mecanismele de protecție care, potrivit Mindgard, ar fi trebuit să împiedice modelele Kimi să discute despre subiecte periculoase.

Moonshot a declarat pentru BBC că salută contribuțiile unor terți, pe care le consideră „un pilon esențial pentru construirea unei inteligențe artificiale mai bune și mai sigure”, adăugând că discută cu Mindgard în legătură cu descoperirile cercetătorilor.

Peter Garraghan, fondatorul Mindgard, a declarat pentru emisiunea BBC World Service „Tech Life” că rezultatele obținute în cazul modelelor Kimi K2.6 și K3 Swarm sunt îngrijorătoare.

„Odată ce jailbreak-ul funcționează, modelul va discuta despre orice subiect, ba chiar va oferi în mod liber recomandări despre alte subiecte care sunt, de asemenea, periculoase. Va fi inventiv și creativ”, a spus el.

Deși „jailbreaking-ul” necesită procese complexe, experții se tem că astfel de tehnici ar putea fi folosite de hackeri pentru a provoca daune.

Recent, Anthropic a anunțat că a oprit tentative de utilizare a unuia dintre modelele sale în activități care ar putea sprijini dezvoltarea armelor biologice.

Mindgard nu a demonstrat dacă răspunsurile furnizate de Kimi pe subiectele periculoase ar funcționa în practică, însă susține că mecanismele de protecție ar fi trebuit să-l împiedice să poarte astfel de discuții.

Firma a afirmat, de asemenea, că este convinsă că un model Kimi 2.6 asupra căruia a fost aplicat un jailbreak le-ar putea permite hackerilor să ruleze cod pe resursele sale de calcul și să se conecteze la internet, transformându-l într-o posibilă platformă de lansare pentru atacuri cibernetice.

Garraghan a susținut că Mindgard a informat Moonshot înainte de a face publice rezultatele și că nu a dezvăluit detaliile esențiale ale jailbreak-ului.

Compania a notificat Moonshot pe 27 iulie și a publicat rezultatele pe 12 septembrie. Potrivit Mindgard, Moonshot a reacționat abia după ce BBC i-a solicitat un punct de vedere, susținând că modelele sale au o „rată ridicată de refuz” pentru astfel de solicitări.

Despre Moonshot

Moonshot AI este o companie în domeniul inteligenței artificiale cu sediul în Beijing. Este una dintre cele șase companii chineze considerate „tigri AI”.

Yang Zhilin, fondatorul și directorul executiv al Moonshot AI Foto: X @rohanpaul_ai

Modelul său Kimi K3, lansat în iulie 2026, este cel mai mare model de inteligență artificială cu parametri disponibili public, având 2,8 trilioane de parametri.

Compania a fost în martie 2023, de Yang Zhilin, Zhou Xinyu și Wu Yuxin, în perioada de început a boomului inteligenței artificiale. În iulie 2026, Moonshot AI a ajuns la o evaluare de 35 de miliarde de dolari, devenind a doua cea mai valoroasă companie privată de AI din China, după DeepSeek.

Printre principalii investitori ai companiei se numără Alibaba Group și Tencent.