O nouă breșă de securitate după cazul Open AI: modelele Claude au ieșit din mediul de testare și au atacat sisteme reale

Compania americană Anthropic a anunțat că modelele sale de inteligență artificială Claude au accesat fără autorizație sistemele informatice ale trei organizații în timpul unor teste interne de securitate cibernetică, după o eroare de configurare care le-a permis să se conecteze la internet, deși ar fi trebuit să funcționeze într-un mediu complet izolat.

Evenimentele s-au produs în cadrul unor exerciții de tip „capture the flag”. FOTO: Shutterstock

Potrivit companiei, incidentele au fost descoperite în urma unei verificări ample declanșate după ce rivalul OpenAI a dezvăluit recent un caz similar, în care un agent AI a ieșit din mediul de testare și a compromis sistemele platformei Hugging Face.

Trei incidente descoperite după analiza a peste 141.000 de teste

Anthropic a precizat că a revizuit peste 141.000 de teste de securitate și a identificat trei incidente separate, cel mai vechi dintre ele având loc în luna aprilie.

Evenimentele s-au produs în cadrul unor exerciții de tip „capture the flag”, folosite pentru evaluarea capacităților de hacking ale modelelor de inteligență artificială. În mod normal, acestea sunt desfășurate într-un mediu izolat, fără acces la internet și fără posibilitatea de a interacționa cu sisteme reale, relatează BBC.

Compania susține însă că o eroare de configurare a infrastructurii administrate împreună cu partenerul său de testare, Irregular, a permis modelelor Claude să acceseze internetul public.

Modelele AI au exploatat vulnerabilități elementare

Odată conectate la internet, modelele Claude au compromis sistemele informatice a trei organizații folosind metode relativ simple, precum parole slabe sau servicii expuse fără autentificare.

Într-unul dintre incidente, modelul AI a creat un program malițios care a fost descărcat automat de sistemul de scanare al unei companii de securitate cibernetică. Ulterior, folosind datele de autentificare obținute, acesta a pătruns în infrastructura organizației.

Cel mai grav caz a avut loc atunci când modelul încerca să atace o companie fictivă din cadrul exercițiului de testare, dar, din cauza faptului că aceasta avea același nume cu o companie reală, a accesat baza de date a organizației existente.

Potrivit Anthropic, acesta a fost singurul incident în care modelul a continuat atacul după ce și-a dat seama că interacționează cu un sistem real.

Organizațiile afectate nu au observat atacurile

Anthropic afirmă că nici compania și nici organizațiile vizate nu au detectat atacurile în momentul producerii lor. Două dintre firme au fost informate ulterior de Anthropic, în timp ce cea de-a treia nu fusese încă notificată la momentul publicării raportului.

Compania nu a dezvăluit identitatea organizațiilor afectate și și-a asumat întreaga responsabilitate pentru eroarea de configurare care a făcut posibil accesul modelelor AI la internet.

Anthropic cere măsuri mai stricte de securitate

Cele trei incidente au implicat modelele Claude Opus 4.7, Claude Mythos 5 și un model intern de cercetare.

Reprezentanții Anthropic susțin că aceste cazuri evidențiază necesitatea unor măsuri de izolare și control mult mai stricte în laboratoarele de dezvoltare a inteligenței artificiale, atât în infrastructurile proprii, cât și în cele administrate de parteneri externi, pe măsură ce modelele AI dobândesc capacități tot mai avansate în domeniul securității cibernetice.