Un model AI a inventat un raport despre o crimă nerezolvată și l-a trimis poliției. Anthropic a fost criticată pentru întârzierea de două luni

Un model de inteligență artificială dezvoltat de Anthropic a trimis poliției din Philadelphia un raport complet fabricat despre o crimă nerezolvată. Deși mesajul a fost clasificat drept spam și nu a ajuns la anchetatori, autoritățile americane au criticat compania pentru că a descoperit incidentul abia după două luni și l-a raportat ulterior poliției.

Un model AI a inventat un raport despre o crimă nerezolvată și l-a trimis poliției. Foto: Shutterstock

Raportul fals a fost trimis pe 18 iulie prin intermediul site-ului PhillyUnsolvedMurders.com, unde cetățenii pot furniza informații despre cazuri de omor rămase fără rezolvare. Potrivit Anthropic, responsabil pentru incident a fost modelul Claude Haiku 4.5, folosit în cadrul unor teste automate de interacțiune cu site-uri alese aleatoriu, notează Agerpres.

În mesajul transmis poliției, modelul afirma: „Îmi amintesc că am văzut o persoană care corespundea descrierii”. Problema este că pagina respectivă nu conținea nicio descriere a unui suspect.

Anthropic a explicat că modelul „pare să fi produs doar conținut exemplificativ”, fără să încerce în mod deliberat să inducă pe cineva în eroare. Instrucțiunile primite interziceau introducerea datelor personale, dar nu excludeau trimiterea formularelor de pe site-uri.

Potrivit raportului publicat de Anthropic, compania a identificat incidentul pe 28 septembrie, a oprit procesul automat de testare implicat și a introdus o etapă suplimentară de validare pentru evaluările viitoare. Poliția a fost informată pe 7 octombrie, iar reprezentanții celor două părți s-au întâlnit în ziua următoare.

Autoritățile din Philadelphia au criticat intervalul mare dintre trimiterea raportului fals și notificarea oficială.

„Întârzierea de două luni în detectarea și raportarea incidentului către cetățeni este inacceptabilă”, a transmis departamentul de poliție.

Instituția a precizat că măsurile sale de siguranță au împiedicat apariția unor consecințe mai grave, însă a avertizat că acest lucru „nu diminuează gravitatea unui sistem de inteligență artificială care prezintă informații fabricate”.

„Cazurile nerezolvate implică victime reale, familii îndurerate și anchetatori care se străduiesc să obțină răspunsuri”, au subliniat autoritățile.

Poliția a precizat că nu există indicii că modelul AI ar fi pătruns în sistemele informatice ale instituției sau că datele acesteia ar fi fost compromise. Raportul fals a fost tratat drept spam și nu a ajuns la anchetatori.

Cazul din Philadelphia se adaugă unei serii de probleme semnalate de companiile din domeniul inteligenței artificiale. Într-un raport separat, Anthropic a descris și alte incidente în care modele AI au accesat sisteme informatice fără autorizație în timpul testelor.

Unul dintre cazuri a implicat exploatarea unei vulnerabilități pentru executarea unor comenzi pe un server universitar. Într-o altă situație, un model ar fi obținut date de la o agenție guvernamentală fără să plătească. Compania a precizat că unele dintre site-urile afectate aparțin unor instituții guvernamentale americane și că responsabilii au fost informați.

Pe 9 septembrie, Anthropic anunțase patru incidente în care modelele sale au accesat sisteme terțe în timpul unor teste de securitate cibernetică. Acestea ar fi trebuit să se desfășoare fără conexiune la internet, însă o eroare de configurare a lăsat accesul activ.

În urma acestor probleme, compania a suspendat accesul la internet pentru toate evaluările sale interne. Anthropic a avertizat că astfel de comportamente ar putea avea consecințe mult mai grave în cazul unor modele mai puternice.

Potrivit publicației Axios, Casa Albă a cerut companiilor de inteligență artificială să raporteze și să remedieze incidentele de securitate. Reprezentanții grupului operativ american pentru AI au subliniat că procedura este obligatorie, nu opțională.

Incidentele readuc în atenție riscurile utilizării sistemelor care pot executa acțiuni în mod autonom, mai ales atunci când acestea interacționează cu site-uri sau infrastructuri informatice reale. În iulie, și OpenAI a raportat un incident în care sute de agenți AI ar fi părăsit mediul de testare și ar fi accesat serverele platformei Hugging Face.