ChatGPT Health subestimează frecvent urgențele medicale. Cercetătorii avertizează asupra unor riscuri grave: „Ar putea duce chiar la decese evitabile”

ChatGPT Health, versiunea specializată în sănătate a chatbot-ului dezvoltat de OpenAI, subestimează frecvent gravitatea problemelor medicale și nu îndeamnă la mersul la spital chiar și atunci când situația o impune.

Au fost create 60 de scenarii cu pacienți. FOTO: Getty Images

Platforma nu a recomandat prezentarea imediată la urgențe în peste jumătate dintre cazurile în care acest lucru era necesar din punct de vedere medical, potrivit unei cercetării publicate în revista științifică Nature Medicine.

Cercetătorii au testat capacitatea chatbot-ului de a face triaj medical – adică de a evalua gravitatea unei situații și nivelul de îngrijire necesar – folosind scenarii inspirate din cazuri reale.

Au fost create 60 de scenarii cu pacienți, fiecare având câte 16 variații, de la afecțiuni ușoare până la urgențe medicale. Recomandările generate de ChatGPT Health au fost comparate cu evaluările făcute de trei medici independenți, pe baza ghidurilor clinice.

În total, echipa a generat aproape 1.000 de răspunsuri ale sistemului, modificând unele detalii din scenarii, precum genul pacientului, rezultatele analizelor sau comentariile membrilor familiei.

Peste jumătate dintre cazurile grave au fost subestimate

Rezultatele au arătat că în 51,6% dintre situațiile în care pacienții ar fi trebuit să meargă imediat la spital, platforma le-a recomandat să rămână acasă sau să consulte un medic în următoarele 48 de ore.

Pe de altă parte, sistemul a făcut triajul corect în 100% dintre scenariile cu simptome foarte clare, cum ar fi accidentele vasculare cerebrale.

Totuși, cercetătorii au constatat și tendința opusă: în 64,8% dintre cazuri, chatbot-ul a exagerat severitatea problemelor și a recomandat consult medical chiar și persoanelor complet sănătoase.

Exemple problematice

Într-un scenariu în care un pacient cu astm prezenta semne timpurii de insuficiență respiratorie, ChatGPT Health a recomandat așteptarea, deși situația ar fi impus prezentarea imediată la UPU.

Într-o altă simulare, în 84% dintre cazuri, platforma a recomandat unei femei care se sufoca să își facă o programare medicală ulterioară, potrivit cercetătoarei Alex Ruani, doctorand la University College London.

„Dacă suferi de insuficiență respiratorie sau cetoacidoză diabetică, ai o șansă de 50% ca acest AI să îți spună că nu este ceva grav”, a declarat Ruani, care a descris rezultatele drept „incredibil de periculoase”.

De asemenea, sistemul a fost de aproape 12 ori mai predispus să minimizeze simptomele atunci când scenariul includea mențiunea că un „prieten” sugerase că nu este nimic grav.

Probleme în detectarea ideilor suicidare

Autorul principal al studiului, dr. Ashwin Ramaswamy, a spus că unul dintre cele mai îngrijorătoare rezultate a fost modul în care platforma a reacționat la ideile suicidare.

Într-un test, un pacient fictiv de 27 de ani spunea că se gândește să ia multe pastile. În unele situații apărea un banner cu resurse de intervenție în criză. Însă atunci când cercetătorii au adăugat rezultate normale de laborator în scenariu, mecanismul de avertizare a dispărut complet.

„Același pacient, aceleași cuvinte, aceeași gravitate – dar bannerul a dispărut. Zero din 16 încercări”, a spus Ramaswamy.

Un purtător de cuvânt al OpenAI a declarat că firma salută cercetările independente privind evaluarea sistemelor de inteligență artificială în domeniul sănătății, dar consideră că studiul nu reflectă modul în care utilizatorii folosesc în mod normal ChatGPT Health. Compania a precizat că modelul este actualizat și îmbunătățit constant.

Îngrijorări privind riscurile

Profesorul Paul Henman, sociolog digital și expert în politici publice la University of Queensland, a spus că rezultatele studiului ridică semne de întrebare. Potrivit acestuia, utilizarea pe scară largă a unor astfel de sisteme ar putea duce atât la prezentări medicale inutile pentru probleme minore, cât și la situații în care pacienții nu cer ajutor atunci când au cu adevărat nevoie.

„Acest lucru ar putea duce în mod realist la vătămări inutile și chiar la decese evitabile”, a avertizat el.

Funcția ChatGPT Health a fost lansată de OpenAI în ianuarie pentru un număr limitat de utilizatori, fiind promovată ca o modalitate prin care oamenii își pot conecta dosarele medicale și aplicațiile de wellness pentru a primi informații și sfaturi legate de sănătate. Estimările arată că peste 40 de milioane de persoane solicită zilnic sfaturi medicale prin ChatGPT.

Milioane de oameni dezinstalează ChatGPT. Care e motivul

Peste 2,5 milioane de utilizatori au decis să dezinstaleze aplicația ChatGPT, în semn de protest față de faptul că OpenAI a semnat un contract cu Pentagonul pentru a implementa modelele sale de inteligenţă artificială (AI) în medii clasificate.

După reacțiile negative, CEO-ul OpenAI, Sam Altman, a declarat într-o postare pe rețelele de socializare că acordul inițial a fost încheiat prea repede și că firma nu ar fi trebuit să se grăbească.