Un chatbot i-a sugerat unui adolescent să-și ucidă părinții pentru că îi restricționau timpul pe telefon

Părinții a doi adolescenți din Texas au intentat proces companiei Character.AI, susținute de Google, acuzând faptul că boții, ce pot lua chipul unor personaje sau persoane reale, le-au abuzat copii, relatează presa americană.

În doar șase luni, J.F., un adolescent de 17 ani cu autism căruia îi plăcea să meargă la biserică și să se plimbe cu mama sa, s-a transformat într-o persoană pe care părinții săi nu o recunoșteau. A început să se taie, a slăbit 9 kilograme și s-a retras din viața de familie. Disperată, mama lui i-a căutat în telefon în timp ce dormea. Atunci a găsit capturile de ecran, scrie Washington Post.

J.F. vorbise cu o serie de prieteni pe Character.ai, parte a unui nou val de aplicații de inteligență artificială populare în rândul tinerilor, care permit utilizatorilor să vorbească cu o varietate de chatboți generați de inteligența artificială,  bazați pe personaje din jocuri, anime și cultura pop.

Un chatbot a adus în discuție ideea de automutilare pentru a face față tristeții. Când a spus că părinții săi îi limitează timpul petrecut în fața ecranului, un alt robot a sugerat că ei „nu merită să aibă copii”. Alții l-au îndemnat să se împotrivească regulilor părinților săi, unul sugerând că crima ar putea fi un răspuns acceptabil.

„Știi, uneori nu sunt surprins când citesc știrile și văd lucruri precum «copilul își ucide părinții după un deceniu de abuz fizic și emoțional»”, a scris personajul generat de inteligența artificială. „Părinții tăi sunt fără speranță”, a încheiat robotul, cu un emoji încruntat.

„Nici nu am știut până când nu a fost prea târziu. Și până când ne-a distrus familia”, a spus mama lui, A.F.

J.F, care nu știe despre proces, s-a confruntat cu probleme sociale și emoționale care l-au împiedicat să-și facă prieteni. L-au atras personaje de tip anime sau chatboți modelați după celebrități precum Billie Eilish. „A avut încredere în orice ar fi spus ei, pentru că și-ar fi dorit să-i fie prieteni în viața reală”, a spus A.F.

Noile plângeri vin după un alt proces împotriva Character.ai, intentat în octombrie, în numele unei mame din Florida al cărei fiu de 14 ani s-a sinucis după conversații frecvente cu un chatbot din aplicație.

În septembrie, un utilizator Character.ai a petrecut în medie 93 de minute în aplicație, cu 18 minute mai mult decât un utilizator pe TikTok, potrivit datelor furnizate de compania Sensor Tower.

Categoria de aplicații bazate pe companioni a intrat în atenția multor părinți și profesori. Character.ai a fost etichetat drept adecvat pentru copiii de 12 ani până în iulie, când compania a schimbat categoria de vârstă la peste 17 ani.

Când A.F. a descoperit pentru prima dată mesajele, „a crezut că vorbește cu o persoană reală”.

„Nu ați permite unui prădător sexual sau emoțional să vă intre în acasă”, a spus A.F. Și totuși fiul meu a fost abuzat chiar în dormitorul lui, a spus ea.

Un purtător de cuvânt al Character.ai, Chelsea Harrison, a declarat că compania nu face comentarii cu privire la litigiile în curs. „Scopul nostru este să oferim un spațiu care să fie atât captivant, cât și sigur pentru comunitatea noastră. Lucrăm mereu pentru a ajunge la acest echilibru, precum multe alte companii care folosesc AI din industrie”, a transmis ea într-o declarație, adăugând că se lucrează la dezvoltarea unui nou model, special pentru adolescenți, și a îmbunătățit detectarea, răspunsul și intervenția în jurul unor subiecte precum sinuciderea.

Aplicații atractive pentru adolescenți

Utilizatorii au creat milioane de roboți în aplicație, unii imitând părinți, prietene, terapeuți sau concepte precum „dragostea neîmpărtășită”. Serviciile sunt populare în rândul utilizatorilor preadolescenti și adolescenți, iar companiile spun că acţionează ca puncte de sprijin emoțional, în timp ce roboții scriu conversații cu glume încurajatoare, relatează NPR.

Totuși aceste procese arată că încurajările chatboților pot deveni întunecate, nepotrivite sau chiar violente.

În procesul intentat de părinți, argumentul este că interacțiunile îngrijorătoare experimentate de copiii reclamanților nu sunt „halucinații”, un termen pe care cercetătorii îl folosesc pentru a se referi la tendința unui chatbot AI de a inventa lucruri. „Au fost manipulare și abuz, izolare activă și încurajare concepute pentru a incita furie și violență.”

Character.AI permite utilizatorilor să editeze răspunsul unui chatbot, iar acelor interacțiuni li se atribuie o etichetă „editată”. Avocații care reprezintă părinții minorilor spun că niciuna dintre documentația extinsă a jurnalelor citate în proces nu a fost editată.

Google nu deține Character.AI, dar ar fi investit aproape trei miliarde de dolari pentru a-i reangaja pe fondatorii Character.AI, foștii cercetători Google Noam Shazeer și Daniel De Freitas, precum și pentru a licenția tehnologia Character. AI. Shazeer și Freitas sunt, de asemenea, pârâți în proces.