Femeie paralizată, capabilă să vorbească prin intermediul primului avatar digital din lume

Cea mai recentă tehnologie în domeniu folosește electrozi minusculi implantați pe suprafața creierului și este mai rapidă decât sintetizatoarele care se bazează pe urmărirea ochilor.

O femeie paralizată a reușit să vorbească printr-un avatar folosind o tehnologie care a transpus semnalele creierului ei în vorbire și expresii faciale.

O femeie paralizată a reușit să vorbească printr-un avatar folosind o tehnologie care a transpus semnalele creierului ei în vorbire și expresii faciale.

Noua tehnologie oferă speranța că interfețele creier-computer (BCI) ar putea fi pe punctul de a transforma viața persoanelor care și-au pierdut capacitatea de a vorbi din cauza unor afecțiuni precum accidentele vasculare cerebrale și scleroza laterală amiotrofică (ALS).

Până acum, pacienții au trebuit să se bazeze pe sintetizatoare de vorbire frustrant de lente, care implică scrierea cuvintelor folosind urmărirea ochilor sau mișcări faciale mici, făcând imposibilă conversația naturală.

Cea mai recentă tehnologie folosește electrozi mici implantați pe suprafața creierului pentru a detecta activitatea electrică în partea creierului care controlează vorbirea și mișcările feței. Aceste semnale sunt traduse direct în vorbirea și expresiile faciale ale unui avatar digital, inclusiv zâmbetul, încruntarea sau surpriza.

„Scopul nostru este de a restabili un mod complet, întruchipat de comunicare, care este într-adevăr cel mai natural mod de a vorbi cu ceilalți”, a spus profesorul Edward Chang, care a condus lucrările la Universitatea din California, San Francisco (UCSF). „Aceste progrese ne aduc mult mai aproape de a face din aceasta o soluție reală pentru pacienți.”

Pacienta, o femeie de 47 de ani, Ann, a rămas paralizată după ce a suferit un accident vascular cerebral în urmă cu mai bine de 18 ani. Ea nu poate vorbi sau tasta și comunică în mod normal folosind tehnologia de urmărire a mișcărilor, care îi permite să selecteze încet literele cu până la 14 cuvinte pe minut. Ea speră că tehnologia avatarului digital i-ar putea permite să se angajeze pe un post de consilier în viitor.

Semnalele primite de la creier sunt transformate în sunete de vorbire

Echipa a implantat un dreptunghi subțire ca o hârtie de 253 de electrozi pe suprafața creierului lui Ann, peste o regiune critică pentru vorbire. Electrozii au interceptat semnalele creierului care, dacă nu ar fi fost accidentul vascular cerebral, ar fi controlat mușchii din limbă, maxilar, laringe și față.

După implantare, Ann a lucrat cu echipa pentru a antrena algoritmul AI al sistemului astfel încât să detecteze semnalele unice ale creierului pentru diferite sunete de vorbire prin repetarea a diferite fraze în mod repetat.

Computerul a învățat 39 de sunete distincte și a fost folosit un model de limbaj în stil Chat GPT pentru a traduce semnalele în propoziții inteligibile. Acesta a fost apoi folosit pentru a controla un avatar cu o voce personalizată pentru a suna ca vocea lui Ann înainte să sufere accidentul vascular cerebral, pe baza unei înregistrări a vocii  sale la nunta ei.

78 de cuvinte pe minut

Tehnologia este perfectibilă. Aceasta a decodat incorect cuvintele în 28% din timp într-un test care a implicat mai mult de 500 de fraze și a generat un raport creier la text cu o rată de 78 de cuvinte pe minut, comparativ cu 110-150 de cuvinte rostite de obicei într-o convesație naturală.

Cu toate acestea, oamenii de știință au spus că cele mai recente progrese în materie de precizie, viteză și sofisticare sugerează că tehnologia este acum într-un punct în care este realmente utilă pentru pacienți.

Profesorul Nick Ramsey, neurolog la Universitatea din Utrecht din Olanda, care nu a fost implicat în cercetare, a declarat: „Acesta este un salt de la rezultatele anterioare. Suntem într-un punct de cotitură.”

Următorul pas crucial este crearea unei versiuni wireless a BCI care ar putea fi implantată sub craniu.

„Să le oferim oamenilor abilitatea de a-și controla liber propriile computere și telefoane cu această tehnologie ar avea efecte profunde asupra independenței și interacțiunilor sociale”, a spus dr. David Moses, profesor asistent în chirurgie neurologică la UCSF și coautor al cercetării.

Descoperirile amintite au fost publicate în revista științifică Nature.

Noua tehnologie oferă speranța că interfețele creier-computer (BCI) ar putea fi pe punctul de a transforma viața persoanelor care și-au pierdut capacitatea de a vorbi din cauza unor afecțiuni precum accidentele vasculare cerebrale și scleroza laterală amiotrofică (ALS).

Până acum, pacienții au trebuit să se bazeze pe sintetizatoare de vorbire frustrant de lente, care implică scrierea cuvintelor folosind urmărirea ochilor sau mișcări faciale mici, făcând imposibilă conversația naturală.

Cea mai recentă tehnologie folosește electrozi mici implantați pe suprafața creierului pentru a detecta activitatea electrică în partea creierului care controlează vorbirea și mișcările feței. Aceste semnale sunt traduse direct în vorbirea și expresiile faciale ale unui avatar digital, inclusiv zâmbetul, încruntarea sau surpriza.

„Scopul nostru este de a restabili un mod complet, întruchipat de comunicare, care este într-adevăr cel mai natural mod de a vorbi cu ceilalți”, a spus profesorul Edward Chang, care a condus lucrările la Universitatea din California, San Francisco (UCSF). „Aceste progrese ne aduc mult mai aproape de a face din aceasta o soluție reală pentru pacienți.”

Pacienta, o femeie de 47 de ani, Ann, a rămas paralizată după ce a suferit un accident vascular cerebral în urmă cu mai bine de 18 ani. Ea nu poate vorbi sau tasta și comunică în mod normal folosind tehnologia de urmărire a mișcărilor, care îi permite să selecteze încet literele cu până la 14 cuvinte pe minut.

Ea speră că tehnologia avatarului digital i-ar putea permite să se angajeze pe un post de consilier în viitor, potrivit The Guardian.

Semnalele primite de la creier sunt transformate în sunete de vorbire

Echipa a implantat un dreptunghi subțire ca o hârtie de 253 de electrozi pe suprafața creierului lui Ann, peste o regiune critică pentru vorbire. Electrozii au interceptat semnalele creierului care, dacă nu ar fi fost accidentul vascular cerebral, ar fi controlat mușchii din limbă, maxilar, laringe și față.

După implantare, Ann a lucrat cu echipa pentru a antrena algoritmul AI al sistemului astfel încât să detecteze semnalele unice ale creierului pentru diferite sunete de vorbire prin repetarea a diferite fraze în mod repetat.

Computerul a învățat 39 de sunete distincte și a fost folosit un model de limbaj în stil Chat GPT pentru a traduce semnalele în propoziții inteligibile. Acesta a fost apoi folosit pentru a controla un avatar cu o voce personalizată pentru a suna ca vocea lui Ann înainte să sufere accidentul vascular cerebral, pe baza unei înregistrări a vocii  sale la nunta ei.

78 de cuvinte pe minut

Tehnologia este perfectibilă. Aceasta a decodat incorect cuvintele în 28% din timp într-un test care a implicat mai mult de 500 de fraze și a generat un raport creier la text cu o rată de 78 de cuvinte pe minut, comparativ cu 110-150 de cuvinte rostite de obicei într-o convesație naturală.

Cu toate acestea, oamenii de știință au spus că cele mai recente progrese în materie de precizie, viteză și sofisticare sugerează că tehnologia este acum într-un punct în care este realmente utilă pentru pacienți.

Profesorul Nick Ramsey, neurolog la Universitatea din Utrecht din Olanda, care nu a fost implicat în cercetare, a declarat: „Acesta este un salt de la rezultatele anterioare. Suntem într-un punct de cotitură.”

Următorul pas crucial este crearea unei versiuni wireless a BCI care ar putea fi implantată sub craniu.

„Să le oferim oamenilor abilitatea de a-și controla liber propriile computere și telefoane cu această tehnologie ar avea efecte profunde asupra independenței și interacțiunilor sociale”, a spus dr. David Moses, profesor asistent în chirurgie neurologică la UCSF și coautor al cercetării.

Descoperirile amintite au fost publicate în revista științifică Nature.