Novi interfejs mozak-kompjuter (BCI) razvijen u UC Davis Health prevodi moždane signale u govor sa tačnošću do 97% — najprecizniji sistem te vrste.
Istraživači su implantirali senzore u mozak čoveka sa teškim oštećenjem govora zbog amiotrofične lateralne skleroze (ALS). Čovek je uspeo da saopšti svoj nameravani govor u roku od nekoliko minuta od aktiviranja sistema.
Studija o ovom radu objavljena je u časopisu Medicinski časopis Nove Engleske.
ALS, takođe poznat kao Lu Gerigova bolest, utiče na nervne ćelije koje kontrolišu kretanje po celom telu. Bolest dovodi do postepenog gubitka sposobnosti stajanja, hodanja i upotrebe ruku. Takođe može uzrokovati da osoba izgubi kontrolu nad mišićima koji se koriste za govor, što dovodi do gubitka razumljivog govora.
Nova tehnologija se razvija kako bi se obnovila komunikacija za ljude koji ne mogu da govore zbog paralize ili neuroloških stanja kao što je ALS. Može da tumači moždane signale kada korisnik pokuša da govori i pretvara ih u tekst koji računar „izgovara“ naglas.
„Naša BCI tehnologija je pomogla čoveku sa paralizom da komunicira sa prijateljima, porodicama i negovateljima“, rekao je neurohirurg UC Davis David Brandman. „Naš rad pokazuje najtačniju govornu neuroprotezu (uređaj) ikada objavljenu.“
Brandman je ko-glavni istraživač i ko-stariji autor ove studije. On je docent na Odeljenju za neurološku hirurgiju UC Davis i ko-direktor Laboratorije za neuroprostetiku UC Davis.
Kada neko pokuša da govori, novi BCI uređaj transformiše njihovu moždanu aktivnost u tekst na ekranu računara. Računar tada može da pročita tekst naglas.
Da bi razvio sistem, tim je uključio Kejsija Harela, 45-godišnjeg čoveka sa ALS-om, u kliničko ispitivanje BrainGate. U vreme upisa, Harrell je imao slabost u rukama i nogama (tetrapareza). Njegov govor je bio veoma težak za razumevanje (dizartrija) i zahtevao je od drugih da mu pomognu u tumačenju.
U julu 2023. Brandman je implantirao istraživački BCI uređaj. On je postavio četiri niza mikroelektroda u levi precentralni girus, region mozga odgovoran za koordinaciju govora. Nizovi su dizajnirani da snime moždanu aktivnost sa 256 kortikalnih elektroda.
„Zaista otkrivamo njihov pokušaj da pokreću mišiće i razgovaraju“, objasnio je neuronaučnik Sergej Staviski. Staviski je docent na Katedri za neurološke hirurgije. On je kodirektor Laboratorije za neuroprotetiku UC Davis i glavni istraživač studije.
„Snimamo iz dela mozga koji pokušava da pošalje ove komande mišićima. I mi u suštini to slušamo i prevodimo te obrasce moždane aktivnosti u foneme—kao što je slog ili jedinica govora — a zatim reči koje pokušavaju da izgovore.“
Uprkos nedavnom napretku BCI tehnologije, napori da se omogući komunikacija bili su spori i skloni greškama. To je zato što su programi za mašinsko učenje koji su tumačili moždane signale zahtevali veliku količinu vremena i podataka za izvođenje.
„Prethodni govorni BCI sistemi su imali česte greške u rečima. To je otežavalo korisniku da bude dosledno shvaćeno i predstavljalo je barijeru komunikaciji“, objasnio je Brandman. „Naš cilj je bio da razvijemo sistem koji će omogućiti da neko bude shvaćen kad god želi da govori.
Harrell je koristio sistem iu potaknutim i spontanim konverzacijskim postavkama. U oba slučaja, dekodiranje govora se dešavalo u realnom vremenu, uz kontinuirano ažuriranje sistema kako bi se održao tačan rad.
Dešifrovane reči su prikazane na ekranu. Neverovatno, čitani su naglas glasom koji je zvučao kao Harelov pre nego što je imao ALS. Glas je komponovan korišćenjem softvera obučenog sa postojećim audio uzorcima njegovog glasa pre ALS-a.
Na prvoj sesiji obuke govornih podataka, sistemu je trebalo 30 minuta da postigne 99,6% tačnosti reči sa rečnikom od 50 reči.
„Prvi put kada smo isprobali sistem, on je plakao od radosti dok su se reči koje je pokušavao da izgovori ispravno pojavile na ekranu. Svi smo to uradili“, rekao je Staviski.
U drugoj sesiji, veličina potencijalnog rečnika se povećala na 125.000 reči. Sa samo dodatnih 1,4 sata podataka za obuku, BCI je postigao 90,2% tačnosti reči sa ovim znatno proširenim rečnikom. Nakon kontinuiranog prikupljanja podataka, BCI je zadržao tačnost od 97,5%.
„U ovom trenutku možemo da dekodiramo ono što Kejsi pokušava da tačno kaže u 97% vremena, što je bolje od mnogih komercijalno dostupnih aplikacija za pametne telefone koje pokušavaju da protumače nečiji glas“, rekao je Brandman. „Ova tehnologija je transformativna jer pruža nadu ljudima koji žele da govore, ali ne mogu. Nadam se da će tehnologija poput ovog govora BCI pomoći budućim pacijentima da razgovaraju sa svojom porodicom i prijateljima.“
Studija izveštava o 84 sesije prikupljanja podataka tokom 32 nedelje. Ukupno, Harrell je koristio govor BCI u samostalnim razgovorima više od 248 sati da bi komunicirao lično i preko video ćaskanja.
„Nesposobnost da komunicirate je toliko frustrirajuća i demorališuća. Kao da ste zarobljeni“, rekao je Harrell. „Nešto poput ove tehnologije će pomoći ljudima da se vrate u život i društvo.
„Bilo je izuzetno korisno videti Kejsija kako ponovo dobija sposobnost da razgovara sa porodicom i prijateljima putem ove tehnologije“, rekao je vodeći autor studije Nikolas Kard. Card je postdoktorski stipendista na Odeljenju za neurološke hirurgije UC Davis.
„Kejsi i drugi naši učesnici BrainGate-a su zaista izvanredni. Oni zaslužuju ogromne zasluge što su se pridružili ovim ranim kliničkim ispitivanjima. Oni to ne rade zato što se nadaju da će dobiti bilo kakvu ličnu korist, već da bi nam pomogli da razvijemo sistem koji će vratiti komunikaciju i mobilnost za druge ljude sa paralizom“, rekao je koautor i sponzor BrainGate suđenja i istraživač Leigh Hochberg.
Hohberg je neurolog i neuronaučnik u Opštoj bolnici u Masačusetsu, Univerzitetu Braun i zdravstvenom sistemu VA Providens.
