Prvi u svetu, neinvazivni sistem veštačke inteligencije može da pretvori tihe misli u tekst dok od korisnika zahteva samo da nose kapu koja dobro pristaje.
Australijski istraživači koji su razvili tehnologiju, nazvanu DeVave, testirali su proces koristeći podatke od više od dva desetina subjekata.
Učesnici su čitali nečujno dok su nosili kapu koja je snimala njihove moždane talase putem elektroencefalograma (EEG) i dekodirala ih u tekst.
Uz dalje usavršavanje, DeVave bi mogao da pomogne pacijentima sa moždanim udarom i paralizom da komuniciraju i olakša ljudima upravljanje mašinama kao što su bioničke ruke ili roboti.
„Ovo istraživanje predstavlja pionirski napor u prevođenju neobrađenih EEG talasa direktno na jezik, označavajući značajan napredak u ovoj oblasti“, kaže kompjuterski naučnik Čin-Teng Lin sa Tehnološkog univerziteta u Sidneju (UTS).
Iako je DeVave postigao samo nešto više od 40 procenata tačnosti na osnovu jednog od dva skupa metrika u eksperimentima koje su sproveli Lin i kolege, ovo je poboljšanje od 3 procenta u odnosu na prethodni standard za prevođenje misli sa EEG snimaka.
Cilj istraživača je da poboljšaju tačnost na oko 90 procenata, što je u rangu sa konvencionalnim metodama prevođenja jezika ili softvera za prepoznavanje govora.
Druge metode prevođenja moždanih signala na jezik zahtevaju invazivne operacije za ugradnju elektroda ili glomaznih, skupih MRI mašina, što ih čini nepraktičnim za svakodnevnu upotrebu – i često moraju da koriste praćenje oka za pretvaranje moždanih signala u delove na nivou reči.
Kada nečije oči prelaze od jedne reči do druge, razumno je pretpostaviti da njen mozak pravi kratku pauzu između obrade svake reči. Prevođenje sirovog EEG talasa u reči – bez praćenja oka da bi se ukazalo na odgovarajuću metu reči – je teže.
Moždani talasi različitih ljudi ne predstavljaju na isti način pauze između reči, što predstavlja izazov naučiti AI kako da tumači pojedinačne misli.
Nakon opsežne obuke, DeVave-ov enkoder pretvara EEG talase u kod koji se zatim može upariti sa određenim rečima na osnovu toga koliko su blizu unosima u DeVave-ovom ‘šifarniku’.
„Ona je prva koja je uključila tehnike diskretnog kodiranja u proces prevođenja iz mozga u tekst, uvodeći inovativni pristup neuronskom dekodiranju“, objašnjava Lin.
„Integracija sa velikim jezičkim modelima takođe otvara nove granice u neuronauci i veštačkoj inteligenciji.
Lin i njegov tim su koristili obučene jezičke modele koji su uključivali kombinaciju sistema zvanog BERT sa GPT i testirali ga na postojećim skupovima podataka ljudi koji su imali praćenje oka i aktivnost mozga tokom čitanja teksta.
Ovo je pomoglo sistemu da nauči da uskladi obrasce moždanih talasa sa rečima, a zatim je DeVave dodatno obučen sa velikim jezičkim modelom otvorenog koda koji u suštini pravi rečenice od reči.
Prevođenje glagola je mesto gde se DeVave najbolje pokazao. Imenice su, s druge strane, obično bile prevedene kao parovi reči koje znače istu stvar, a ne kao tačni prevodi, kao što je „čovek“ umesto „autor“.
„Mislimo da je to zato što kada mozak obrađuje ove reči, semantički slične reči mogu proizvesti slične obrasce moždanih talasa“, kaže prvi autor Iikun Duan, kompjuterski naučnik iz UTS-a.
„Uprkos izazovima, naš model daje značajne rezultate, usklađujući ključne reči i formirajući slične strukture rečenica.“
Relativno velika testirana veličina uzorka govori o činjenici da distribucije EEG talasa kod ljudi uveliko variraju, što sugeriše da je istraživanje pouzdanije od ranijih tehnologija koje su testirane samo na veoma malim uzorcima.
Ima još posla, a signal je prilično bučan kada se EEG signali primaju preko kapice umesto elektroda ugrađenih u mozak.
„Prevođenje misli direktno iz mozga je vredan, ali izazovan poduhvat koji zahteva značajne kontinuirane napore“, piše tim.
„S obzirom na brzi napredak modela velikih jezika, slične metode kodiranja koje premošćuju moždanu aktivnost sa prirodnim jezikom zaslužuju veću pažnju.“
