Prvi u svetu, istraživači iz GrapheneX-UTS Centra za veštačku inteligenciju usmerenog na čoveka na Tehnološkom univerzitetu u Sidneju (UTS) razvili su prenosivi, neinvazivni sistem koji može da dekodira tihe misli i pretvori ih u tekst.
Tehnologija bi mogla da pomogne u komunikaciji za ljude koji ne mogu da govore zbog bolesti ili povrede, uključujući moždani udar ili paralizu. Takođe bi mogao da omogući besprekornu komunikaciju između ljudi i mašina, kao što je rad bioničke ruke ili robota.
Studija je izabrana kao dokument u centru pažnje na konferenciji NeurIPS, godišnjem sastanku koji prikazuje vodeća svetska istraživanja o veštačkoj inteligenciji i mašinskom učenju, održanom u Nju Orleansu 12. decembra 2023.
Istraživanje je vodio uvaženi profesor CT Lin, direktor GrapheneX-UTS HAI centra, zajedno sa prvim autorom Iikun Duan i kolegom dr. kandidat Jinzhou Zhou sa UTS Fakulteta za inženjerstvo i IT.
U studiji, učesnici su tiho čitali odlomke teksta dok su nosili kapu koja je snimala električnu aktivnost mozga kroz njihovo skalp pomoću elektroencefalograma (EEG).
EEG talas je segmentiran u različite jedinice koje obuhvataju specifične karakteristike i obrasce iz ljudskog mozga. Ovo radi AI model pod nazivom DeVave, koji su razvili istraživači. DeVave prevodi EEG signale u reči i rečenice učeći iz velikih količina EEG podataka.
„Ovo istraživanje predstavlja pionirski napor u prevođenju neobrađenih EEG talasa direktno na jezik, označavajući značajan napredak u ovoj oblasti“, rekao je Lin.
„Ona je prva koja je uključila tehnike diskretnog kodiranja u proces prevođenja iz mozga u tekst, uvodeći inovativni pristup neuronskom dekodiranju. Integracija sa velikim jezičkim modelima takođe otvara nove granice u neuronauci i veštačkoj inteligenciji“, rekao je on.
Prethodna tehnologija za prevođenje moždanih signala u jezik zahtevala je ili operaciju za implantaciju elektroda u mozak, kao što je Neuralink Elona Maska, ili skeniranje na MRI mašini, koja je velika, skupa i teška za upotrebu u svakodnevnom životu.
Ove metode se takođe bore da transformišu moždane signale u segmente na nivou reči bez dodatnih pomagala kao što je praćenje očiju, koje ograničavaju praktičnu primenu ovih sistema. Nova tehnologija se može koristiti sa ili bez praćenja očiju.
UTS istraživanje je sprovedeno sa 29 učesnika. To znači da će verovatno biti robusniji i prilagodljiviji od prethodne tehnologije dekodiranja koja je testirana samo na jednoj ili dve osobe, jer se EEG talasi razlikuju među pojedincima.
Upotreba EEG signala primljenih preko kapice, a ne od elektroda ugrađenih u mozak, znači da je signal bučniji. Međutim, u pogledu EEG prevoda, studija je izvestila o vrhunskim performansama, nadmašujući prethodna merila.
„Model je veštiji u slaganju glagola nego imenica. Međutim, kada je reč o imenicama, uočili smo tendenciju ka sinonimskim parovima, a ne preciznim prevodima, kao što je ‘čovek’ umesto ‘autor'“, rekao je Duan.
„Mislimo da je to zato što kada mozak obrađuje ove reči, semantički slične reči mogu proizvesti slične obrasce moždanih talasa. Uprkos izazovima, naš model daje značajne rezultate, usklađujući ključne reči i formirajući slične strukture rečenica“, rekao je on.
Ocena tačnosti prevoda je trenutno oko 40% na BLEU-1. BLEU rezultat je broj između nula i jedan koji meri sličnost mašinski prevedenog teksta sa skupom visokokvalitetnih referentnih prevoda. Istraživači se nadaju da će se ovo poboljšati do nivoa koji je uporediv sa tradicionalnim programima prevođenja jezika ili prepoznavanja govora, što je bliže 90%.
Istraživanje se nastavlja na prethodnu tehnologiju interfejsa mozak-računar koju je razvio UTS u saradnji sa australijskim odbrambenim snagama koje koriste moždane talase za komandu četvoronožnog robota.
