Dok su akordi pesme Pink Flojd „Još jedna cigla u zidu, prvi deo“ ispunjavali hiruršku sobu, neuronaučnici Medicinskog centra u Albaniju marljivo su beležili aktivnost elektroda postavljenih na mozgove pacijenata koji su bili podvrgnuti operaciji epilepsije.
Cilj? Da se uhvati električna aktivnost regiona mozga koji su podešeni na atribute muzike – ton, ritam, harmoniju i reči – da vide da li mogu da rekonstruišu ono što pacijent čuje.
Više od decenije kasnije, nakon detaljne analize podataka od 29 takvih pacijenata od strane neuronaučnika sa Univerziteta Kalifornije u Berkliju, odgovor je jasno da.
Rečenica „Sve u svemu to je bila samo cigla u zidu” prepoznatljivo se pojavljuje u rekonstruisanoj pesmi, njeni ritmovi su netaknuti, a reči su mutne, ali dešifrovane. Ovo je prvi put da su istraživači rekonstruisali prepoznatljivu pesmu sa snimaka mozga.
Rekonstrukcija pokazuje izvodljivost snimanja i prevođenja moždanih talasa kako bi se uhvatili muzički elementi govora, kao i slogovi. Kod ljudi, ovi muzički elementi, nazvani prozodija – ritam, naglasak, akcenat i intonacija – nose značenje koje same reči ne prenose.
Pošto se ovi snimci intrakranijalne elektroencefalografije (iEEG) mogu napraviti samo sa površine mozga — što je moguće bliže slušnim centrima — niko uskoro neće prisluškivati pesme u vašoj glavi.
Ali za ljude koji imaju problema u komunikaciji, bilo zbog moždanog udara ili paralize, takvi snimci sa elektroda na površini mozga mogu pomoći da se reprodukuje muzikalnost govora koja nedostaje današnjim rekonstrukcijama nalik robotima. Talasni oblik originalne pesme transformisan je u slušni spektrogram samo veličine, a zatim ponovo transformisan u talasni oblik. Zasluge: Bellier et al., 2023, PLOS Biologi, CC-BI 4.0 (creativecommons.org/licenses/bi/4.0/) Rekonstruisani odlomak pesme korišćenjem nelinearnih modela napajanih sa svih 347 značajnih elektroda od svih 29 pacijenata. Zasluge: Bellier et al., 2023, PLOS Biologi, CC-BI 4.0 (creativecommons.org/licenses/bi/4.0/) Rekonstruisani odlomak pesme korišćenjem nelinearnih modela napajanih sa 61 značajnom elektrodom jednog pacijenta. Zasluge: Bellier et al., 2023, PLOS Biologi, CC-BI 4.0 (creativecommons.org/licenses/bi/4.0/)
„To je divan rezultat,“ rekao je Robert Knight, neurolog i profesor psihologije UC Berkelei na Institutu za neuronauke Helen Vills koji je sproveo studiju sa postdoktorandom Ludovicom Belierom.
„Jedna od stvari za mene u vezi sa muzikom je da ima prozodijski i emocionalni sadržaj. Kako čitavo ovo polje interfejsa moždanih mašina napreduje, ovo vam daje način da dodate muzikalnost budućim moždanim implantatima za ljude kojima je to potrebno, nekoga ko ima ALS ili neki drugi neurološki ili razvojni poremećaji koji ugrožavaju govorni izlaz. Daje vam mogućnost da dekodirate ne samo jezički sadržaj, već i deo prozodijskog sadržaja govora, deo afekta. Mislim da je to ono što smo zaista počeli da razbijamo kod uključen.“
Kako se tehnike snimanja mozga poboljšavaju, jednog dana će možda biti moguće napraviti takve snimke bez otvaranja mozga, možda koristeći osetljive elektrode pričvršćene za kožu glave. Trenutno, EEG skalpa može da meri moždanu aktivnost da bi detektovao pojedinačno slovo iz niza slova, ali pristupu je potrebno najmanje 20 sekundi da se identifikuje jedno slovo, što komunikaciju čini napornom i teškom, rekao je Najt.
„Neinvazivne tehnike danas jednostavno nisu dovoljno precizne. Nadajmo se, za pacijente, da bismo u budućnosti mogli, sa samo elektroda postavljenih spolja na lobanju, da čitamo aktivnost iz dubljih delova mozga sa dobrim kvalitetom signala. Ali daleko smo odatle“, rekao je Belier.
Belier, Knight i njihove kolege objavili su rezultate u časopisu PLOS Biology.
Interfejsi moždanih mašina koji se danas koriste da pomognu ljudima da komuniciraju kada ne mogu da govore mogu dekodirati reči, ali proizvedene rečenice imaju robotski kvalitet sličan onome kako je pokojni Stiven Hoking zvučao kada je koristio uređaj za generisanje govora.
„Trenutno je tehnologija više kao tastatura za um“, rekao je Belier. „Ne možete da čitate svoje misli sa tastature. Morate da pritisnete dugmad. I to čini neku vrstu robotskog glasa; sigurno je manje onoga što ja nazivam slobodom izražavanja.“
Belier bi trebao znati. Muzikom se bavi od detinjstva — bubnjevi, klasična gitara, klavir i bas, u jednom trenutku nastupajući u hevi metal bendu. Kada ga je Najt zamolio da poradi na muzikalnosti govora, Belier je rekao: „Kladiš se da sam bio uzbuđen kada sam dobio predlog.
Godine 2012. Najt, postdoktorski saradnik Brajan Pasli i njihove kolege prvi su rekonstruisali reči koje je osoba čula samo na osnovu snimaka moždane aktivnosti.
U skorije vreme, drugi istraživači su odveli Najtov rad mnogo dalje. Eddie Chang, neurohirurg sa Univerziteta u San Francisku i stariji koautor rada iz 2012. godine, snimio je signale iz motoričke oblasti mozga povezane sa pokretima vilice, usana i jezika kako bi rekonstruisao govor koji je nameravao paralizovani pacijent, sa prikazanim rečima na ekranu računara.
Taj rad, objavljen 2021., koristio je veštačku inteligenciju za tumačenje snimaka mozga pacijenta koji pokušava da izgovori rečenicu na osnovu skupa od 50 reči.
Dok se Čangova tehnika pokazuje uspešnom, nova studija sugeriše da snimanje iz slušnih regiona mozga, gde se obrađuju svi aspekti zvuka, može da uhvati druge aspekte govora koji su važni u ljudskoj komunikaciji.
„Dekodiranje iz slušnih korteksa, koji su bliži akustici zvukova, za razliku od motornog korteksa, koji je bliži pokretima koji se rade da bi se generisala akustika govora, je super obećavajuće“, dodao je Belier. „To će dati malo boje onome što je dekodirano.“
Za novu studiju, Belier je ponovo analizirao snimke mozga dobijene 2012. i 2013. dok je pacijentima puštao otprilike 3-minutni deo pesme Pink Flojda, koja je sa albuma The Vall iz 1979. godine. Nadao se da će ići dalje od prethodnih studija, koje su testirale da li modeli dekodiranja mogu da identifikuju različite muzičke komade i žanrove, da bi zapravo rekonstruisali muzičke fraze kroz modele dekodiranja zasnovane na regresiji.
Belier je naglasio da studija, koja je koristila veštačku inteligenciju za dekodiranje moždane aktivnosti, a zatim kodiranje reprodukcije, nije samo stvorila crnu kutiju za sintetizaciju govora. On i njegove kolege su takođe bili u mogućnosti da preciziraju nove oblasti mozga uključene u otkrivanje ritma, kao što je gitara koja svira, i otkrili su da neki delovi slušnog korteksa – u superiornom temporalnom girusu, koji se nalazi odmah iza i iznad uha – reaguju na početku glasa ili sintisajzera, dok druge oblasti reaguju na trajni vokal.
Istraživači su takođe potvrdili da je desna strana mozga više prilagođena muzici nego leva.
„Jezik je više leva strana mozga. Muzika je više raspoređena, sa pristrasnošću udesno“, rekao je Najt.
„Nije bilo jasno da će tako biti i sa muzičkim stimulansima“, rekao je Belier. „Ovde potvrđujemo da to nije samo stvar specifična za govor, već da je fundamentalnija za slušni sistem i način na koji obrađuje i govor i muziku.
Najt se upušta u novo istraživanje kako bi razumeo moždana kola koja omogućavaju nekim ljudima sa afazijom usled moždanog udara ili oštećenja mozga da komuniciraju pevanjem kada inače ne mogu da pronađu reči da se izraze.
Drugi koautori rada su postdoktoranti Instituta za neuronauke Helen Vils Anais Ljorens i Debora Marciano, Aisegul Gunduz sa Univerziteta Floride i Gervin Šalk i Peter Bruner sa Medicinskog koledža Albani u Njujorku i Univerziteta Vašington, koji su snimili snimke mozga.
