Poslednjih godina, tehnike mašinskog učenja su ubrzale i inovirale istraživanja u brojnim oblastima, uključujući neuronauku. Identifikovanjem obrazaca u eksperimentalnim podacima, ovi modeli bi, na primer, mogli da predvide neuronske procese povezane sa specifičnim iskustvima ili sa obradom senzornih stimulusa.
Istraživači sa CNRS-a i Univerziteta Eks-Marsej i Univerziteta u Mastrihtu nedavno su pokušali da koriste računarske modele da predvide kako ljudski mozak transformiše zvukove u semantičke reprezentacije onoga što se dešava u okruženju. Njihov rad, objavljen u Nature Neuroscience, pokazuje da bi neki modeli zasnovani na dubokim neuronskim mrežama (DNN) mogli biti bolji u predviđanju neuronskih procesa iz neuroimaginga i eksperimentalnih podataka.
„Naš glavni interes je da napravimo numerička predviđanja o tome kako se prirodni zvuci percipiraju i predstavljaju u mozgu, i da koristimo računarske modele da bismo razumeli kako transformišemo čujni akustični signal u semantičku predstavu objekata i događaja u slušnom okruženju“, Bruno Đordano, jedan od istraživača koji su sproveli studiju, rekao je za Medical Kspress. „Jedna velika prepreka ovome nije nedostatak računarskih modela – novi modeli se redovno objavljuju – već nedostatak sistematskih poređenja njihove sposobnosti da uzmu u obzir podatke o ponašanju ili neuroimadžingu.
Ključni cilj nedavnog rada Đordana i njegovih kolega bio je da sistematski uporede performanse različitih računarskih modela u predviđanju neuronskih reprezentacija prirodnih zvukova. U svojim eksperimentima, tim je procenio tri klase računarskih modela, naime akustičke, semantičke i DNN-ove od zvuka do događaja.
„Počeli smo da razgovaramo o potrebi sprovođenja sistematskog poređenja računarskih modela tokom prvih meseci pandemije COVID-a“, objasnio je Đordano. „Posle nekoliko daljinskih sesija razmišljanja, shvatili smo da već imamo podatke koji su nam potrebni da odgovorimo na naše pitanje: skup podataka o ponašanju prikupljen 2009. sa 20 kanadskih učesnika koji su procenili uočenu različitost skupa od 80 prirodnih zvukova i fMRI skup podataka prikupljen 2016. sa pet holandskih učesnika koji su čuli drugačiji skup od 288 prirodnih zvukova dok smo snimali njihove fMRI odgovore.“
Bez potrebe da prikupljaju nove podatke u laboratoriji, istraživači su stoga krenuli da testiraju performanse tri pristupa računarskog modeliranja koje su odabrali koristeći podatke prikupljene u prethodnim eksperimentima. Konkretno, oni su mapirali zvučne stimuluse koji su predstavljeni ljudskim učesnicima na različite računarske modele, a zatim izmerili stepen do kojeg su mogli da predvide kako su učesnici odgovorili na stimuluse i šta se dogodilo u njihovom mozgu.
„Bili smo zapanjeni u kojoj meri su DNN-ovi zvuka i događaja koji je nedavno razvio Google nadmašili konkurentske akustičke i semantičke modele“, rekao je Đordano. „Oni su tako dobro predvideli naše podatke o ponašanju i fMRI da bismo mapiranjem zvukova na DNN mogli da predvidimo ponašanje naših kanadskih učesnika iz 2009. iz fMRI odgovora holandskih učesnika iz 2016, čak i ako su zvuci koje su čuli bili potpuno drugačiji.
Giordano i njegove kolege su otkrili da su modeli zasnovani na DNN-u uveliko nadmašili oba računarska pristupa zasnovana na akustici i tehnikama koje karakterišu cerebralne odgovore na zvukove stavljajući ih u različite kategorije (npr. glasovi, ulični zvuci, itd.). U poređenju sa ovim tradicionalnijim računarskim pristupima, DNN-ovi mogu predvideti neuronsku aktivnost i ponašanje učesnika sa znatno većom tačnošću.
Na osnovu svojih zapažanja i rezultata koje su proizveli modeli zasnovani na DNN-u, istraživači su takođe pretpostavili da ljudski mozak ima smisao za prirodne zvukove na sličan način na koji obrađuje reči. Dok se značenje reči zaključuje obradom pojedinačnih slova, pojava i slogova, značenje zvukova se može izdvojiti kombinovanjem različitih skupova elementarnih jedinica.
„Sada radimo na prikupljanju novih podataka o neuroima za testiranje specifičnih hipoteza koje je naša studija iznela o tome šta bi mogle biti ove elementarne jedinice“, dodao je Elia Formisano. „Takođe radimo na obuci novih i više ‘mozak’ neuronskih mreža za obradu prirodnih zvukova. Na primer, naš koautor, Michele Esposito, razvio je neuronsku mrežu koja uči numeričke reprezentacije verbalnih deskriptora zvuka (semantička ugradnja) , umesto kategorija zvučnih događaja. Ova mreža, postavljena da bude predstavljena na Međunarodnoj konferenciji o akustici, govoru i obradi signala (ICASSP) 2023, nadmašuje Google-ove mreže u predviđanju prirodne percepcije zvuka.“
