Istraživači u Veill Cornell Medicine, Cornell Tech i Cornell’s Ithaca kampusu demonstrirali su upotrebu prirodnih slika koje je odabrala AI i sintetičkih slika generisanih AI kao neuronaučnih alata za ispitivanje oblasti vizuelne obrade mozga. Cilj je da se primeni pristup zasnovan na podacima kako bi se razumelo kako je vizija organizovana uz potencijalno uklanjanje pristrasnosti koje se mogu pojaviti kada se posmatraju odgovori na ograničeniji skup slika koje je odabrao istraživač.
U studiji, objavljenoj u Communications Biology, istraživači su naveli volontere da pogledaju slike koje su odabrane ili generisane na osnovu AI modela ljudskog vizuelnog sistema. Predviđeno je da slike maksimalno aktiviraju nekoliko oblasti vizuelne obrade. Koristeći funkcionalnu magnetnu rezonancu (fMRI) za snimanje moždane aktivnosti dobrovoljaca, istraživači su otkrili da slike zaista aktiviraju ciljna područja znatno bolje od kontrolnih slika.
Istraživači su takođe pokazali da bi mogli da koriste ove podatke o odgovoru na sliku da podese svoj model vizije za pojedinačne volontere tako da slike generisane da budu maksimalno aktivirane za određenog pojedinca rade bolje od slika generisanih na osnovu opšteg modela.
„Smatramo da je ovo obećavajući novi pristup proučavanju neuronauke vida“, rekla je viši autor studije dr Ejmi Kučejeski, profesor matematike u radiologiji i matematike u neuronauci na Institutu za istraživanje mozga i uma porodice Feil u Veill Cornell Medicine. .
Studija je realizovana u saradnji sa laboratorijom dr Merta Sabuncua, profesora elektrotehnike i računarstva u Cornell Engineering i Cornell Tech i elektrotehnike u radiologiji na Veill Cornell Medicine. Prvi autor studije bio je dr Zijin Gu, koji je u vreme studije bio doktorant kome su komentori dr Sabuncu i dr Kučejeski.
Pravljenje tačnog modela ljudskog vizuelnog sistema, delom mapiranjem odgovora mozga na određene slike, jedan je od ambicioznijih ciljeva moderne neuronauke. Istraživači su otkrili, na primer, da se jedan region vizuelne obrade može snažno aktivirati kao odgovor na sliku lica, dok drugi može reagovati na pejzaž. Naučnici se moraju oslanjati uglavnom na neinvazivne metode u potrazi za ovim ciljem, s obzirom na rizik i poteškoće snimanja moždane aktivnosti direktno implantiranim elektrodama.
Poželjna neinvazivna metoda je fMRI, koja u suštini beleži promene u protoku krvi u malim sudovima mozga – indirektna mera moždane aktivnosti – pošto su subjekti izloženi senzornim stimulansima ili na drugi način obavljaju kognitivne ili fizičke zadatke. fMRI mašina može da očita ove male promene u tri dimenzije u mozgu u rezoluciji reda kubnih milimetara.
Za svoje studije, dr Kuceieski i dr Sabuncu i njihovi timovi su koristili postojeći skup podataka koji se sastoji od desetina hiljada prirodnih slika, sa odgovarajućim fMRI odgovorima ljudskih subjekata, da obuče sistem tipa AI koji se zove veštačka neuronska mreža (ANN) da modelira sistem vizuelne obrade ljudskog mozga.
Zatim su koristili ovaj model da predvide koje slike, u čitavom skupu podataka, treba da maksimalno aktiviraju nekoliko ciljanih oblasti vida u mozgu. Takođe su uparili model sa generatorom slika zasnovanim na veštačkoj inteligenciji da bi generisali sintetičke slike za postizanje istog zadatka.
„Naša opšta ideja je bila da mapiramo i modeliramo vizuelni sistem na sistematičan, nepristrasan način, u principu čak i koristeći slike sa kojima se osoba inače ne bi susrela“, rekao je dr Kučejeski.
Istraživači su upisali šest dobrovoljaca i snimili njihove fMRI odgovore na ove slike, fokusirajući se na odgovore u nekoliko oblasti vizuelne obrade.
Rezultati su pokazali da su, i za prirodne slike i za sintetičke slike, predviđene maksimalne slike aktivatora, u proseku među subjektima, aktivirale ciljane regione mozga znatno više od skupa slika koje su odabrane ili generisane da budu samo prosečni aktivatori. . Ovo podržava opštu validnost tima zasnovanog na ANN modelu i sugeriše da čak i sintetičke slike mogu biti korisne kao sonde za testiranje i poboljšanje takvih modela.
U naknadnom eksperimentu, tim je koristio sliku i podatke o fMRI odgovoru iz prve sesije da bi kreirao zasebne modele vizuelnog sistema zasnovanog na ANN-u za svakog od šest subjekata. Zatim su koristili ove individualizovane modele za odabir ili generisanje predviđenih slika maksimalnog aktivatora za svaki subjekt.
fMRI odgovori na ove slike pokazali su da je, barem za sintetičke slike, došlo do veće aktivacije ciljanog vizuelnog regiona, regiona za obradu lica nazvanog FFA1, u poređenju sa odgovorima na slike zasnovane na modelu grupe. Ovaj rezultat sugeriše da AI i fMRI mogu biti korisni za individualizovano modeliranje vizuelnog sistema, na primer za proučavanje razlika u organizaciji vizuelnog sistema među populacijama.
Istraživači sada izvode slične eksperimente koristeći napredniju verziju generatora slike, nazvanu Stable Diffusion.
Isti opšti pristup mogao bi biti koristan u proučavanju drugih čula kao što je sluh, primetili su.
Dr Kuceieski se takođe nada da će na kraju proučiti terapeutski potencijal ovog pristupa.
„U principu, mogli bismo da promenimo povezanost između dva dela mozga koristeći posebno dizajnirane stimuluse, na primer da oslabimo vezu koja izaziva višak anksioznosti“, rekla je ona.
