U istraživanju su naučnici merili koji pojedinačni neuroni se aktiviraju u vizuelnom korteksu miševa, a zatim su podatke obradili kroz algoritam koji je rekreirao video snimke, piksel po piksel.
„Koristeći ovaj pristup, uspeli smo da postignemo visoko kvalitetne rekonstrukcije video klipova u trajanju od 10 sekundi,“ kaže Joel Bauer, neurobiolog sa UCL-a i glavni autor studije. Tačnost rekonstrukcija se poboljšala uključivanjem podataka iz više pojedinačnih neurona, što pokazuje značaj sveobuhvatnih neuralnih podataka.
Iako je daleko od savršene HD rekonstrukcije onoga što je miš video juče, zastrašujuće je videti sličnosti izvučene iz čistih neuronskih podataka. Istraživači su počeli sa dinamičnim modelom neuronskog kodiranja koji je razvila druga ekipa, a ovaj sistem predviđa koji neuroni će se aktivirati kao odgovor na specifične video ulaze.
Naučnici su mogli da rade unazad kako bi rekreirali opštu reprezentaciju originalnog videa analizirajući koji neuroni se aktiviraju. U prethodnom radu postignuta je korelacija od 0.301 između predviđene i stvarne neuronske aktivnosti.
Da bi poboljšali tačnost rekonstrukcija u novom istraživanju, tim je ponovo obučio sedam verzija modela koristeći praznu sivu površinu kao osnovu. Izračunali su razliku u neuronskoj aktivnosti između onoga kako bi izgledalo kada bi gledali praznu površinu i onoga kako je zapravo izgledalo.
Nakon obuke modela, istraživači su pokazali pet miševa potpuno novi video od 10 sekundi na kojem modeli nisu bili specifično obučeni. Neuronska aktivnost testiranih životinja bila je dovoljna da se video rekonstruiše preciznije nego u prethodnom modelu, postigavši korelaciju do 0.569 između originalnog i rekonstruisanog videa.
Uspeh se razlikovao za različite video snimke, ali su najbolji rezultati zavisili od vremena promena piksela. Rezolucija i pokrivenost rekonstrukcija nisu bile toliko uspešne kao vreme, ali tim planira da se fokusira na poboljšanje ovih aspekata u budućem radu.
Ideja „čitanja“ nečijeg uma i izvlačenja vizuelne reprezentacije onoga što su videli pomalo je alarmantna u svetu gde je individualna privatnost već drastično narušena. Istraživači iza novog istraživanja, međutim, kažu da je glavni cilj rada istražiti kako mozak obrađuje vizuelne informacije iz očiju i kako se to razlikuje od onoga što zapravo postoji.
