Ljudski senzorni sistemi su veoma dobri u prepoznavanju objekata koje vidimo ili reči koje čujemo, čak i ako je objekat okrenut naopako ili je reč izgovorena glasom koji nikada nismo čuli.
Računarski modeli poznati kao duboke neuronske mreže mogu se obučiti da rade istu stvar, ispravno identifikujući sliku psa bez obzira koje je boje njegovo krzno, ili reč bez obzira na visinu glasa govornika. Međutim, nova studija neuronaučnika sa MIT-a otkrila je da ovi modeli često takođe reaguju na isti način na slike ili reči koje nemaju sličnosti sa metom.
Kada su ove neuronske mreže korišćene za generisanje slike ili reči na koju su reagovale na isti način kao i određeni prirodni ulaz, kao što je slika medveda, većina njih je generisala slike ili zvukove koji su bili neprepoznatljivi ljudskim posmatračima. Ovo sugeriše da ovi modeli izgrađuju sopstvene idiosinkratične „invarijante“ – što znači da na isti način reaguju na stimuluse sa veoma različitim karakteristikama.
Nalazi nude novi način za istraživače da procene koliko dobro ovi modeli oponašaju organizaciju ljudske senzorne percepcije, kaže Josh McDermott, vanredni profesor mozga i kognitivnih nauka na MIT-u i član MIT-ovog McGovern instituta za istraživanje mozga i Centra za mozgove. , umovi i mašine.
„Ovaj rad pokazuje da možete koristiti ove modele za izvođenje neprirodnih signala koji su na kraju vrlo dijagnostički za reprezentacije u modelu“, kaže McDermott, koji je stariji autor studije. „Ovaj test bi trebalo da postane deo baterije testova koje mi kao polje koristimo za procenu modela.
Jenelle Feather Ph.D. ’22, koji je sada istraživač u Centru za računarsku neuronauku Instituta Flatiron, glavni je autor rada otvorenog pristupa, koji se pojavljuje u Nature Neuroscience. Gijom Leklerk, diplomirani student MIT-a, i Aleksander Madri, profesor računarstva na MIT-u za sisteme dizajna kadence, takođe su autori rada.
Poslednjih godina, istraživači su obučili duboke neuronske mreže koje mogu da analiziraju milione ulaza (zvukova ili slika) i nauče zajedničke karakteristike koje im omogućavaju da klasifikuju ciljnu reč ili objekat otprilike tačno kao ljudi. Ovi modeli se trenutno smatraju vodećim modelima bioloških senzornih sistema.
Veruje se da kada ljudski senzorni sistem izvrši ovu vrstu klasifikacije, on uči da zanemari karakteristike koje nisu relevantne za osnovni identitet objekta, kao što je koliko svetlosti sija na njega ili iz kojeg ugla se posmatra. Ovo je poznato kao invarijantnost, što znači da se objekti percipiraju kao isti čak i ako pokazuju razlike u tim manje važnim karakteristikama.
„Klasično, način na koji smo razmišljali o senzornim sistemima je da oni stvaraju invarijantnost za sve one izvore varijacije koje različiti primeri iste stvari mogu imati“, kaže Feather. „Organizam mora da prepozna da su to ista stvar iako se pojavljuju kao veoma različiti senzorni signali.“
Istraživači su se pitali da li duboke neuronske mreže koje su obučene za obavljanje zadataka klasifikacije mogu razviti slične invarijanse. Da bi pokušali da odgovore na to pitanje, koristili su ove modele da generišu stimuluse koji proizvode istu vrstu odgovora unutar modela kao primer stimulusa koji su istraživači dali modelu.
Oni nazivaju ove stimuluse „model metamera“, oživljavajući ideju iz klasičnog istraživanja percepcije u kojoj se stimulansi koji se ne razlikuju za sistem mogu da se koriste za dijagnozu njegove nepromenljivosti. Koncept metamera je prvobitno razvijen u proučavanju ljudske percepcije da bi opisao boje koje izgledaju identično iako su sastavljene od različitih talasnih dužina svetlosti.
Na svoje iznenađenje, istraživači su otkrili da većina slika i zvukova proizvedenih na ovaj način izgleda i ne zvuči ništa poput primera koje su modeli prvobitno dati. Većina slika bila je zbrka nasumičnih piksela, a zvuci su podsećali na nerazumljiv šum. Kada su istraživači pokazali slike ljudskim posmatračima, u većini slučajeva ljudi nisu klasifikovali slike sintetizovane od strane modela u istu kategoriju kao originalni ciljni primer.
„Ljudi ih zaista uopšte ne prepoznaju. Ne izgledaju niti zvuče prirodno i nemaju karakteristike koje se mogu interpretirati koje bi osoba mogla da koristi da klasifikuje objekat ili reč“, kaže Feder.
Nalazi sugerišu da su modeli na neki način razvili sopstvene invarijante koje se razlikuju od onih koje se nalaze u ljudskim perceptivnim sistemima. Ovo dovodi do toga da modeli percipiraju parove stimulusa kao iste uprkos tome što su veoma različiti od čoveka.
Istraživači su pronašli isti efekat na mnogo različitih modela vida i sluha. Međutim, činilo se da svaki od ovih modela razvija svoje jedinstvene invarijante. Kada su metameri iz jednog modela prikazani drugom modelu, metameri su bili jednako neprepoznatljivi za drugi model kao i za ljudske posmatrače.
„Ključni zaključak iz toga je da se čini da ovi modeli imaju ono što nazivamo idiosinkratičnim invarijansama“, kaže McDermott. „Naučili su da budu invarijantni prema ovim određenim dimenzijama u prostoru stimulusa, i to je specifično za model, tako da drugi modeli nemaju te iste invarijante.“
Istraživači su takođe otkrili da bi mogli da podstaknu metamere modela da budu prepoznatljiviji ljudima korišćenjem pristupa koji se zove adversarial training. Ovaj pristup je prvobitno razvijen za borbu protiv još jednog ograničenja modela prepoznavanja objekata, a to je da uvođenje sićušnih, gotovo neprimetnih promena na sliku može dovesti do toga da je model pogrešno prepozna.
Istraživači su otkrili da je kontradiktorna obuka, koja uključuje uključivanje nekih od ovih malo izmenjenih slika u podatke o obuci, dala modele čiji su metameri bili prepoznatljiviji za ljude, iako još uvek nisu bili toliko prepoznatljivi kao originalni stimulansi. Čini se da je ovo poboljšanje nezavisno od efekta obuke na sposobnost modela da se odupru napadima protivnika, kažu istraživači.
„Ovaj poseban oblik treninga ima veliki efekat, ali mi zapravo ne znamo zašto ima takav efekat“, kaže Feather. „To je oblast za buduća istraživanja.“
Analiza metamera proizvedenih pomoću računarskih modela mogla bi biti koristan alat za procenu koliko blisko računarski model oponaša osnovnu organizaciju sistema ljudske senzorne percepcije, kažu istraživači.
„Ovo je test ponašanja koji možete da pokrenete na datom modelu da biste videli da li se invarijanse dele između modela i ljudskih posmatrača“, kaže Feather. „Takođe bi se moglo koristiti za procenu koliko su invarijanse idiosinkratične unutar datog modela, što bi moglo pomoći u otkrivanju potencijalnih načina za poboljšanje naših modela u budućnosti.“
