Vid zavisi od svetlosti koja ulazi u oči kroz providna tkiva rožnjače, zenice i sočiva. Kada svetlost stigne do mrežnjače, fotoreceptori proizvode signale i prenose ih preko optičkog nerva do mozga, gde se formira slika. Deo te svetlosti koja ulazi u oko reflektuje se nazad u svet kroz visoko reflektujući tanki film tečnosti koji pokriva rožnjaču.
Istraživači sa Univerziteta Merilend uspeli su da uhvate ovu reflektovanu svetlost i izvuku trodimenzionalni model okoline. U radu na serveru za pre-štampanje arKsiv, pod nazivom „Vidjeti svijet vašim očima“, tim opisuje metode koje se koriste za snimanje refleksije očiju i transformaciju u koherentne 3D prikaze koristeći posebno obučeni algoritam AI vizuelnog prikazivanja koji se zove NeRF.
Polje neuronskog zračenja (NeRF) je AI neuronska mreža koja može da generiše nove kontinuirane prikaze složenih 3D scena na osnovu više 2D slika. Obično sa nekoliko desetina fotografija pod različitim uglovima, NeRF može da generiše 3D prikaz sa dovoljno dubine i detalja da se gotovo ne razlikuje od video zapisa koji se može kretati po objektu ili prostoru.
U trenutnim naporima tima iz Merilenda, oni počinju sa više slika sa kamere visoke rezolucije u fiksnoj poziciji, fokusirane na pojedinca u pokretu koji gleda ka kameri, uokvirenih kao što bi mogla biti fotografija pasoša ili vozačke dozvole. Zumiranjem odraza u oku osobe na slici, vidljiva je slika u ogledalu vidnog polja, a objekti u tom području se mogu identifikovati. Zasluge: Hadi Alzajer i dr.
Unutar slike nalaze se razne vrste artefakata oka, složenost tekstura šarenice i prepoznatljivi odrazi niske rezolucije uhvaćeni na svakoj slici. Da bi se uklonila šarenica sa slika, izvršena je dekompozicija teksture obučavanjem 2D mape teksture koja uči teksturu irisa i briše je.
Koristeći geometriju rožnjače, koja je približno ista kod svih odraslih osoba, napravljeni su proračuni kako bi se tačno pratilo gde njihove oči gledaju. Ovo takođe omogućava određivanje ugla kamere, iscrtavanje koordinata slika preko zakrivljene geometrije i postavljanje pravca gledanja za NeRF AI koji će kasnije koristiti za rekonstrukciju 3D renderovanja. Uprkos suptilnim netačnostima u proceni lokacije rožnjače i geometrije, metod je bio efikasan u rekonstrukciji scene.
Prostorna svetla postavljena sa strane osobe (van okvira) korišćena su da osvetle predmet interesovanja ispred njih. Od osobe sa slike je zatraženo da se kreće unutar vidnog polja kamere jer je snimljeno više slika.
Prilikom testiranja metode na ljudskom oku, uočeno je prikazivanje slike u veoma skromnoj rezoluciji, ali u 3D prikazu sa mapiranom dubinom.
U idealizovanijem sintetičkom testu koji koristi lažno oko pre digitalne slike, očiglednija slika je postignuta sa poboljšanom rezolucijom 3D mapiranja.
Treći test je primenio metod na snimljene slike odraza očiju iz muzičkih spotova Majli Sajrus i Lejdi Gage u pokušaju da rekonstruišu ono što posmatraju dok snimaju svoje video snimke.
Slika oka Majli Sajrus izgleda kao LED mrežasto svetlo, što bi odgovaralo dok ona pušta suzu na video snimku i gledanje u jako svetlo može pomoći da se postigne željeni efekat. U oku Lejdi Gage postoji ono što bi se moglo protumačiti kao kamera na stativu, ali slika je nejasna.
U oba testirana scenarija muzičkih spotova, subjekt rock zvezde je verovatno jedina stvar u studiju koja je dobro osvetljena, jer su svetla, kamera i akcija sve o njima. U svakodnevnijoj situaciji, kao što je Zoom poziv ili serija selfi objava, osvetljenje bi moglo biti pogodnije za prikupljanje informacija o okolini.
