Istraživači sa Univerziteta Kornel razvili su dve tehnologije koje prate nečiji pogled i izraze lica putem senzora nalik sonaru. Tehnologija je dovoljno mala da stane na komercijalne pametne naočare ili virtuelnu stvarnost ili slušalice sa proširenom stvarnošću, ali troše znatno manje energije od sličnih alata koji koriste kamere.
I jedan i drugi koriste zvučnike i mikrofone postavljene na okvir naočara da odbijaju nečujne zvučne talase od lica i pokupe reflektovane signale izazvane pokretima lica i očiju. Jedan uređaj, GazeTrak, je prvi sistem za praćenje očiju koji se oslanja na akustične signale. Drugi, EieEcho, je prvi sistem zasnovan na naočarima koji kontinuirano i precizno detektuje izraze lica i ponovo ih kreira kroz avatar u realnom vremenu.
Uređaji mogu da traju nekoliko sati na bateriji pametnih naočara i više od jednog dana na VR slušalicama.
„Mala je, jeftina je i super male snage, tako da možete da je nosite na pametnim naočarima svaki dan—neće vam ubiti bateriju“, rekao je Čeng Žang, docent informacionih nauka. Zhang rukovodi laboratorijom Smart Computer Interfaces for Future Interactions (SciFi) koja je kreirala nove uređaje.
„U VR okruženju, želite da ponovo kreirate detaljne izraze lica i pokrete pogleda kako biste imali bolju interakciju sa drugim korisnicima“, rekao je Ke Li, doktorant koji je vodio razvoj GazeTrak i EieEcho.
Za GazeTrak, istraživači su postavili jedan zvučnik i četiri mikrofona oko unutrašnjosti svakog okvira oka par naočara kako bi se odbijali i hvatali zvučni talasi iz očne jabučice i područja oko očiju. Rezultirajući zvučni signali se unose u prilagođeni cevovod dubokog učenja koji koristi veštačku inteligenciju da bi kontinualno zaključivao pravac pogleda osobe.
Za EieEcho, jedan zvučnik i jedan mikrofon nalaze se pored šarki naočara, usmereni nadole kako bi uhvatili kretanje kože dok se izrazi lica menjaju. Reflektovani signali se takođe tumače korišćenjem AI.
Sa ovom tehnologijom, korisnici mogu da imaju hendsfri video pozive preko avatara, čak i u bučnom kafiću ili na ulici. Dok neke pametne naočare imaju mogućnost da prepoznaju lica ili razlikuju nekoliko specifičnih izraza, trenutno nijedna ne prati izraze kontinuirano kao EieEcho.
Ova dva napretka imaju aplikacije osim poboljšanja nečijeg VR iskustva. GazeTrak bi se mogao koristiti sa čitačima ekrana za čitanje delova teksta za osobe sa slabim vidom dok pregledaju veb lokaciju.
GazeTrak i EieEcho takođe mogu potencijalno pomoći u dijagnostici ili praćenju neurodegenerativnih bolesti, poput Alchajmerove i Parkinsonove bolesti. Kod ovih stanja, pacijenti često imaju abnormalne pokrete očiju i manje izražajna lica, a ova vrsta tehnologije mogla bi da prati napredovanje bolesti iz udobnosti pacijentovog doma.
Li će predstaviti GazeTrak na godišnjoj međunarodnoj konferenciji o mobilnom računarstvu i umrežavanju na jesen, a EieEcho na konferenciji CHI Udruženja računarskih mašina o ljudskim faktorima u računarskim sistemima u maju.
Nalazi su objavljeni na arKsiv preprint serveru.
