Rekonstrukcija 3D lica iz vizuelnog je ključna za digitalno modeliranje lica i manipulaciju. Tradicionalne metode pretežno zavise od RGB slika, koje su podložne varijacijama osvetljenja i nude samo 2D informacije. Nasuprot tome, slike dubine, otporne na promene osvetljenja, direktno snimaju 3D podatke, nudeći potencijalno rešenje za robusne rekonstrukcije.
Nedavne studije su se okrenule dubokom učenju za robusniju rekonstrukciju iz podataka o dubini; međutim, nedostatak slika stvarne dubine sa tačnim 3D oznakama lica ometa proces obuke. Pokušaji korišćenja automatski sintetizovanih podataka za obuku naišli su na ograničenja u generalizaciji na scenarije iz stvarnog sveta zbog dispariteta domena.
Istraživački tim, na čelu sa Ksiaoku Cai-om, predstavio je svoje najnovije nalaze 15. februara 2024. u Frontiers of Computer Science. Njihovo istraživanje uvodi novu metodu rekonstrukcije koja se prilagođava domenu, koristeći duboko učenje uz fuziju automatski označenih sintetičkih i neoznačenih stvarnih podataka. Ovaj pristup olakšava rekonstrukciju 3D lica iz pojedinačnih dubinskih slika snimljenih u stvarnom svetu.
Njihov metod implementira neuronske mreže koje se prilagođavaju domenu posvećene predviđanju položaja glave i oblika lica, respektivno. Svaka mreža se obučava korišćenjem specifičnih strategija prilagođenih njenoj komponenti.
Mreža položaja glave se obučava korišćenjem jednostavne metode finog podešavanja, dok se za obuku mreže oblika lica primenjuje robusniji pristup adversarnog prilagođavanja domena.
Početni korak pretprocesiranja uključuje pretvaranje vrednosti piksela sa slike dubine u koordinate 3D tačke unutar prostora kamere. Ovaj proces omogućava korišćenje 2D konvolucija u mreži za rekonstrukciju za obradu 3D geometrijskih informacija. Mrežni izlaz koristi 3D pomeranja vrhova, uspostavljajući fokusiraniju distribuciju cilja kako bi se olakšao proces učenja.
Metod je temeljno procenjen na izazovnim skupovima podataka iz stvarnog sveta, demonstrirajući njegove konkurentske performanse u poređenju sa najsavremenijim tehnikama.
