Nova neuronska mreža za očuvanje kulturnog nasleđa putem 3D rekonstrukcije slike

Nova neuronska mreža za očuvanje kulturnog nasleđa putem 3D rekonstrukcije slike

Reljefne rezbarije ili reljefne skulpture su objekti kulturnog nasleđa sa figurama koje vire iz pozadine kao što je zid ili ploča, stvarajući osećaj dubine. Ova umetnička dela se obično nalaze na istorijskim lokacijama širom sveta, a smatraju se da imaju ogromnu istorijsku i kulturnu vrednost.

Nažalost, mnoge takve reljefne rezbarije na lokalitetima nasleđa širom sveta trpe različite stepene oštećenja i propadanja tokom vremena.

Dok moderne tehnike 3D skeniranja i fotogrametrije mogu digitalno sačuvati svoj trenutni oblik, one ne mogu vratiti originalni izgled ovih rezbarenja pre oštećenja. Pored toga, tradicionalne metode za njihovo obnavljanje su naporne i zahtevaju opsežnu ručnu intervenciju i specijalizovano znanje.

Jedna obećavajuća metoda je 3D digitalna rekonstrukcija ovih reljefa sa starih fotografija, snimljenih pre oštećenja ili propadanja. Za razliku od 3D skulptura ili 2D slika, reljefi imaju plitku dubinu i predviđeni su za gledanje sa prednje ili bilo koje strane. To znači da jedna slika može efikasno da obezbedi većinu informacija potrebnih za algoritme 3D digitalne rekonstrukcije.

Multinacionalni istraživački tim predvođen profesorom Satošijem Tanakom sa Fakulteta za informacione nauke i inženjerstvo na Univerzitetu Ritsumeikan u Japanu, zajedno sa dr Jiao Pan sa Univerziteta nauke i tehnologije u Pekingu, Kina, razvio je inovativni multi- zadatak neuronske mreže za 3D rekonstrukciju i digitalno očuvanje reljefa pomoću starih fotografija.

Nalazi su objavljeni u Zborniku radova 32. međunarodne konferencije o multimediji ACM-a.

„Ranije smo predložili metod 3D rekonstrukcije za stare reljefe na osnovu monokularne procene dubine sa fotografija. Iako smo postigli 95% tačnosti rekonstrukcije, finiji detalji kao što su ljudska lica i ukrasi i dalje su nedostajali“, objašnjava prof. Tanaka.

„Ovo je bilo zbog visoke kompresije vrednosti dubine u 2D reljefnim slikama, što otežava izdvajanje varijacija dubine duž ivica. Naš novi metod se bavi ovim poboljšanjem procene dubine, posebno duž mekih ivica, koristeći novi pristup detekcije ivica.“

Tim takođe uključuje prof. Liang Li sa Univerziteta Ritsumeikan i prof. Ksiaojuan Ban sa Univerziteta nauke i tehnologije u Pekingu. Njihova studija je usmeno predstavljena na međunarodnoj konferenciji ACM Multimedia 2024, održanoj u Australiji u oktobru.

Predložena neuronska mreža sa više zadataka obavlja tri zadatka, odnosno semantičku segmentaciju, procenu dubine i detekciju mekih ivica, koji zajedno rade na poboljšanju tačnosti 3D rekonstrukcije. Snaga jezgra mreže leži u proceni dubine, postignutoj kroz novi detektor mekih ivica i modul za usklađivanje ivica.

Za razliku od konvencionalne binarne klasifikacije ivica, detektor mekih ivica tretira otkrivanje ivica podataka reljefa kao zadatak višestruke klasifikacije. Ivice na reljefnim slikama ne predstavljaju samo promene u osvetljenosti, već i varijacije u zakrivljenosti, poznate kao „meke ivice“. Detektor meke ivice određuje stepen „mekoće“ ovih ivica na reljefnim slikama, poboljšavajući procenu dubine.

Modul za usklađivanje ivica se sastoji od dva detektora mekih ivica koji izdvajaju višeklasne mape mekih ivica i mapu dubine iz ulazne reljefne fotografije. Upoređivanjem i otkrivanjem razlika između dve mape, mreža se više fokusira na regione mekih ivica, što rezultira detaljnijom procenom dubine.

Konačno, mreža optimizuje dinamičku funkciju gubitka poboljšane ivice, koja uključuje gubitak iz sva tri zadatka, i proizvodi jasne i detaljne 3D slike reljefa.

Istraživači su primenili ovaj inovativni model da rekonstruišu skrivene reljefe hrama Borobudur.

„Zidni reljefi u prizemlju hrama Borobudur, UNESCO-ve Svetske baštine u Indoneziji, prekriveni su kamenim zidovima zbog armiranja izvedenih tokom holandskog kolonijalnog perioda i ne mogu se videti. Naša multi-task neuronska mreža je uspešno rekonstruisana ovi skriveni delovi Borobudurovih prizemnih reljefa sa preživelih starih fotografija Putem kompjuterske vizuelizacije i virtuelne stvarnosti, naše istraživanje sada omogućava virtuelno istraživanje ovih nevidljivih blaga“, kaže prof. Tanaka.

Govoreći o budućim implikacijama ovih otkrića, on kaže: „Naša tehnologija ima ogroman potencijal za očuvanje i deljenje kulturnog nasleđa. Otvara nove mogućnosti ne samo za arheologe već i za impresivna virtuelna iskustva kroz VR i metaverzalne tehnologije, čuvajući globalno nasleđe za buduće generacije.“