Istraživači iz Skolteha i Instituta za istraživanje veštačke inteligencije (AIRI) razvili su novi algoritam za optimalan prenos podataka između domena pomoću neuronskih mreža. Za razliku od većine sličnih tehnika, nova metoda ne zahteva uparene skupove podataka za obuku, kao što su ulazno-izlazni uzorci, i može se obučiti na nezavisnim skupovima podataka iz ulaznog i izlaznog domena. Algoritam daje rezultat koji se može bolje interpretirati od drugih postojećih pristupa i počiva na čvrstoj teorijskoj osnovi.
Moderni modeli mašinskog učenja dizajnirani za aplikacije kao što su prepoznavanje lica ili govora i analiza medicinske slike zahtevaju velike skupove podataka za obuku koje je teško dobiti. Iz tog razloga istraživači i inženjeri moraju da kreiraju sintetičke podatke koji odgovaraju onima dostupnim u stvarnosti. Zadatak je u velikoj meri olakšan generativnim modelima koji su nedavno postigli ogroman napredak u pogledu kvaliteta teksta i slike.
Generativni modeli pomažu da se sintetišu podaci iz drugih podataka, drugim rečima, premeštaju jedan domen u drugi. Na primer, neuronska mreža može da kreira digitalnu sliku od skice koju je nacrtao čovek ili da poboljša fine detalje na satelitskoj slici. Ovi zadaci obično zahtevaju uparene uzorke za obuku i skupove ulazno-izlaznih slika koje neuronska mreža uči da generalizuje i proširi na nove dolazne slike, što pomaže da se nosi sa nekoliko identičnih slika različitog kvaliteta, između ostalog.
Pošto su upareni podaci obično veoma skupi ili ih je teško dobiti, istraživači se moraju zadovoljiti nezavisnim skupovima podataka, što otežava postizanje dobrog rezultata.
„Standardni pristupi izgradnji generativnih modela za prenos domena su u velikoj meri heuristički i zavise od više hiperparametara koji utiču na rezultate obuke i nisu lako selektovani. Štaviše, takvim pristupima nedostaje matematički rigorozan okvir. Kao posledica toga, obuka modela je nestabilan proces koji moraju da se prilagođavaju ručno. Nije iznenađujuće da je takođe teško dobiti rigorozne teorijske zaključke o ishodima obuke“, prokomentarisao je profesor Evgenij Burnaev, direktor veštačke inteligencije Skolteha i vođa istraživačkog tima u AIRI.
U svom istraživanju, tim se ponovo osvrnuo na radove sovjetskog matematičara i ekonomiste Leonida Kantoroviča i iskoristio njegove ideje o optimalnom transportu tereta (optimalna teorija transporta) da stvori novi algoritam za planiranje optimalnog transporta podataka između domena. Novi algoritam, nazvan Neural Optimal Transport, koristi duboke neuronske mreže i nezavisne skupove podataka.
Kada se testira na neuparenom prenosu domena, algoritam nadmašuje postojeće metode u nekoliko zadataka, uključujući stilizovanje slike. Štaviše, za razliku od drugih tehnika, potrebno je manje hiperparametara, koje je obično teško podesiti, daje rezultat koji se može interpretirati i počiva na čvrstoj matematičkoj osnovi.
„Numeričke metode optimalnog transporta se već nekoliko godina široko koriste za izgradnju generativnih neuronskih mreža. Naše istraživačko istraživanje je pokazalo da ovi modeli izračunavaju optimalan transport sa veoma velikom greškom. Uspeli smo ne samo da pronađemo razloge za grešku, već i da izvrši analizu i razvije fundamentalno nove efikasne načine za izgradnju generativnih modela za neupareni prenos domena zasnovanih na teoriji optimalnog transporta“, rekao je Aleksandar Korotin, naučnik AIRI istraživač i vođa istraživačkog tima Skoltech-a.
Istraživanje je objavljeno na serveru za preprint arXiv.
