Kako znate da gledate u psa? Koje su šanse da ste u pravu? Ako ste algoritam za mašinsko učenje, pregledavate hiljade slika — i milione verovatnoća — da biste došli do „pravog“ odgovora, ali različiti algoritmi koriste različite rute da bi došli do toga.
Saradnja između istraživača iz Kornela i Univerziteta u Pensilvaniji pronašla je način da preseče tu zapanjujuću količinu podataka i pokaže da najuspešnije duboke neuronske mreže prate sličnu putanju u istom „niskodimenzionalnom“ prostoru.
„Neke neuronske mreže idu različitim putevima. Idu različitim brzinama. Ali zapanjujuće je da sve idu istim putem“, rekao je Džejms Setna, profesor fizike na Koledžu za umetnost i nauku, koji je vodio tim Kornel.
Tehnika tima bi potencijalno mogla postati alat za određivanje koje su mreže najefikasnije.
Rad grupe, „Proces obuke mnogih dubokih mreža istražuje istu niskodimenzionalnu mnogostrukost“, objavljen je u PNAS-u. Glavni autor je Jialin Mao sa Univerziteta u Pensilvaniji.
Projekat ima svoje korene u algoritmu — koji je razvila Ketrin Kvin — koji se može koristiti za snimanje velikog skupa podataka verovatnoća i pronalaženje najvažnijih obrazaca, takođe poznatih kao uzimanje granice od nula podataka.
Setna i Kvin su ranije koristili ovu „teoriju replika“ da pročešljaju kosmičke mikrotalasne pozadinske podatke, tj. zračenje preostalo iz najranijih dana univerzuma, i mapiraju kvalitete našeg univerzuma u odnosu na moguće karakteristike različitih univerzuma.
Kvinov „podmukli metod“, kako ga je Setna nazvao, proizveo je trodimenzionalnu vizualizaciju „da bi se videli pravi osnovni niskodimenzionalni obrasci u ovom izuzetno visokodimenzionalnom prostoru“.
Nakon što su ti nalazi objavljeni, Setni se obratio Pratik Chaudhari sa Univerziteta u Pensilvaniji, koji je predložio saradnju.
„Pratik je shvatio da se metod koji smo razvili može koristiti za analizu načina na koji duboke neuronske mreže uče“, rekao je Setna.
Tokom nekoliko godina, istraživači su blisko sarađivali. Čaudharijeva grupa, sa svojim ogromnim znanjem i resursima u istraživanju dubokih neuronskih mreža, preuzela je vođstvo i pronašla brze metode za izračunavanje vizuelizacije, a zajedno sa Setninom grupom radili su na vizuelizaciji, analizi i interpretaciji ovog novog prozora u mašinskom učenju.
Istraživači su se fokusirali na šest tipova arhitektura neuronskih mreža, uključujući transformator, osnovu ChatGPT-a. Sve u svemu, tim je obučio 2.296 konfiguracija dubokih neuronskih mreža sa različitim arhitekturama, veličinama, metodama optimizacije, hiperparametrima, mehanizmima regularizacije, povećanjem podataka i nasumičnom inicijalizacijom težina.
„Ovo zaista obuhvata širinu onoga što danas postoji u standardima mašinskog učenja“, rekao je koautor i postdoktorski istraživač Itai Griniasti.
Za samu obuku, neuronske mreže su ispitale 50.000 slika i za svaku sliku odredile verovatnoću da se uklapa u jednu od 10 kategorija: avion, automobil, ptica, mačka, jelen, pas, žaba, konj, brod ili kamion. Svaki broj verovatnoće se smatra parametrom ili dimenzijom. Dakle, kombinacija 50.000 slika i 10 kategorija rezultirala je sa pola miliona dimenzija.
Uprkos ovom „visokodimenzionalnom“ prostoru, vizuelizacija iz Kvinovog algoritma je pokazala da većina neuronskih mreža prati sličnu geodetsku putanju predviđanja – što vodi od potpunog neznanja slike do potpune izvesnosti njene kategorije – u istoj relativno niskoj dimenziji. U stvari, sposobnost mreža da uče prati isti luk, čak i sa različitim pristupima.
„Sada ne možemo da dokažemo da se to mora desiti. Ovo je nešto što je iznenađujuće. Ali to je zato što na tome radimo samo dve decenije“, rekao je Setna. „To nas inspiriše da radimo više teorijskog rada na neuronskim mrežama. Možda će naš metod biti alat za ljude koji razumeju različite algoritme da pogode šta će bolje funkcionisati.“
Među koautorima su doktorant Han Kheng Teoh i istraživači sa Univerziteta Pensilvanije i Univerziteta Brigham Jang.
