Behrooz Tahmasebi—phD MIT-a student na Odseku za elektrotehniku i računarske nauke (EECS) i filijala Laboratorije za računarske nauke i veštačku inteligenciju (CSAIL)—pohađao je kurs matematike o diferencijalnim jednačinama krajem 2021. godine kada se pojavio tračak inspiracije. Na tom času je prvi put saznao za Vajlov zakon koji je 110 godina ranije formulisao nemački matematičar Herman Vajl.
Tahmasebi je shvatio da bi to moglo imati neke veze sa problemom kompjuterske nauke sa kojim se tada borio, iako se činilo da je veza – na površini – u najboljem slučaju tanka. Vejlov zakon, kaže on, obezbeđuje formulu koja meri složenost spektralnih informacija, ili podataka, sadržanih u osnovnim frekvencijama glave bubnja ili žice gitare.
Tahmasebi je u isto vreme razmišljao o merenju složenosti ulaznih podataka u neuronsku mrežu, pitajući se da li se ta složenost može smanjiti uzimajući u obzir neke od simetrija svojstvenih skupu podataka. Takvo smanjenje bi, zauzvrat, moglo olakšati—kao i ubrzati—procese mašinskog učenja.
Vejlov zakon, zamišljen oko jednog veka pre procvata mašinskog učenja, tradicionalno se primenjivao na veoma različite fizičke situacije – kao što su one koje se tiču vibracija žice ili spektra elektromagnetnog zračenja (crnog tela) koje emituje zagrejani predmet. . Ipak, Tahmasebi je verovao da bi prilagođena verzija tog zakona mogla da pomogne u rešavanju problema mašinskog učenja kojim se bavi. A ako bi pristup uspeo, isplata bi mogla biti znatna.
Razgovarao je sa svojom savetnicom Stefanie Jegelka — vanrednom profesorkom na EECS-u i filijalom CSAIL-a i MIT Instituta za podatke, sisteme i društvo — koja je verovala da je ideja definitivno vredna razmatranja. Kako je Tahmasebi to video, Vejlov zakon je imao veze sa merenjem složenosti podataka, kao i ovaj projekat. Ali Vejlov zakon, u svom izvornom obliku, nije govorio ništa o simetriji.
On i Jegelka su sada uspeli da modifikuju Vejlov zakon tako da se simetrija može uračunati u procenu složenosti skupa podataka. „Koliko ja znam“, kaže Tahmasebi, „ovo je prvi put da je Vejlov zakon korišćen da bi se utvrdilo kako se mašinsko učenje može poboljšati simetrijom.“
Rad koji su on i Jegelka napisali dobio je oznaku „Spotlight“ kada je predstavljen na konferenciji o neuronskim sistemima za obradu informacija u decembru 2023. — koja se smatra najvećom svetskom konferencijom o mašinskom učenju. Trenutno je dostupan na arXiv serveru za preprint.
Ovaj rad, komentariše Soledad Vilar, primenjeni matematičar sa Univerziteta Džons Hopkins, „pokazuje da modeli koji zadovoljavaju simetrije problema nisu samo tačni, već i mogu da daju predviđanja sa manjim greškama, koristeći malu količinu tačaka za obuku. [Ovo] je posebno važno u naučnim domenima, kao što je računarska hemija, gde podaci o obuci mogu biti oskudni.“
U svom radu, Tahmasebi i Jegelka istraživali su načine na koje simetrije, ili takozvane „invarijanse“, mogu koristiti mašinskom učenju. Pretpostavimo, na primer, da je cilj pokretanja određenog računara da izabere svaku sliku koja sadrži broj 3. Taj zadatak može biti mnogo lakši i ići mnogo brže, ako algoritam može da identifikuje 3 bez obzira na to gde se nalazi postavljen u kutiju — bilo da je tačno u sredini ili sa strane — i da li je usmeren desnom stranom nagore, naopako ili orijentisan pod nasumičnim uglom.
