Ako vam je vilica pala dok ste gledali najnoviji video koji je generisala veštačka inteligencija, vaš bankovni bilans je spašen od kriminalaca pomoću sistema za otkrivanje prevara ili vam je dan bio malo lakši jer ste mogli da diktirate tekstualnu poruku u bekstvu, imate zahvaliti mnogim naučnicima, matematičarima i inženjerima.
Ali dva imena se ističu po temeljnom doprinosu tehnologiji dubokog učenja koja omogućava ta iskustva: fizičar sa Univerziteta Prinston Džon Hopfild i kompjuterski naučnik Univerziteta u Torontu Džefri Hinton.
Dvojica istraživača su 8. oktobra 2024. dobili Nobelovu nagradu za fiziku za svoj pionirski rad u oblasti veštačkih neuronskih mreža.
Iako su veštačke neuronske mreže modelovane po biološkim neuronskim mrežama, rad oba istraživača oslanjao se na statističku fiziku, otuda i nagradu u fizici.
Veštačke neuronske mreže duguju svoje poreklo proučavanju bioloških neurona u živim mozgovima. Godine 1943. neurofiziolog Varren McCulloch i logičar Valter Pitts su predložili jednostavan model kako neuron funkcioniše.
U McCulloch-Pitts modelu, neuron je povezan sa svojim susednim neuronima i može da prima signale od njih. Zatim može kombinovati te signale da pošalje signale drugim neuronima.
Ali postoji preokret: može različito odmeriti signale koji dolaze od različitih suseda. Zamislite da pokušavate da odlučite da li da kupite novi najprodavaniji telefon. Razgovarate sa svojim prijateljima i pitate ih za njihove preporuke.
Jednostavna strategija je da prikupite sve preporuke prijatelja i odlučite da pristanete na ono što većina kaže. Na primer, pitate tri prijatelja, Alis, Boba i Čarlija, a oni kažu iai, iai i ne, respektivno. Ovo vas dovodi do odluke da kupite telefon jer imate dva „da“ i jedan „ne“.
Međutim, nekim prijateljima biste mogli više da verujete jer oni imaju dubinsko znanje o tehničkim uređajima. Dakle, možda ćete odlučiti da date veću težinu njihovim preporukama.
Na primer, ako je Čarli veoma obrazovan, možete izbrojati njegovo ne tri puta i sada je vaša odluka da ne kupite telefon – dva da i tri ne.
Ako ste nesrećni što imate prijatelja kome potpuno ne verujete u vezi sa tehničkim stvarima sa gadžetima, možete mu čak pripisati negativnu težinu. Dakle, njihovo iai se računa kao ne, a njihovo ne se računa kao iai.
Kada donesete sopstvenu odluku o tome da li je novi telefon dobar izbor, drugi prijatelji mogu da vas pitaju za preporuku.
Slično, u veštačkim i biološkim neuronskim mrežama, neuroni mogu agregirati signale od svojih suseda i poslati signal drugim neuronima.
Ova sposobnost vodi do ključne razlike: da li postoji ciklus u mreži? Na primer, ako danas pitam Alis, Boba i Čarlija, a sutra me Alisa pita za preporuku, onda postoji ciklus: od Alise do mene, i od mene nazad do Alise.
Ako veze između neurona nemaju ciklus, kompjuterski naučnici to nazivaju neuronskom mrežom unapred. Neuroni u mreži unapred mogu biti raspoređeni u slojevima.
Prvi sloj se sastoji od ulaza. Drugi sloj prima svoje signale od prvog sloja i tako dalje. Poslednji sloj predstavlja izlaze mreže.
Međutim, ako postoji ciklus u mreži, kompjuterski naučnici to nazivaju rekurentnom neuronskom mrežom, a raspored neurona može biti komplikovaniji nego u neuronskim mrežama unapred.
Početna inspiracija za veštačke neuronske mreže došla je iz biologije, ali su ubrzo druga polja počela da oblikuju njihov razvoj. To je uključivalo logiku, matematiku i fiziku.
Fizičar Džon Hopfild koristio je ideje iz fizike da proučava određenu vrstu rekurentne neuronske mreže, koja se sada zove Hopfildova mreža. Posebno je proučavao njihovu dinamiku: Šta se dešava sa mrežom tokom vremena?
Takva dinamika je važna i kada se informacije šire društvenim mrežama. Svi su svesni da memovi postaju viralni i da se eho komore formiraju na društvenim mrežama na mreži. Sve su to kolektivni fenomeni koji na kraju proizilaze iz jednostavne razmene informacija između ljudi u mreži.
Hopfild je bio pionir u korišćenju modela iz fizike, posebno onih razvijenih za proučavanje magnetizma, da bi se razumela dinamika rekurentnih neuronskih mreža. Takođe je pokazao da njihova dinamika može dati takvim neuronskim mrežama oblik pamćenja.
Tokom 1980-ih, Džefri Hinton, računarski neurobiolog Terens Sejnovski i drugi proširili su Hopfildove ideje da stvore novu klasu modela pod nazivom Bolcmanove mašine, nazvane po fizičaru iz 19. veka Ludvigu Bolcmanu.
Kao što naziv implicira, dizajn ovih modela je ukorenjen u statističkoj fizici koju je pionir Bolcman.
Za razliku od Hopfild mreža koje bi mogle da čuvaju obrasce i ispravljaju greške u obrascima – kao što to radi provera pravopisa – Bolcmanove mašine mogu da generišu nove obrasce, čime bi sele seme moderne generativne AI revolucije.
Hinton je takođe bio deo drugog otkrića koji se dogodio 1980-ih: propagacije unazad. Ako želite da veštačke neuronske mreže rade zanimljive zadatke, morate nekako da izaberete prave težine za veze između veštačkih neurona.
Proširivanje unazad je ključni algoritam koji omogućava izbor težine na osnovu performansi mreže na skupu podataka za obuku. Međutim, i dalje je bilo izazovno trenirati veštačke neuronske mreže sa mnogo slojeva.
Tokom 2000-ih, Hinton i njegovi saradnici su pametno koristili Boltzmannove mašine za obuku višeslojnih mreža tako što su prvo prethodno obučavali mrežu sloj po sloj, a zatim koristeći drugi algoritam za fino podešavanje na vrhu prethodno obučene mreže da bi dodatno prilagodili težine.
Višeslojne mreže su prekrštene u duboke mreže i počela je revolucija dubokog učenja.
Nobelova nagrada za fiziku pokazuje kako su ideje iz fizike doprinele usponu dubokog učenja. Sada je duboko učenje počelo da vraća svoj dug fizici omogućavajući precizne i brze simulacije sistema u rasponu od molekula i materijala pa sve do klime cele Zemlje.
Dodeljivanjem Nobelove nagrade za fiziku Hopfildu i Hintonu, komitet za dodelu nagrada je pokazao nadu u potencijal čovečanstva da iskoristi ovaj napredak za unapređenje ljudskog blagostanja i za izgradnju održivog sveta.
