Ljudski mozak, sa svojom izuzetnom opštom inteligencijom i izuzetnom efikasnošću u potrošnji energije, služi kao stalna inspiracija i težnja za oblast veštačke inteligencije. Izvlačeći uvid iz fundamentalne strukture mozga i mehanizama obrade informacija, računarstvo inspirisano mozgom se pojavilo kao nova računarska paradigma, spremna da usmeri veštačku inteligenciju iz specijalizovanih domena ka širim primenama u opštoj inteligenciji.
Međunarodna asocijacija za poluprovodnike je prepoznala računarstvo inspirisano mozgom kao jednu od dve najperspektivnije disruptivne računarske tehnologije u eri posle Murovog zakona.
Kao interdisciplinarna oblast koja uključuje čipove, softver, algoritme, modele i još mnogo toga, koncept i istraživačka paradigma računarstva inspirisanog mozgom se kontinuirano širi i produbljuje. Značajno je da je Tianjic čip, koji je 2019. objavio Centar za istraživanje računarstva inspirisanog mozgom Univerziteta Tsinghua, označio značajnu prekretnicu u oblasti računarstva inspirisanog mozgom.
Ovaj čip ne samo da podržava modele orijentisane na kompjuterske nauke i neuronauke, već omogućava i njihovo hibridno modeliranje, pružajući snažnu podršku novoj paradigmi heterogenog računarstva inspirisanog dualnim mozgom. Ovaj proboj je dodatno stimulisao snažan razvoj i inovacije hibridnih neuronskih mreža (HNN).
Nedavno je u National Science Reviev objavljen sveobuhvatan pregled HNN-a, zahvaljujući saradnji između tima profesora Rong Zhaoa i tima profesora Luping Shi sa Univerziteta Tsinghua. Pregled pruža sistematski pregled HNN-a, pokrivajući njihovo poreklo, koncepte, konstrukcijske okvire i sisteme podrške, istovremeno naglašavajući njihovu putanju razvoja i buduće pravce.
Kao reprezentativna istraživačka paradigma vođena principima dvostrukog mozga, HNN neprimetno kombinuje spiking neuronske mreže (SNN) orijentisane na neuronauku i veštačke neuronske mreže (ANN) orijentisane na kompjuterske nauke. Koristeći jedinstvene prednosti ovih heterogenih mreža u smislu predstavljanja i obrade informacija, HNN ubrizgava novu vitalnost u razvoj veštačke opšte inteligencije (AGI).
Heterogenost svojstvena ANN-ima i SNN-ovima unutar HNN-a pruža im veliku fleksibilnost i raznolikost. Međutim, ova heterogenost takođe predstavlja značajne izazove u njihovoj konstrukciji. Da bi se efikasno promovisao razvoj HNN-a, imperativ je sistematski pristup koji pokriva različite perspektive, uključujući paradigme integracije, fundamentalne teorije, protok informacija, načine interakcije i mrežne strukture.
Tim za saradnju je pionir opšteg dizajna i računskog okvira za HNN koji se bavi ovim izazovima. Oni su primenili inovativni pristup razdvajanja praćenog integracijom, koristeći parametrizovane hibridne jedinice (HU), koje uspešno prevazilaze probleme povezivanja između heterogenih neuronskih mreža. Strategija integracije kombinuje jedinstvene karakteristike različitih heterogenih računarskih paradigmi uz poboljšanje fleksibilnosti i efikasnosti konstrukcije kroz razdvajanje.
Usvajanjem ovog novog okvira, HNN mogu imati koristi od prednosti i ANN-a i SNN-a, a istovremeno ublažavaju njihova ograničenja. Ovaj pristup ne samo da poboljšava performanse i mogućnosti HNN-a, već takođe pruža osnovu za dalja istraživanja i napredak u oblasti računarstva inspirisanog mozgom.
Uzimajući u obzir različite dimenzije dizajna, mogu se konstruisati fleksibilni i raznoliki HNN modeli. Ovi modeli mogu iskoristiti heterogenost podataka i pratećih sistema kako bi postigli bolju ravnotežu između performansi i troškova.
Trenutno, HNN se široko primenjuju u inteligentnim zadacima kao što su praćenje cilja, prepoznavanje govora, kontinuirano učenje, kontrola odlučivanja, itd., pružajući inovativna rešenja za ove domene. Štaviše, inspirisan heterogenošću mozga, HNN takođe može poslužiti kao alat za modeliranje za istraživanje neuronauke, olakšavajući kolaborativni razvoj neuronauke i HNN-a.
Ova sinergija otvara ogroman istraživački prostor i mogućnosti da obe oblasti zajedno napreduju. Kroz kontinuirano istraživanje i istraživanje, očekuje se da će HNN dodatno doprinijeti razvoju AGI i našem razumijevanju složenih mehanizama mozga.
Za efikasno postavljanje i primenu HNN-a, razvoj odgovarajućih sistema podrške je ključan. Trenutno je razvijeno nekoliko pratećih infrastruktura, uključujući čipove, softver i sisteme. Što se tiče dizajna čipa, Tianjic, hibridni čip inspirisan mozgom, je sveobuhvatno optimizovan za besprekornu integraciju HNN-a. Ovaj čip pruža poboljšane performanse i efikasnost posebno prilagođene za HNN aplikacije.
Na strani softvera, neuromorfna potpunost pruža teorijsku podršku i smernice za dizajn okvira za kompilaciju i primenu HNN-a. Ovo osigurava da softverski sistemi mogu efikasno da obrađuju jedinstvene karakteristike i računarske zahteve HNN modela.
Štaviše, Jingvei-2 računarski sistem inspirisan mozgom optimizovao je računarsku, skladišnu i komunikacionu infrastrukturu na nivou klastera. Ovaj sistem postavlja čvrstu osnovu za razvoj velikih HNN-a obezbeđujući neophodne resurse za rukovanje računarskim zahtevima složenih neuronskih mreža.
Gledajući unapred, duboko istraživanje o velikom HNN-u ima veliki značaj. Na primer, trenutno, u oblasti dubokog učenja, modeli zasnovani na transformatoru sa milijardama ili čak trilionima parametara su postigli značajan napredak u obradi prirodnog jezika i razumevanju slika. Međutim, ova poboljšanja dolaze sa značajnim troškovima energije.
Na nedavno održanoj ISSCC, konferenciji o dizajnu čipova, objavljeno je da su korišćenjem HNN-a, hibridni transformatorski modeli uspešno konstruisani, što je dovelo do značajnog smanjenja potrošnje energije. Ovo naglašava potencijal HNN-a u rešavanju izazova energetske efikasnosti povezanih sa velikim modelima.
Istraživanje metoda dizajna i optimizacije velikih HNN-ova, kao i konstruisanje skupova podataka za obuku, biće važni istraživački pravci u budućnosti. Ove oblasti nude visoku istraživačku vrednost i široke izglede za primenu, posebno u smanjenju potrošnje energije uz održavanje ili čak poboljšanje performansi složenih modela.
