Modeli neuronskih mreža velikih razmera čine osnovu mnogih tehnologija zasnovanih na veštačkoj inteligenciji, kao što su neuromorfni čipovi, koji su inspirisani ljudskim mozgom. Obuka ovih mreža može biti zamorna, dugotrajna i energetski neefikasna s obzirom na to da se model često prvo obučava na računaru, a zatim prenosi na čip. Ovo ograničava primenu i efikasnost neuromorfnih čipova.
TU/e istraživači su rešili ovaj problem tako što su razvili neuromorfni uređaj sposoban za obuku na čipu koji eliminiše potrebu za prenosom obučenih modela na čip. Ovo bi moglo otvoriti put ka efikasnim i namenskim AI čipovima.
Da li ste ikada razmišljali o tome koliko je vaš mozak zaista divan? To je moćna računarska mašina, ali je takođe brza, dinamična, prilagodljiva i veoma energetski efikasna.
Kombinacija ovih atributa inspirisala je istraživače u TU/e, uključujući Joerija van de Burgta, da oponašaju kako mozak radi u tehnologijama gde je učenje važno, kao što su sistemi veštačke inteligencije (AI) u transportu, komunikaciji i zdravstvenoj zaštiti.
„U srcu takvih sistema veštačke inteligencije verovatno ćete naći neuronsku mrežu“, kaže Van de Burgt, vanredni profesor na Odseku za mašinstvo na TU/e.
Neuronske mreže su modeli računarskog softvera inspirisani mozgom. U ljudskom mozgu, neuroni razgovaraju sa drugim neuronima putem sinapsi, a što više dva neurona razgovaraju jedan sa drugim, to je jača veza između njih. U modelima neuronskih mreža—koji su napravljeni od čvorova—snaga veze između bilo koja dva čvora data je brojem koji se naziva težina.
„Neuronske mreže mogu pomoći u rešavanju složenih problema sa velikim količinama podataka, ali kako mreže postaju sve veće, one donose sve veće troškove energije i hardverska ograničenja“, kaže Van de Burgt. „Ali postoji obećavajuća alternativa zasnovana na hardveru – neuromorfni čipovi.“
Kao i neuronske mreže, neuromorfni čipovi su inspirisani načinom na koji mozak funkcioniše, ali imitacija je podignuta na potpuno novi nivo. U mozgu, kada se električni naboj u neuronu promeni, on tada može pokrenuti i poslati električne naboje povezanim neuronima. Neuromorfni čipovi repliciraju ovaj proces.
„U neuromorfnom čipu postoje memristori (što je skraćenica od memorijskih otpornika). To su uređaji u krugu koji mogu da ‘zapamte’ koliko je električnog naboja proteklo kroz njih u prošlosti“, kaže Van de Burgt. „A to je upravo ono što je potrebno za uređaj po uzoru na to kako neuroni mozga skladište informacije i razgovaraju jedni sa drugima.“
Ali postoji neuromorfna zamka — a ona se odnosi na dva načina na koja ljudi treniraju hardver zasnovan na neuromorfnim čipovima. Na prvi način, obuka se obavlja na računaru, a težine iz mreže se preslikavaju na hardver čipa.
Alternativa je da se obuka obavi na licu mesta ili u hardveru, ali trenutni uređaji moraju da se programiraju jedan po jedan, a zatim provere greške. Ovo je potrebno jer je većina memristora stohastička i nemoguće je ažurirati uređaj bez provere.
„Ovi pristupi su skupi u smislu vremena, energije i računarskih resursa. Da bi se zaista iskoristila energetska efikasnost neuromorfnih čipova, obuka treba da se obavi direktno na neuromorfnim čipovima“, kaže Van de Burgt.
A to je upravo ono što su Van de Burgt i njegovi saradnici na TU/e postigli i objavili u novom članku u Science Advances. „Ovo je bio pravi timski napor, a sve su pokrenuli koautori Tim Stevens i Eveline van Doremaele“, kaže Van de Burgt.
Priča o istraživanju može se pratiti do majstorskog puta Tima Stivensa. „Tokom mog magistarskog istraživanja zainteresovala sam se za ovu temu. Pokazali smo da je moguće izvoditi obuku samo na hardveru. Nema potrebe da se obučeni model prenosi na čip, a sve ovo može dovesti do efikasnijih čipova za AI. aplikacije“, kaže Stivens.
Van de Burgt, Stevens i Van Doremaele—koja je odbranila doktorat. tezu 2023. o neuromorfnim čipovima — potrebna mi je mala pomoć na putu oko dizajna hardvera. Pa su se obratili Marku Fatoriju sa odseka za elektrotehniku.
„Moja grupa je pomogla oko aspekata vezanih za dizajn kola čipa“, kaže Fatori. „Bilo je sjajno raditi na ovom multidisciplinarnom projektu gde oni koji prave čipove mogu da rade sa onima koji rade na softverskim aspektima.“
Za Van de Burgta, projekat je takođe pokazao da odlične ideje mogu doći sa bilo koje stepenice na akademskoj lestvici. „Tim je uvideo potencijal za korišćenje svojstava naših uređaja u mnogo većoj meri tokom svog magistarskog istraživanja. Ovde se može naučiti lekcija za sve projekte.“
Za istraživače je glavni izazov bio da integrišu ključne komponente potrebne za obuku na čipu na jednom neuromorfnom čipu. „Glavni zadatak koji je trebalo rešiti bilo je uključivanje komponenti elektrohemijske memorije sa slučajnim pristupom (EC-RAM), na primer“, kaže Van de Burgt. „Ovo su komponente koje oponašaju skladištenje i aktiviranje električnog naboja koje se pripisuje neuronima u mozgu.“
Istraživači su proizveli dvoslojnu neuronsku mrežu zasnovanu na EC-RAM komponentama napravljenim od organskih materijala i testirali hardver sa evolucijom široko korišćenog algoritma za obuku unazad sa gradijentom spuštanja. „Konvencionalni algoritam se često koristi za poboljšanje tačnosti neuronskih mreža, ali to nije kompatibilno sa našim hardverom, pa smo došli do sopstvene verzije“, kaže Stivens.
Štaviše, sa veštačkom inteligencijom u mnogim oblastima koja brzo postaje neodrživ odliv energetskih resursa, prilika da se neuronske mreže obuče na hardverskim komponentama za delić cene energije je primamljiva mogućnost za mnoge aplikacije – u rasponu od ChatGPT-a do vremenske prognoze.
Dok su istraživači pokazali da novi pristup obuci funkcioniše, sledeći logičan korak je da idemo veći, smeliji i bolji.
„Pokazali smo da ovo funkcioniše za malu dvoslojnu mrežu“, kaže van de Burgt. „Dalje, želeli bismo da uključimo industriju i druge velike istraživačke laboratorije kako bismo mogli da izgradimo mnogo veće mreže hardverskih uređaja i testiramo ih sa stvarnim problemima sa podacima.“
Ovaj sledeći korak bi omogućio istraživačima da pokažu da su ovi sistemi veoma efikasni u obuci, kao i da koriste korisne neuronske mreže i AI sisteme. „Želeli bismo da primenimo ovu tehnologiju u nekoliko praktičnih slučajeva“, kaže Van de Burgt. „Moj san je da takve tehnologije postanu norma u AI aplikacijama u budućnosti.“
