Skraćivanje neuronske mreže je ključna tehnika za primenu modela veštačke inteligencije (AI) zasnovanih na dubokim neuronskim mrežama (DNN) na platformama sa ograničenim resursima, kao što su mobilni uređaji. Međutim, hardverski uslovi i dostupnost resursa uveliko variraju na različitim platformama, zbog čega je od suštinskog značaja da se dizajniraju smanjeni modeli koji su optimalno prilagođeni specifičnim konfiguracijama hardvera.
Odsecanje neuronske mreže sa svešću o hardveru nudi efikasan način da se ovaj proces automatizuje, ali zahteva balansiranje više konfliktnih ciljeva, kao što su tačnost mreže, latencija zaključivanja i korišćenje memorije, koje tradicionalne matematičke metode teško rešavaju.
U studiji objavljenoj u časopisu Fundamental Research, grupa istraživača iz Šenžena, Kina, predstavlja novi pristup orezivanja neuronske mreže koji je svestan hardvera zasnovan na višeobjektivnoj evolucionoj optimizaciji.
„Predlažemo da koristimo multi-objektivne evolucione algoritme (MOEA) za rešavanje problema hardverske neuronske mreže“, kaže Ke Tang, stariji i odgovarajući autor studije.
U poređenju sa konvencionalnim algoritmima optimizacije, MOEA imaju dve prednosti u rešavanju ovog problema. Jedan je da MOEA ne zahtevaju posebne pretpostavke kao što su diferencijabilnost ili kontinuitet, i poseduju jak kapacitet za optimizaciju crne kutije. Druga je njihova sposobnost da pronađu više Pareto-optimalnih rešenja u jednoj simulaciji, što je veoma korisno u praksi jer nudi fleksibilnost za ispunjavanje različitih zahteva korisnika.
„Konkretno, kada se pronađe takav skup rešenja, krajnji korisnici mogu lako da izaberu željenu konfiguraciju DNN kompresije, kao što je prvo kašnjenje ili prvo potrošnja memorije, samo jednim klikom na odgovarajuća rešenja“, dodaje Tang.
Nalazi tima su dalje otkrili da iako višeciljni evolucioni algoritmi imaju značajan potencijal, oni se i dalje bore sa niskom efikasnošću pretraživanja. U tom cilju, istraživači su razvili novi MOEA, odnosno Hardvare-Avare Multi-objective evolutionari netvork Pruning (HAMP), kako bi se pozabavili ovim problemom.
„To je memetički MOEA koji kombinuje efikasnu selekciju zasnovanu na portfoliju i surogat-pomoćnog lokalnog operatera za pretragu. HAMP je trenutno jedini pristup smanjenju mreže koji može efikasno da upravlja višestrukim hardverskim direktnim povratnim informacijama i preciznošću istovremeno“, objašnjava prvi autor Venjing Hong. „Eksperimentalne studije na mobilnom NVIDIA Jetson Nano demonstriraju efikasnost HAMP-a u odnosu na najsavremeniju tehnologiju i potencijal MOEA za hardversko svjesno smanjenje mreže.“
Rezultati tima pokazuju da HAMP ne samo da uspeva da postigne rešenja koja su bolja u svim ciljevima, već istovremeno isporučuje set alternativnih rešenja.
„Ova rešenja predstavljaju različite kompromise između kašnjenja, potrošnje memorije i tačnosti, i stoga mogu olakšati brzu primenu DNN-a u praksi“, zaključuje Hong.
