Naši pametni uređaji preuzimaju glasovne komande od nas, proveravaju naše otkucaje srca, prate naš san, prevode tekst, šalju nam podsetnike, snimaju fotografije i filmove i omogućavaju nam da razgovaramo sa porodicom i prijateljima na udaljenim kontinentima.
Sada zamislite turbo punjenje tih mogućnosti. Održavanje detaljne razmene prirodnih jezika o akademskim ili ličnim upitima; provođenje naših vitalnih znakova kroz globalnu bazu podataka da bismo proverili neposredne zdravstvene probleme; pakovanje ogromnih baza podataka kako bi se obezbedio sveobuhvatan prevod u realnom vremenu između dve ili više strana koje govore različite jezike; i razgovor sa GPS softverom koji pruža detalje o najboljim hamburgerima, filmovima, hotelima ili mestima za posmatranje ljudi koji su u trendu duž vaše rute.
Koristeći zavodljivu moć velikih jezičkih modela i obrade prirodnog jezika, bili smo svedoci ogromnog napretka u komunikaciji između nas i tehnologije na koju se sve više oslanjamo u svakodnevnom životu.
Ali postojao je kamen spoticanja kada su u pitanju veštačka inteligencija i naši prenosivi uređaji. Istraživači iz Apple-a kažu da su spremni da urade nešto po tom pitanju.
Pitanje je pamćenje. Velikim jezičkim modelima je potrebno mnogo toga. Sa modelima koji zahtevaju skladištenje potencijalno stotina milijardi parametara, obično korišćeni pametni telefoni kao što je Appleov iPhone 15 sa oskudnih 8 GB memorije neće ispuniti zadatak.
U radu koji je 12. decembra postavljen na server za pre-štampanje arKsiv, Apple je objavio da je razvio metodu koja koristi prenos podataka između fleš memorije i DRAM-a koji će omogućiti pametnom uređaju da pokreće moćan AI sistem.
Istraživači kažu da njihov proces može pokrenuti AI programe dvostruko veće od DRAM kapaciteta uređaja i ubrzati rad CPU-a do 500%. GPU procesi, kažu, mogu se ubrzati do 25 puta u odnosu na trenutne pristupe.
„Naš metod uključuje konstruisanje modela troškova zaključivanja koji je u skladu sa ponašanjem fleš memorije, vodeći nas da optimizujemo u dve kritične oblasti: smanjenje obima podataka prenetih sa fleš memorije i čitanje podataka u većim, susednijim delovima“, rekli su istraživači u svom rad pod nazivom, „LLM u trenu: Efikasno zaključivanje modela velikog jezika sa ograničenom memorijom“.
Dve tehnike koje su koristili su:
- primena prozorskih funkcija, koji smanjuje količinu podataka koji treba da se razmene između fleš memorije i RAM-a. Ovo se postiže ponovnim korišćenjem rezultata iz nedavnih proračuna, minimiziranjem IO zahteva i uštedom energije i vremena.
- objedinjavanje kolona redova, koje postiže veću efikasnost varenjem većih komada podataka odjednom iz fleš memorije.
Dva procesa, kažu istraživači, „kolektivno doprinose značajnom smanjenju opterećenja podataka i povećanju efikasnosti korišćenja memorije“.
Dodali su: „Ovaj napredak je posebno presudan za primenu naprednih LLM-a u okruženjima sa ograničenim resursima, čime se proširuje njihova primenjivost i pristupačnost.“
U drugom nedavnom otkriću, Apple je objavio da je dizajnirao program pod nazivom HUGS koji može da kreira animirane avatare od samo nekoliko sekundi video zapisa snimljenog jednim sočivom. Trenutni programi za kreiranje avatara zahtevaju više prikaza kamere. Izveštaj, „ZAGRLjAJ: Ljudski Gausovi znakovi,“ je postavljen na arKsiv 29. novembra.
Njihov program može stvoriti realistične avatare za ples za samo 30 minuta, što je daleko kraće od dva dana potrebna za trenutne popularne pristupe, prema Apple-u.
