Tim inženjera kompanije BitEnergi AI za tehnologiju zaključivanja AI izveštava o metodi za smanjenje energetskih potreba aplikacija AI za 95%. Grupa je objavila rad koji opisuje njihovu novu tehniku na arXiv serveru za preprint.
Kako su AI aplikacije postale mejnstrim, njihova upotreba je dramatično porasla, što je dovelo do značajnog porasta energetskih potreba i troškova. LLM kao što je ChatGPT zahtevaju mnogo računarske snage, što zauzvrat znači da je za njihovo pokretanje potrebno mnogo električne energije.
Kao samo jedan primer, ChatGPT sada zahteva otprilike 564 MVh dnevno, ili dovoljno za napajanje 18.000 američkih domova. Kako nauka nastavlja da napreduje i takve aplikacije postaju sve popularnije, kritičari sugerišu da bi AI aplikacije mogle da koriste oko 100 TVh godišnje za samo nekoliko godina, što je uporedo sa operacijama rudarenja bitkoina.
U ovom novom naporu, tim u BitEnergi AI tvrdi da su pronašli način da dramatično smanje količinu računara koja je potrebna za pokretanje AI aplikacija što ne dovodi do smanjenih performansi.
Nova tehnika je osnovna—umesto kompleksnog množenja sa pomičnim zarezom (FPM), metoda koristi sabiranje celog broja. Aplikacije koriste FPM za rukovanje izuzetno velikim ili malim brojevima, omogućavajući aplikacijama da izvrše proračune koristeći ih sa izuzetnom preciznošću. To je takođe energetski najintenzivniji deo AI broja.
Istraživači svoju novu metodu nazivaju Linear-Complekiti Multiplication—on funkcioniše tako što aproksimira FPM koristeći sabiranje celog broja. Oni tvrde da su dosadašnja ispitivanja pokazala da novi pristup smanjuje potražnju za električnom energijom za 95%.
Jedini nedostatak koji ima je taj što zahteva drugačiji hardver od onog koji se trenutno koristi. Ali istraživački tim takođe napominje da je novi tip hardvera već dizajniran, izgrađen i testiran.
Međutim, još uvek je nejasno kako će takav hardver biti licenciran – trenutno proizvođač GPU-a Nvidia dominira tržištem AI hardvera. Način na koji reaguju na ovu novu tehnologiju mogao bi da ima veliki uticaj na tempo kojim se ona usvaja — ako se tvrdnje kompanije provere.
