Sa generativnom veštačkom inteligencijom (GenAI) koja transformiše pejzaž društvenih interakcija poslednjih godina, veliki jezički modeli (LLM), koji koriste algoritme dubokog učenja za obuku GenAI platforme za obradu jezika, stavljeni su u centar pažnje.
Nedavna studija Politehničkog univerziteta u Hong Kongu (PoliU) otkrila je da LLM rade više kao ljudski mozak kada su obučeni na sličnije načine kao što ljudi obrađuju jezik, što je donelo važne uvide u proučavanje mozga i razvoj AI modela.
Trenutni LLM se uglavnom oslanjaju na jednu vrstu predobuke — kontekstualno predviđanje reči. Ova jednostavna strategija učenja postigla je iznenađujući uspeh u kombinaciji sa ogromnim podacima o obuci i parametrima modela, kao što pokazuju popularni LLM-i kao što je ChatGPT.
Nedavne studije takođe sugerišu da predviđanje reči u LLM može poslužiti kao uverljiv model za to kako ljudi obrađuju jezik. Međutim, ljudi ne samo da predviđaju sledeću reč, već i integrišu informacije visokog nivoa u razumevanje prirodnog jezika.
Istraživački tim na čelu sa prof. Li Pingom, dekanom Fakulteta humanističkih nauka i profesorom humanističkih nauka i tehnologije u Fondaciji Sin Vai Kin na PoliU, istražio je zadatak predviđanja sledeće rečenice (NSP), koji simulira jedan centralni proces razumevanja na nivou diskursa. u ljudskom mozgu da proceni da li je par rečenica koherentan, u model pretreninga i ispitao korelaciju između podataka modela i aktivacije mozga.
Studija je nedavno objavljena u časopisu Science Advances.
Istraživački tim je obučio dva modela, jedan sa NSP poboljšanjem, a drugi bez; obojica su takođe naučili predviđanje reči. Podaci funkcionalne magnetne rezonance (fMRI) prikupljeni su od ljudi koji su čitali povezane rečenice ili nepovezane rečenice. Istraživački tim je ispitao koliko su se obrasci iz svakog modela podudarali sa obrascima mozga iz fMRI podataka o mozgu.
Bilo je jasno da obuka sa NSP pruža koristi. Model sa NSP-om je odgovarao ljudskoj moždanoj aktivnosti u više oblasti mnogo bolje od modela obučenog samo na predviđanju reči. Njegov mehanizam takođe lepo preslikava uspostavljene neuronske modele razumevanja ljudskog diskursa.
Rezultati daju novi uvid u to kako naš mozak obrađuje potpuni diskurs kao što su razgovori. Na primer, delovi desne strane mozga, a ne samo leve, pomogli su u razumevanju dužeg diskursa. Model obučen sa NSP takođe bi mogao bolje da predvidi koliko brzo neko čita – pokazujući da je simulacija razumevanja diskursa kroz NSP pomogla AI da bolje razume ljude.
Nedavni LLM, uključujući ChatGPT, oslanjaju se na značajno povećanje podataka o obuci i veličine modela kako bi postigli bolje performanse. Profesor Li Ping je rekao: „Postoje ograničenja samo u oslanjanju na takvo skaliranje. Napredak bi takođe trebalo da bude usmeren na to da modeli budu efikasniji, oslanjajući se na manje nego na više podataka. Naši nalazi sugerišu da različiti zadaci učenja kao što je NSP mogu poboljšati LLM da bude više nalik čoveku i potencijalno bliži ljudskoj inteligenciji.“
„Što je još važnije, nalazi pokazuju kako neurokognitivni istraživači mogu da iskoriste LLM da proučavaju jezičke mehanizme višeg nivoa našeg mozga. Oni takođe promovišu interakciju i saradnju između istraživača u oblastima AI i neurokognicije, što će dovesti do budućih studija o AI informisanim studije mozga, kao i AI inspirisana mozgom.“
