Veštačke neuronske mreže bolje uče kada provode vreme ne učeći uopšte

Veštačke neuronske mreže bolje uče kada provode vreme ne učeći uopšte

U zavisnosti od starosti, ljudima je potrebno 7 do 13 sati sna u 24 sata. Tokom ovog vremena, mnogo toga se dešava: otkucaji srca, disanje i metabolizam oseka i tok; nivo hormona se prilagođava; telo se opušta. Ne toliko u mozgu.

„Mozak je veoma zauzet kada spavamo, ponavljajući ono što smo naučili tokom dana“, rekao je dr Maksim Baženov, profesor medicine i istraživač sna na Medicinskom fakultetu Univerziteta Kalifornije u San Dijegu. „Spavanje pomaže u reorganizaciji uspomena i predstavlja ih na najefikasniji način.“

U prethodnom objavljenom radu, Bazhenov i kolege su izvestili kako san gradi racionalno pamćenje, sposobnost pamćenja proizvoljnih ili indirektnih asocijacija između objekata, ljudi ili događaja i štiti od zaboravljanja starih uspomena.

Veštačke neuronske mreže koriste arhitekturu ljudskog mozga za poboljšanje brojnih tehnologija i sistema, od osnovnih nauka i medicine do finansija i društvenih medija. Na neki način su postigli nadljudske performanse, kao što je brzina računara, ali ne uspevaju u jednom ključnom aspektu: kada veštačke neuronske mreže uče sekvencijalno, nove informacije zamenjuju prethodne informacije, što je fenomen koji se zove katastrofalno zaboravljanje.

„Nasuprot tome, ljudski mozak kontinuirano uči i ugrađuje nove podatke u postojeće znanje“, rekao je Baženov, „i obično najbolje uči kada se nova obuka promeša sa periodima spavanja radi konsolidacije memorije.“

Pišući u izdanju PLOS Computational Biologi od 18. novembra 2022., Bazhenov i njegove kolege raspravljaju o tome kako biološki modeli mogu pomoći u ublažavanju pretnje od katastrofalnog zaboravljanja u veštačkim neuronskim mrežama, povećavajući njihovu korisnost u čitavom spektru istraživačkih interesovanja.

Naučnici su koristili spiking neuronske mreže koje veštački oponašaju prirodne neuronske sisteme: umesto da se informacije kontinuirano saopštavaju, one se prenose kao diskretni događaji (šiljci) u određenim vremenskim tačkama.

Otkrili su da je katastrofalno zaboravljanje ublaženo kada su mreže za skokove obučene za novi zadatak, ali sa povremenim periodima van mreže koji su imitirali san. Kao i ljudski mozak, rekli su autori studije, „spavanje“ za mreže im je omogućilo da reprodukuju stara sećanja bez eksplicitnog korišćenja starih podataka o obuci.

Sećanja su u ljudskom mozgu predstavljena obrascima sinaptičke težine — jačinom ili amplitudom veze između dva neurona.

„Kada saznamo nove informacije“, rekao je Baženov, „neuroni se aktiviraju određenim redosledom i to povećava sinapse između njih. Tokom sna, obrasci skokova naučeni tokom našeg budnog stanja se spontano ponavljaju. To se zove reaktivacija ili ponavljanje.

„Sinaptička plastičnost, sposobnost da se menja ili oblikuje, još uvek je na mestu tokom spavanja i može dodatno poboljšati sinaptičke obrasce težine koji predstavljaju pamćenje, pomažući da se spreči zaborav ili da se omogući prenos znanja sa starih na nove zadatke.

Kada su Bazhenov i kolege primenili ovaj pristup na veštačke neuronske mreže, otkrili su da je pomogao mrežama da izbegnu katastrofalno zaboravljanje.

„To je značilo da ove mreže mogu kontinuirano da uče, poput ljudi ili životinja. Razumevanje kako ljudski mozak obrađuje informacije tokom spavanja može pomoći u povećanju memorije kod ljudi. Povećanje ritma spavanja može dovesti do boljeg pamćenja.

„U drugim projektima koristimo kompjuterske modele da bismo razvili optimalne strategije za primenu stimulacije tokom spavanja, kao što su zvučni tonovi, koji poboljšavaju ritmove spavanja i poboljšavaju učenje. Ovo može biti posebno važno kada pamćenje nije optimalno, kao što je kada pamćenje opada starenjem ili u nekim stanjima kao što je Alchajmerova bolest.

Koautori su: Rian Golden i Jean Erik Delanois, obojica na UC San Diego; i Pavel Sanda, Institut za kompjuterske nauke Češke akademije nauka.