Istraživači sa Instituta za informacione nauke USC Viterbi razvijaju algoritam koji uči mašine da uče bez ljudskog nadzora.
„Uopšteno govoreći, mašinsko učenje je nauka o učenju mašina da deluju slično ljudima“, rekao je Mohamed Rostami, vođa istraživanja na Institutu za informacione nauke (ISI) USC Viterbi. Podučavanje mašina da uče bez ikakvog nadzora od strane ljudi je tema njegovog najnovijeg rada, Prevazilaženje promene koncepta u postavkama svesnim na domen kroz konsolidovane interne distribucije, koji je predstavio na 37. AAAI konferenciji o veštačkoj inteligenciji, održanoj u Vašingtonu, DC, februara. 7-14, 2023.
Rostami je objasnio kako se mašinsko učenje obično radi: „Prikupljamo podatke koje su obeležili ljudi, a zatim učimo mašinu kako da se ponaša slično ljudima s obzirom na te podatke. Problem na koji nailazimo je da je znanje koje mašina dobija ograničeno na skup podataka koji je korišćen za obuku“. Pored toga, skup podataka koji se koristi za obuku često nije dostupan nakon završetka procesa obuke.
Rezultirajući izazov? Ako mašina primi unos koji se dovoljno razlikuje od podataka na kojima je obučena, mašina se zbuni i neće delovati slično čoveku.
Rostami je dao primer: „Postoji mnogo kategorija pasa, različite vrste pasa vizuelno nisu mnogo slične, a raznolikost je značajna. Ako trenirate mašinu da kategoriše pse, njeno znanje je ograničeno na uzorke koje ste koristili za obuku . Ako imate novu kategoriju pasa koja nije među uzorcima za obuku, mašina neće moći da nauči da je to nova vrsta psa.“
Zanimljivo je da su ljudi bolji u tome od mašina. Kada se ljudima da nešto za kategorizaciju, ako im se da samo nekoliko uzoraka u novoj kategoriji (tj., nova rasa pasa), oni se prilagođavaju i uče šta je ta nova kategorija. Rostami je rekao: „šestogodišnje dete može da nauči novu kategoriju koristeći dva, tri ili četiri uzorka, za razliku od većine modernih tehnika mašinskog učenja koje zahtevaju najmanje nekoliko stotina uzoraka da bi naučili tu novu kategoriju.
Često se ne radi o učenju potpuno novih kategorija, već o mogućnosti prilagođavanja kako se postojeće kategorije menjaju.
Ako mašina nauči kategoriju tokom treninga, a zatim tokom vremena pretrpi neke promene (tj. dodavanje nove potkategorije), Rostami se nada da će uz njegovo istraživanje mašina moći da nauči ili proširi pojam šta ta kategorija je, (tj. uključiti novu potkategoriju).
Promena prirode kategorije je ono što je poznato kao „promena koncepta“. Koncept o tome šta je kategorija menja se tokom vremena. Rostami je ponudio još jedan primer iz stvarnog sveta: folder neželjene pošte.
Objasnio je: „Vaša usluga e-pošte ima model da kategorizuje vaše prijemno sanduče u legitimne imejlove i nepoželjne e-poruke. Obučena je da identifikuje neželjenu poštu pomoću određenih funkcija. Na primer, ako imejl nije adresiran na vas lično, veća je verovatnoća da će to je Spam.“
Nažalost, pošiljaoci neželjene pošte su svesni ovih modela i stalno dodaju nove funkcije kako bi prevarili modele, kako bi sprečili da njihova e-pošta bude kategorisana kao neželjena pošta.
Rostami je nastavio, „to znači da se definicija ‘nepoželjne pošte’ menja tokom vremena. To je definicija koja zavisi od vremena. Koncept je isti—imate koncept ‘neželjene pošte’—ali vremenom se definicija i detalji o konceptu menjaju To je promena koncepta.“
U svom radu, Rostami je razvio metod za obuku modela mašinskog učenja koji se bavi ovim pitanjima.
Pošto originalni podaci o obuci nisu uvek dostupni, Rostamijeva metoda se ne oslanja na te podatke. Koautor i glavni naučnik ISI Aram Galstijan objasnio je kako, „Model uči distribuciju starih podataka u latentnom prostoru, zatim može da generiše latentnu reprezentaciju, skoro kao generisanje sintetičkog skupa podataka učenjem reprezentacije starih podataka. “
Zbog toga, model može zadržati ono što je naučeno u početnoj fazi obuke, što mu omogućava da se tokom vremena prilagodi i nauči nove kategorije i potkategorije.
To takođe, što je važno, znači da neće zaboraviti originalne podatke o obuci ili ono što je iz njih naučilo. Ovo je glavni problem u mašinskom učenju. Galstijan je objasnio: „Kada trenirate novi model, on može zaboraviti na neke obrasce koji su ranije bili korisni. Ovo je poznato kao katastrofalno zaboravljanje“, rekao je Galstijan.
Sa pristupom razvijenim u ovom radu, Galstijan je rekao da se „katastrofalno zaboravljanje implicitno rešava jer uvodimo korespondenciju između stare distribucije podataka i nove. Dakle, naš model neće zaboraviti staru“.
Rostami i Galstijan su zadovoljni rezultatima, posebno zato što se ne oslanja na dostupnost izvornih podataka. Galstijan je rekao: „Bio sam prijatno iznenađen kada sam video da je model povoljno u poređenju sa većinom najsavremenijih postojećih osnova.“
Rostami i Galstian planiraju da nastave svoj rad na ovom konceptu i primene predloženi metod na probleme u stvarnom svetu.
