U potrazi za poboljšanjem automatskog praćenja emocija, koje detektuje i prati emocije tokom vremena, grupa istraživača u oblasti interakcije čoveka i računara odlučila je da pristupi zadatku modelovanjem promena u unutrašnjim emocijama, a ne samo tumačenjem spoljašnjih emocionalnih signala.
Koristeći uvide iz psihologije, razvili su evolutivni model tranzicije mentalnog stanja, model koji uključuje mrežu tranzicije mentalnog stanja. Oni su testirali njegovu efikasnost na dva multimodalna skupa podataka o emocijama, dajući primetno tačnije rezultate od postojećih alternativa.
Njihovo istraživanje objavljeno je 8. aprila 2024. u časopisu Inteligentno računarstvo.
Pored tačnosti, još jedna prednost evolucionog modela tranzicije mentalnog stanja za praćenje emocija je njegovo smanjeno vreme računanja i manji otisak. Model ima manje parametara od drugih objavljenih modela, što ga čini „prikladnim za primenu na mobilnim uređajima i robotima“, prema autorima.
Primene praćenja emocija u svakodnevnom životu uključuju praćenje javnog mnjenja, marketinške komunikacije, praćenje mentalnog zdravlja i onlajn edukaciju. Proširenja modela autora mogu se razviti da personalizuju praćenje emocija kako bi se uzele u obzir individualne varijacije u emocionalnim fluktuacijama. Rad u ovom pravcu bi se nadovezao na psihološki realističnu prirodu modela, koji pokušava da uhvati „prirodnu dinamiku emocija i njihov uticaj na mentalna stanja“.
Autorski sistem za praćenje emocija sastoji se od nekoliko koraka:
U modelu tranzicije evolucionog mentalnog stanja, jezik, vizija i akustičke karakteristike se prvo izdvajaju iz podataka i kodiraju, zadržavajući njihov hronološki redosled. Zatim se koriste višeglavi blokovi unakrsne pažnje za spajanje karakteristika u svakom vremenskom koraku; ovo je računarski najintenzivniji korak. Treće, maksimalno objedinjavanje i prosečno udruživanje, dve varijante uobičajene tehnike dubokog učenja, koriste se za smanjenje dimenzionalnosti, a karakteristike se transformišu u spoljašnju emocionalnu energiju u svakom vremenskom koraku.
Konačno, mreža tranzicije mentalnog stanja se koristi za uzimanje u obzir obrazaca promena u emocijama subjekta tokom vremena, kao i spoljašnje emocionalne energije, da bi se odredilo stvarno emocionalno stanje u određenom vremenskom koraku.
Mreža je izgrađena na skupu verovatnoća koje su rezultat podataka prethodno prikupljenih od 200 učesnika o povezanosti između različitih parova emocija. Delimično predviđa emocionalno stanje tako što odmerava doprinose više istovremenih emocija umesto da pretpostavlja da subjekt doživljava samo jednu.
Performanse evolucionog modela tranzicije mentalnog stanja upoređene su sa performansama brojnih osnovnih metoda korišćenjem zadataka klasifikacije zasnovanih na dva velika skupa podataka, skupu podataka CMU Multimodal Opinion Sentiment and Emotion Intensiti i Ren Chinese Emotion Corpus. CMU skup podataka, koji se sastoji od snimljenih monologa na engleskom, identifikuje sreću, tugu, bes, gađenje, iznenađenje i strah. Kineski korpus se sastoji od tekstova blogova i korišćen je za testiranje komponente mreže za prelaz mentalnog stanja.
