Veliki jezički modeli (LLM) su napredni algoritmi dubokog učenja koji mogu analizirati upite na različitim ljudskim jezicima, a zatim generišu realistične i iscrpne odgovore. Ova obećavajuća klasa modela obrade prirodnog jezika (NLP) postala je sve popularnija nakon objavljivanja ChatGPT platforme Open AI, koja može brzo da odgovori na širok spektar upita korisnika i generiše ubedljive pisane tekstove za različite namene.
Kako ovi modeli postaju sve rasprostranjeniji, procena njihovih mogućnosti i ograničenja je od najveće važnosti. Ove evaluacije na kraju mogu pomoći da se razumeju situacije u kojima su LLM najviše ili najmanje korisni, dok takođe identifikuju načine na koje se mogu poboljšati.
Juliann Zhou, istraživač sa Univerziteta u Njujorku, nedavno je sproveo studiju koja je imala za cilj da proceni učinak dva LLM-a obučena da otkrivaju ljudski sarkazam, što podrazumeva prenošenje ideja ironičnim iznošenjem potpuno suprotnog od onoga što neko pokušava da kaže. Njeni nalazi, objavljeni na serveru za preprint arXiv, pomogli su joj da razgraniči karakteristike i algoritamske komponente koje bi mogle poboljšati mogućnosti otkrivanja sarkazma i agenata i robota AI.
„U polju sentimentalne analize obrade prirodnog jezika, sposobnost da se pravilno identifikuje sarkazam je neophodna za razumevanje pravog mišljenja ljudi“, napisala je Džou u svom radu. „Pošto je upotreba sarkazma često zasnovana na kontekstu, prethodna istraživanja su koristila modele predstavljanja jezika, kao što su Support Vector Machine (SVM) i Long Short-Term Memori (LSTM), da bi se sarkazam identifikovao sa informacijama zasnovanim na kontekstu. Nedavne inovacije u NLP je pružio više mogućnosti za otkrivanje sarkazma.“
Analiza osećanja je polje istraživanja koje podrazumeva analizu tekstova koji se obično objavljuju na platformama društvenih medija ili drugim veb-sajtovima kako bi se stekao uvid u to kako se ljudi osećaju o određenoj temi ili proizvodu. Danas mnoge kompanije ulažu u ovu oblast, jer im to može pomoći da shvate kako mogu poboljšati svoje usluge i zadovoljiti potrebe svojih kupaca.
Sada postoji nekoliko NLP modela koji mogu da obrađuju tekstove i predviđaju njihov osnovni emocionalni ton, ili drugim rečima da li izražavaju pozitivne, negativne ili neutralne emocije. Mnoge recenzije i komentari objavljeni na mreži, međutim, sadrže ironiju i sarkazam, što bi moglo navesti modele da ih klasifikuju kao „pozitivne“ kada u stvari izražavaju negativnu emociju, ili obrnuto.
Neki kompjuterski naučnici su stoga pokušavali da razviju modele koji mogu da otkriju sarkazam u pisanim tekstovima. Dva od ovih modela koja najviše obećavaju, nazvana CASCADE i RCNN-RoBERTa, predstavile su 2018. godine različite istraživačke grupe.
„U BERT-u: Pre-trening dubokih dvosmernih transformatora za razumevanje jezika, Džejkob Devlin i ostali (2018) uveli su novi model jezičke reprezentacije i pokazali veću preciznost u tumačenju kontekstualizovanog jezika“, napisao je Džou. „Kao što su predložili Hazarika et al (2018), CASCADE je model vođen kontekstom koji daje dobre rezultate za otkrivanje sarkazma. Ova studija analizira Reddit korpus koristeći ova dva najsavremenija modela i procenjuje njihov učinak u odnosu na osnovne modele da pronađe idealan pristup otkrivanju sarkazma.“
U suštini, Zhou je sproveo niz testova sa ciljem da proceni sposobnost modela CASCADE i RCNN-RoBERTa da otkrije sarkazam u komentarima objavljenim na Redditu, poznatoj onlajn platformi koja se obično koristi za ocenjivanje sadržaja i diskusiju o različitim temama. Sposobnost ova dva modela da otkriju sarkazam u primercima tekstova je takođe upoređena sa prosečnim ljudskim učinkom na ovom istom zadatku (izveštavanom u prethodnom radu) i sa performansama nekoliko osnovnih modela za analizu tekstova.
„Otkrili smo da kontekstualne informacije, kao što su ugrađivanje ličnosti korisnika, mogu značajno poboljšati performanse, kao i ugradnju transformatora RoBERTa, u poređenju sa tradicionalnijim pristupom CNN-a“, zaključila je Džou u svom radu. „S obzirom na uspeh i kontekstualnog i pristupa zasnovanog na transformatoru, kao što je prikazano u našim rezultatima, povećanje transformatora sa dodatnim kontekstualnim informacijama može biti put za buduće eksperimente.“
Rezultati prikupljeni kao deo ove nedavne studije mogli bi uskoro da usmere dalje studije u ovoj oblasti, na kraju doprinoseći razvoju LLM-a koji su bolji u otkrivanju sarkazma i ironije u ljudskom jeziku. Ovi modeli se na kraju mogu pokazati kao izuzetno vredni alati za brzo obavljanje analize sentimenta onlajn recenzija, postova i drugog sadržaja koji generišu korisnici.
