Internet, a posebno društveni mediji, eksponencijalno su porasli tokom poslednjih decenija. Priroda društvenih medija omogućava svakome da ide na mrežu i kreira sadržaj koji smatra zanimljivim, bez obzira da li je prikladan ili ne. Jedan oblik neprikladnog sadržaja je govor mržnje – uvredljivi ili preteći govor koji cilja na određene ljude na osnovu njihove etničke pripadnosti, veroispovesti, seksualne orijentacije i slično.
Modeli otkrivanja govora mržnje su računarski sistemi koji mogu da identifikuju i klasifikuju onlajn komentare kao govor mržnje.
„Ovi modeli su ključni u moderiranju onlajn sadržaja i ublažavanju širenja štetnog govora, posebno na društvenim medijima“, rekao je docent Roi Lee sa Singapurskog univerziteta za tehnologiju i dizajn (SUTD). Procena performansi modela za otkrivanje govora mržnje je važna, ali tradicionalna evaluacija korišćenjem skupova testova koji se zadržavaju često ne uspeva da pravilno proceni performanse modela zbog inherentne pristrasnosti unutar skupova podataka.
Da bi se prevazišlo ovo ograničenje, HateCheck i Multilingual HateCheck (MHC) su uvedeni kao funkcionalni testovi koji obuhvataju složenost i raznolikost govora mržnje simulacijom scenarija iz stvarnog sveta. U svom istraživačkom radu pod nazivom „SGHateCheck: Funkcionalni testovi za otkrivanje govora mržnje na jezicima sa niskim resursima u Singapuru“, doc. Profesor Li i njegov tim nadograđuju se na okvire HateCheck-a i MHC-a kako bi razvili SGHateCheck, alatku sa veštačkom inteligencijom (AI) koja može da razlikuje komentare mržnje i komentare bez mržnje u specifičnom kontekstu Singapura i jugoistočne Azije.
Rad se pojavljuje u Zborniku radova 8. radionice o zlostavljanju i šteti na mreži (VOAH 2024).
Bilo je neophodno kreirati alat za evaluaciju specifično za jezički i kulturni kontekst regiona. To je zato što su trenutni modeli otkrivanja govora mržnje i skupovi podataka uglavnom zasnovani na zapadnim kontekstima, koji ne predstavljaju tačno specifičnu društvenu dinamiku i probleme u jugoistočnoj Aziji.
„SGHateCheck ima za cilj da reši ove nedostatke tako što će obezbediti funkcionalne testove prilagođene specifičnim potrebama regiona, obezbeđujući tačnije i kulturološki osetljivije otkrivanje govora mržnje“, rekao je doc. Prof. Lee.
Za razliku od HateCheck-a i MHC-a, SGHateCheck koristi velike jezičke modele (LLM) za prevođenje i parafraziranje test slučajeva na četiri glavna jezika Singapura—engleski, mandarinski, tamilski i malajski. Izvorni anotatori zatim preciziraju ove testne slučajeve kako bi osigurali kulturnu relevantnost i tačnost. Krajnji rezultat je preko 11.000 test slučajeva koji su precizno označeni kao mržnja ili ne mržnja, što omogućava nijansiraniju platformu za procenu modela detekcije govora mržnje.
Štaviše, iako MHC uključuje mnoge jezike, on nema isti nivo regionalne specifičnosti kao SGHateCheck. Sveobuhvatna lista funkcionalnih testova prilagođenih specifičnim jezičkim karakteristikama regiona (na primer, Singlish) uparena sa stručnim uputstvima osigurava da su SGHateCheck testovi korisni i relevantni.
„Ovaj regionalni fokus omogućava SGHateCheck-u da preciznije uhvati i proceni manifestacije govora mržnje koje možda neće biti adekvatno rešene u širim, opštijim okvirima“, naglasio je doc. Prof. Lee.
Tim je takođe otkrio da su LLM obučeni za jednojezične skupove podataka često pristrasni prema klasifikacijama koje ne izazivaju mržnju. S druge strane, LLM obučeni za višejezične skupove podataka imaju uravnoteženiji učinak i mogu preciznije otkriti govor mržnje na različitim jezicima zbog izloženosti širem spektru jezičkih izraza i kulturnih konteksta. Ovo naglašava važnost uključivanja kulturno raznolikih i višejezičnih podataka o obuci za aplikacije u višejezičnim regionima.
SGHateCheck je posebno razvijen za rešavanje problema iz stvarnog sveta u jugoistočnoj Aziji. Spremna je da igra značajnu ulogu tako što će poboljšati otkrivanje i moderiranje govora mržnje u onlajn okruženjima u ovim regionima, pomažući da se podstakne poštovanje i inkluzivniji onlajn prostor. Društveni mediji, onlajn forumi i platforme zajednice, vesti i medijske veb stranice su samo neke od mnogih oblasti u kojima će implementacija SGHateCheck-a biti dragocena.
Na sreću, nova aplikacija za moderiranje sadržaja koja koristi SGHateCheck je već na Asst. Lista budućih planova prof. Takođe ima za cilj da proširi SGHateCheck i na druge jezike jugoistočne Azije kao što su tajlandski i vijetnamski.
SGHateCheck pokazuje kako SUTD-ov etos integracije najsavremenijih tehnoloških dostignuća sa promišljenim principima dizajna može dovesti do uticajnih rešenja u stvarnom svetu. Korišćenjem dizajna, veštačke inteligencije i tehnologije, SGHateCheck je razvijen da analizira lokalne jezike i društvenu dinamiku kako bi se zadovoljile specifične društvene potrebe.
„Fokusirajući se na stvaranje alata za otkrivanje govora mržnje koji nije samo tehnološki sofisticiran već i kulturološki osetljiv, studija naglašava važnost pristupa usredsređenog na čoveka u tehnološkom istraživanju i razvoju“, rekao je doc. Prof. Lee.
