Konverzacijski agenti (CA) kao što su Aleksa i Siri su dizajnirani da odgovaraju na pitanja, daju sugestije—i čak pokazuju empatiju. Međutim, nova istraživanja otkrivaju da su lošiji u poređenju sa ljudima kada tumače i istražuju korisničko iskustvo.
CA se pokreću pomoću velikih jezičkih modela (LLM) koji unose ogromne količine podataka koje su proizveli ljudi, i stoga mogu biti skloni istim pristrasnostima kao i ljudi od kojih informacije dolaze.
Istraživači sa Univerziteta Kornel, Olin koledža i Univerziteta Stanford testirali su ovu teoriju podstičući CA da pokažu empatiju dok razgovaraju sa ili oko 65 različitih ljudskih identiteta.
Tim je otkrio da CA donose vrednosne sudove o određenim identitetima – kao što su gej i muslimani – i da mogu ohrabriti identitete povezane sa štetnim ideologijama, uključujući nacizam.
„Mislim da bi automatizovana empatija mogla da ima ogroman uticaj i ogroman potencijal za pozitivne stvari — na primer, u obrazovanju ili zdravstvenom sektoru“, rekla je glavni autor Andrea Kuadra, sada postdoktorski istraživač na Stanfordu.
„Izuzetno je malo verovatno da se to (automatizovana empatija) neće desiti“, rekla je ona, „zato je važno da dok se to dešava, imamo kritičke perspektive kako bismo bili namerniji u ublažavanju potencijalne štete“.
Cuadra će predstaviti „Iluzija empatije? Beleške o prikazima emocija u interakciji između čoveka i računara“ na CHI ’24, konferenciji Udruženja računarskih mašina o ljudskim faktorima u računarskim sistemima, 11-18. maja u Honoluluu. Koautori istraživanja na Univerzitetu Kornel su bili Nikola Del, vanredni profesor; Deborah Estrin, profesor računarstva; i Malte Jung, vanredni profesor informacionih nauka.
Istraživači su otkrili da, generalno, LLM dobijaju visoke ocene za emocionalne reakcije, ali niske ocene za tumačenja i istraživanja. Drugim rečima, LLM su u stanju da odgovore na upit na osnovu svoje obuke, ali nisu u stanju da kopaju dublje.
Del, Estrin i Jung su rekli da su bili inspirisani da razmisle o ovom radu dok je Cuadra proučavao upotrebu CA-a prethodne generacije od strane starijih odraslih osoba.
„Ona je bila svedok intrigantne upotrebe tehnologije u transakcijske svrhe, kao što su procene zdravlja, kao i za otvorena iskustva sećanja“, rekao je Estrin. „Usput je primetila jasne primere napetosti između ubedljive i uznemirujuće ’empatije’.
