Proučavanje ljudi u istraživanju interakcije između ljudi i računara (HCI) može biti sporo. Zbog toga su istraživači iz Finskog centra za veštačku inteligenciju (FCAI) nedavno iskoristili moć modela velikih jezika (LLM), posebno GPT-3, da generišu otvorene odgovore na pitanja o iskustvu igrača u video igricama.
Ovi odgovori generisani od veštačke inteligencije često su bili ubedljiviji, kako su ih ocenili ljudi, nego stvarni odgovori. Ovi sintetički intervjui nude novi pristup brzom i po niskoj ceni prikupljanja podataka, što može pomoći u brzoj iteraciji i početnom testiranju dizajna studija i cevovoda za analizu podataka. Međutim, svi nalazi zasnovani na podacima generisanim veštačkom inteligencijom takođe treba da budu potvrđeni stvarnim podacima.
Istraživači, sa sedištem na Univerzitetu Aalto i Univerzitetu u Helsinkiju, otkrili su neke suptilne razlike u različitim verzijama GPT-3 koje su uticale na raznolikost odgovora generisanih AI. Ali još obeshrabrujuća implikacija je da podaci sa popularnih platformi za crovdsourcing sada mogu automatski biti sumnjivi, jer je odgovore generisane veštačkom inteligencijom teško razlikovati od stvarnih.
Amazonov Mechanical Turk (MTurk), na primer, može da hostuje ankete ili istraživačke zadatke za HCI, psihologiju ili srodne naučne oblasti i plaća korisnicima za učešće, ali „sada kada je LLM-ovima tako lako pristupiti, svi podaci koji su sami prijavili sa interneta više im se ne može verovati. Ekonomski podsticaji mogu da nateraju zlonamerne korisnike da zapošljavaju botove i LLM da bi generisali visokokvalitetne lažne odgovore“, kaže vanredni profesor Univerziteta Aalto Pertu Hamalajnen.
Jasne su implikacije sintetičkih podataka na anonimnost, privatnost i zaštitu podataka u oblasti medicine i sličnih domena. Međutim, u domenu HCI, ili šire nauke, sintetički intervjui i veštački eksperimenti postavljaju pitanja o pouzdanosti pristupa crovdsourcinga koji nastoji da prikupi korisničke podatke na mreži.
„LLM-ovi ne mogu i ne treba da zamene stvarne učesnike, ali sintetički podaci mogu biti korisni za početno istraživanje i pilotiranje istraživačkih ideja“, sugeriše Hamalainen. „Možda je vreme da se napuste platforme kao što je Mturk za prikupljanje stvarnih podataka i da se vratimo laboratorijskim studijama.
Istraživanje je objavljeno u Proceedings of the CHI Conference on Human Factors in Computing Sistems 2023. godine.
