U eri povećane zabrinutosti u akademskoj zajednici u vezi sa esejima generisanim veštačkom inteligencijom, postoje umirujuće vesti sa Univerziteta u Kanzasu.
Istraživači su razvili detektor teksta sa veštačkom inteligencijom za naučne eseje koji može da razlikuje sadržaj pisanog od ljudi i sadržaja generisanog računarom skoro 100% vremena.
U studiji koja se pojavila 6. novembra, profesorka Heder Dezer je primetila da, iako je trenutno dostupno nekoliko detektora veštačke inteligencije za opšti sadržaj, nijedan nije posebno dobar kada se primeni na naučne radove.
„Većina polja analize teksta želi zaista opšti detektor koji će raditi na bilo čemu“, rekao je Desaire. Umesto toga, njen tim se fokusirao na izveštaje napisane posebno za naučne časopise na temu hemije.
„Zaista smo težili preciznosti“, rekla je ona.
Detektor tima je obučen u časopisima koje izdaje Američko hemijsko društvo. Prikupili su 100 uvodnih pasusa čiji su autori profesionalci, a zatim programirali ChatGPT da napiše sopstvene uvode na osnovu sažetaka časopisa ili jednostavno na naslovima izveštaja.
Kada je ChatGPT detektor skenirao tri kategorije izveštaja, tačno je identifikovao odlomke koje su napisali ljudi 100% vremena, kao i izveštaje generisane na osnovu upita uključujući samo naslove izveštaja. Rezultati su bili skoro jednako dobri sa izveštajima koji su se oslanjali na uvodne pasuse, sa tačnom identifikacijom u 98% vremena.
Konkurentski klasifikator kao što je ZeroGPT, koji se može pohvaliti preciznošću od 98% za otkrivanje opštih eseja napisanih veštačkom inteligencijom, ipak je loše prošao kada su u pitanju izveštaji vezani za hemiju. Postigao je samo prosečnu stopu tačnosti od 37% na istim izveštajima na osnovu naslova, i samo nekoliko procentnih poena bolji u izveštajima zasnovanim na uvodnom tekstu.
Drugi konkurent, OpenAI, prošao je još gore, ne uspevajući da pravilno identifikuje autorstvo eseja u proseku 80% vremena.
„Akademski izdavači se bore sa brzim i sveprisutnim usvajanjem novih generatora teksta veštačke inteligencije“, rekao je Desaire. „Ovaj novi detektor će omogućiti naučnoj zajednici da proceni infiltraciju ChatGPT-a u hemijske časopise, identifikuje posledice njegove upotrebe i brzo uvede strategije za ublažavanje kada se pojave problemi.
Naučni časopisi ponovo pišu svoja pravila u vezi sa podnošenjem članaka, pri čemu većina zabranjuje izveštaje generisane veštačkom inteligencijom i zahteva otkrivanje svih drugih procesa veštačke inteligencije koji se koriste za sastavljanje izveštaja.
Desaire je naveo nekoliko zabrinutosti u vezi sa rizicima infiltriranja sadržaja generisanog veštačkom inteligencijom u naučne časopise: „Njihova prekomerna upotreba može dovesti do poplave marginalno vrednih rukopisa. Oni bi mogli da dovedu do toga da visoko citirani radovi budu preterano zastupljeni i novi radovi, koji još uvek nisu dobro poznati , da se ignoriše“.
„Najviše zabrinjava“, dodala je ona, „da li ovi alati imaju tendenciju ka ‘halucinaciji’, izmišljanju činjenica koje nisu istinite.“
Kao ilustraciju, Desaire je uključio ličnu anegdotu o rezultatima biografske skice o njoj koju je napisao ChatGPT. U njemu se navodi da je „diplomirala na Univerzitetu u Minesoti, da je član Kraljevskog hemijskog društva i da je osvojila Bimanovu medalju“. Impresivna dostignuća, ali sve lažno.
„Iako je ovaj primer zabavan“, rekao je Dezer, „infiltriranje neistinama u naučnu literaturu je daleko od smešnog“.
Ali ona ostaje optimistična. Neki kažu da je otpor pojavljivanju sadržaja generisanog veštačkom inteligencijom neizbežan, rekla je ona, i tvrde da „razvijanje alata poput ovog učestvuje u trci u naoružanju [protiv veštačke inteligencije] u kojoj ljudi neće pobediti“.
Rekla je da urednici moraju preuzeti vodeću ulogu u otkrivanju kontaminacije AI.
„Časopisi bi trebalo da preduzmu razumne korake kako bi osigurali da se poštuju njihove politike o pisanju veštačke inteligencije, a mi mislimo da je u potpunosti izvodljivo ostati ispred problema otkrivanja veštačke inteligencije“, rekla je ona.
