Veliki jezički modeli (LLM) kao što je ChatGPT mogu da odgovore na oftalmološka pitanja napisana od strane pacijenata i obično generišu odgovarajuće odgovore, prema studiji objavljenoj na mreži 22. avgusta u JAMA Netvork Open.
Isaac A. Bernstein, sa Univerziteta Stanford u Kaliforniji, i njegove kolege su ispitali kvalitet oftalmoloških saveta koje je generisao LLM chatbot u poređenju sa savetima koje je napisao oftalmolog. Studija je koristila deidentifikovane podatke sa medicinskog foruma na mreži, na kojem su na pitanja pacijenata davali odgovore oftalmolozi. Od maskiranog panela od osam oftalmologa sa sertifikatom odbora zatraženo je da napravi razliku između odgovora koje je generisao ChatGPT chatbot i odgovora oftalmologa.
Ocenjeno je dve stotine parova korisničkih pitanja i odgovora. Istraživači su otkrili da je srednja tačnost bila 61,3 odsto za razlikovanje veštačke inteligencije (AI) i ljudskih odgovora. Od 800 procena odgovora koje je napisao četbot, 21,0 i 64,6 procenata je označeno kao napisano od ljudi i AI-a, respektivno. Odgovori četbotova su češće ocenjeni kao verovatno ili definitivno napisani od strane veštačke inteligencije u poređenju sa ljudskim odgovorima. Verovatnoća da odgovori četbotova sadrže netačan ili neprikladan materijal i verovatnoća štete bila je uporediva sa ljudskim odgovorima.
„Nameravamo da ova studija katalizuje opsežniji i nijansiraniji dijalog i zajedničke napore oko upotrebe LLM-a u oftalmologiji među različitim zainteresovanim stranama u zdravstvenoj zaštiti, uključujući pacijente, kliničare, istraživače i kreatore politike“, pišu autori. „Primarni cilj je razborito iskoristiti ove rane nalaze istraživanja kako bi se oblikovala odgovorna implementacija LLM-a u oblasti oftalmologije.“
