ChatGPT može postići skoro 60% prolaznog praga za ispit za medicinsko licenciranje Sjedinjenih Država (USMLE), sa odgovorima koji imaju koherentan, interni smisao i sadrže česte uvide, prema studiji objavljenoj 9. februara 2023. pristupite časopisu PLOS Digital Health od Tiffani Kung, Victor Tsenga i kolega u AnsibleHealth-u.
ChatGPT je novi sistem veštačke inteligencije (AI), poznat kao model velikog jezika (LLM), dizajniran da generiše pisanje poput čoveka predviđanjem predstojećih sekvenci reči. Za razliku od većine chatbotova, ChatGPT ne može da pretražuje internet. Umesto toga, generiše tekst koristeći odnose reči predviđene njegovim unutrašnjim procesima.
Kung i kolege su testirali performanse ChatGPT-a na USMLE-u, visoko standardizovanoj i regulisanoj seriji od tri ispita (Koraci 1, 2CK i 3) potrebnih za dobijanje medicinske licence u Sjedinjenim Državama. Uzimano od strane studenata medicine i lekara na obuci, USMLE procenjuje znanje koje obuhvata većinu medicinskih disciplina, u rasponu od biohemije, preko dijagnostičkog zaključivanja, do bioetike.
Nakon skrininga za uklanjanje pitanja zasnovanih na slikama, autori su testirali softver na 350 od 376 javnih pitanja dostupnih od izdanja USMLE juna 2022.
Nakon što su neodređeni odgovori uklonjeni, ChatGPT je postigao između 52,4% i 75,0% na tri USMLE ispita. Prag za prolaz svake godine je otprilike 60%. ChatGPT je takođe pokazao 94,6% podudarnosti u svim svojim odgovorima i proizveo je najmanje jedan značajan uvid (nešto što je bilo novo, neočigledno i klinički validno) za 88,9% svojih odgovora. Značajno je da je ChatGPT nadmašio performanse PubMedGPT, analognog modela obučenog isključivo za literaturu iz biomedicinskog domena, koji je postigao 50,8% na starijem skupu podataka pitanja u stilu USMLE.
Iako je relativno mala veličina unosa ograničila dubinu i opseg analiza, autori primećuju da njihovi nalazi pružaju uvid u potencijal ChatGPT-a da unapredi medicinsko obrazovanje, a na kraju i kliničku praksu. Na primer, dodaju oni, kliničari u AnsibleHealth-u već koriste ChatGPT za prepisivanje izveštaja sa velikim žargonom radi lakšeg razumevanja pacijenata.
„Postizanje prolaznog rezultata za ovaj ozloglašeno težak stručni ispit, i to bez ikakvog ljudskog pojačanja, označava značajnu prekretnicu u kliničkom sazrevanju veštačke inteligencije“, kažu autori.
Autorka dr Tifani Kung je dodala da uloga ChatGPT-a u ovom istraživanju prevazilazi samo predmet proučavanja: „ChatGPT je značajno doprineo pisanju [našeg] rukopisa… Interagovali smo sa ChatGPT-om slično kao sa kolegama, tražeći od njega da sintetizuje, pojednostavi i ponudite kontrapunktove nacrtima u toku… Svi koautori su cenili doprinos ChatGPT-a.“
