Tim medicinskih istraživača na Medicinskom i stomatološkom fakultetu Univerziteta Zapadni univerzitet otkrio je da uprkos tome što je obučen za terabajte podataka, LLM ChatGPT i dalje nije dobar u dijagnosticiranju ljudskih bolesti. U svojoj studiji, objavljenoj na sajtu otvorenog pristupa PLOS ONE, grupa je obučila popularnog doktora nauka o 150 studija slučaja i podstakla ga da postavi dijagnozu.
Prethodno istraživanje i anegdotski dokazi su pokazali da LLM kao što je ChatGPT mogu dati impresivne rezultate na nekim upitima, kao što je pisanje ljubavne pesme za devojku, ali takođe može da vrati netačne ili bizarne odgovore. Mnogi na terenu su predložili oprez pri korišćenju rezultata koje je proizveo LLM za važne teme kao što su zdravstveni saveti.
Za ovu novu studiju, tim u Kanadi je procenio koliko dobro bi ChatGPT dijagnostikovao ljudske bolesti ako bi se dobili simptomi stvarnih pacijenata kao što je opisano u stvarnim studijama slučaja. Odabrali su 150 studija slučaja sa Medscape-a, onlajn veb-sajta koji su kreirali i koristili medicinski profesionalci u informativne i obrazovne svrhe, koje je pratila poznata tačna dijagnoza. Oni su obučili ChatGPT 3.5 sa relevantnim podacima, kao što su istorija pacijenta, laboratorijski rezultati i nalazi kancelarijskog pregleda, a zatim su ga pitali za dijagnozu i/ili plan lečenja.
Nakon što je LLM vratio odgovor, istraživački tim je ocenio svoje rezultate na osnovu toga koliko je blizu tačnoj dijagnozi. Takođe su ga ocenili na osnovu toga koliko je dobro izvestio o svom obrazloženju u postizanju svoje dijagnoze, uključujući ponudu citata – važan deo medicinske dijagnostike. Zatim su usredsredili rezultate dobijene za sve studije slučaja i otkrili da je LLM dao tačnu dijagnozu u samo 49% vremena.
Istraživači primećuju da iako je LLM postigao loše rezultate, uradio je dobar posao opisujući kako je došao do svoje dijagnoze – karakteristika, sugeriše tim, koja bi se mogla pokazati korisnom za studente medicine. Takođe su primetili da je LLM bio prilično dobar u isključivanju mogućih oboljenja. Oni zaključuju sugerišući da LLM još uvek nisu spremni za upotrebu u dijagnostičkim postavkama.
