U istraživanju koje je objavljeno u časopisu BMJ Open, tim od sedam istraživača testirao je pet najpopularnijih chatbota, uključujući ChatGPT, Gemini, Grok, Meta AI i DeepSeek. Postavili su im 50 pitanja iz oblasti zdravlja i medicine, uključujući teme kao što su rak, vakcine, matične ćelije, ishrana i sportske performanse.
Dva stručnjaka su nezavisno ocenila svaki odgovor. Otkrili su da je skoro 20% odgovora bilo veoma problematično, polovina je bila problematična, dok je 30% bilo donekle problematično. Nijedan od chatbota nije pouzdano pružio potpuno tačne reference, a samo su dva od 250 pitanja odbijena.
Performanse chatbota varirale su po temama. Najbolje su se snašli u pitanjima o vakcinama i raku, ali su i dalje davali problematične odgovore u oko četvrtine slučajeva. Najlošije su se pokazali u oblastima ishrane i sportskih performansi, gde je dostupno mnogo kontradiktornih saveta.
Otvorena pitanja su predstavljala najveći izazov, sa 32% veoma problematičnih odgovora, dok je za zatvorena pitanja taj procenat bio samo 7%. Ovo je važno jer većina stvarnih zdravstvenih upita nije jasno definisana.
Istraživači su primetili da chatboti ne znaju stvari, već predviđaju najverovatniju reč na osnovu podataka na kojima su trenirani. Njihovi treninzi uključuju naučne radove, ali i sadržaje sa društvenih mreža i blogova.
Iako su rezultati istraživanja zabrinjavajući, chatboti mogu biti korisni za sumiranje složenih tema i pripremu pitanja za lekare. Međutim, važno je ne smatrati ih samostalnim medicinskim autoritetima i uvek proveriti informacije koje pružaju.
