Modeli izgrađeni na mašinskom učenju u zdravstvenoj zaštiti mogu biti žrtve sopstvenog uspeha, tvrde istraživači sa Medicinskog fakulteta Ikan i Univerziteta u Mičigenu. Njihova studija je procenila uticaj primene prediktivnih modela na kasniji učinak tih i drugih modela.
Njihovi nalazi — da korišćenje modela za prilagođavanje načina pružanja nege može promeniti osnovne pretpostavke na kojima su modeli „obučavani“, često na gore – detaljno su opisani u onlajn izdanju Annals of Internal Medicine od 9. oktobra.
„Želeli smo da istražimo šta se dešava kada se model mašinskog učenja primeni u bolnici i dozvoli mu da utiče na odluke lekara za opštu dobrobit pacijenata“, kaže prvi i odgovarajući autor Akhil Vaid, MD, klinički instruktor digitalne medicine zasnovane na podacima (D3M), deo odeljenja za medicinu na Icahn Mount Sinai.
„Na primer, nastojali smo da razumemo šire posledice kada je pacijent pošteđen neželjenih ishoda kao što su oštećenje bubrega ili smrtnost. Modeli veštačke inteligencije poseduju kapacitet da nauče i uspostave korelacije između dolaznih podataka o pacijentima i odgovarajućih ishoda, ali korišćenje ovih modela, Definicija, može promeniti ove odnose. Problemi nastaju kada se ovi izmenjeni odnosi ponovo uhvate u medicinsku dokumentaciju.“
Studija je simulirala scenarije kritične nege u dve glavne zdravstvene ustanove, zdravstvenom sistemu Mount Sinai u Njujorku i Beth Israel Deaconess Medical Center u Bostonu, analizirajući 130.000 primljenih u kritičnu negu. Istraživači su istraživali tri ključna scenarija:
Trenutna praksa predlaže modele prekvalifikacije za rešavanje degradacije performansi tokom vremena. Prekvalifikacija može poboljšati učinak u početku prilagođavanjem promenljivim uslovima, ali studija Mount Sinai pokazuje da može paradoksalno da dovede do dalje degradacije narušavanjem naučenih odnosa između prezentacije i ishoda.
Praćenje predviđanja modela može spasiti pacijente od neželjenih ishoda kao što je sepsa. Međutim, smrt može uslediti nakon sepse, a model efikasno radi na sprečavanju oboje. Svi novi modeli koji će se razviti u budućnosti za predviđanje smrti sada će takođe biti podložni poremećenim odnosima kao i ranije. Pošto ne znamo tačne odnose između svih mogućih ishoda, bilo koji podaci o pacijentima koji imaju negu pod uticajem mašinskog učenja mogu biti neprikladni za korišćenje u obučavanju daljih modela.
Ako dva modela istovremeno predviđaju, korišćenje jednog skupa predviđanja čini drugi zastarelim. Stoga, predviđanja treba da se zasnivaju na sveže prikupljenim podacima, koji mogu biti skupi ili nepraktični.
„Naši nalazi pojačavaju složenost i izazove održavanja prediktivnih performansi modela u aktivnoj kliničkoj upotrebi“, kaže ko-stariji autor Karandeep Singh, MD, vanredni profesor za učenje o zdravstvenim naukama, internu medicinu, urologiju i informacije na Univerzitetu u Mičigenu. „Performanse modela mogu dramatično pasti ako se populacija pacijenata promeni u svom sastavu. Međutim, dogovorene korektivne mere mogu se potpuno raspasti ako ne obratimo pažnju na to šta modeli rade — ili tačnije, na ono iz čega uče.“
„Ne treba da gledamo na prediktivne modele kao na nepouzdane“, kaže ko-stariji autor Girish Nadkarni, MD, MPH, Irene i dr Artur M. Fishberg, profesor medicine na Icahn Mount Sinai, direktor Instituta za personalizovanu medicinu Charles Bronfman, i Šef sistema za digitalnu medicinu vođenu podacima.
„Umesto toga, radi se o prepoznavanju da ovi alati zahtevaju redovno održavanje, razumevanje i kontekstualizaciju. Zanemarivanje njihovih performansi i praćenja uticaja može ugroziti njihovu efikasnost. Moramo promišljeno da koristimo prediktivne modele, baš kao i svaki drugi medicinski alat. Zdravstveni sistemi za učenje moraju da obrate pažnju na činjenica da će neselektivna upotreba i ažuriranja takvih modela izazvati lažne uzbune, nepotrebno testiranje i povećane troškove.“
„Preporučujemo da zdravstveni sistemi odmah implementiraju sistem za praćenje pojedinaca na koje utiču predviđanja mašinskog učenja i da relevantne vladine agencije izdaju smernice“, kaže dr Vaid. „Ovi nalazi su podjednako primenljivi i van okvira zdravstvene zaštite i proširuju se na prediktivne modele uopšte. Kao takvi, živimo u svetu modela-jede-modela gde svaki naivno primenjeni model može poremetiti funkciju sadašnjih i budućih modela, i na kraju dovesti do sama po sebi beskorisna.“
