Pre mnogo godina, dok je sedela u čekaonicama, Maital Saar-Tsechanski je počela da se pita kako su ljudi birali dobrog doktora kada nisu imali načina da saznaju rezultate doktora o tačnim dijagnozama. Razgovarajući sa drugim pacijentima, otkrila je da oni ponekad zasnivaju izbore na ličnosti lekara ili čak na kvalitetu svog kancelarijskog nameštaja.
„Shvatio sam da svi ovi signali koje ljudi koriste jednostavno nisu pravi“, kaže Saar-Tsechanski, profesor upravljanja informacijama, rizicima i operacijama u Tekas McCombs. „Radili smo u potpunom mraku, kao da nema transparentnosti o ovim stvarima.
U novom istraživanju, ona koristi veštačku inteligenciju da proceni sudije: da proceni stope po kojima stručnjaci donose uspešne odluke. Njen algoritam za mašinsko učenje može da proceni i doktore i druge vrste stručnjaka – kao što su inženjeri koji dijagnostikuju mehaničke probleme – kada njihove stope uspeha nisu javno dostupne ili nisu ispitane izvan malih grupa vršnjaka.
„Okvir mašinskog učenja za procenu kvaliteta odluka stručnjaka“ je objavljen u Management Science.
Prethodno istraživanje je proučavalo koliko su tačne dijagnoze doktora, ali ne na načine koji se mogu povećavati ili pratiti na stalnoj osnovi, kaže Saar-Tsechanski.
Efikasnije metode su danas od vitalnog značaja, dodaje ona, kada medicinski sistemi koriste veštačku inteligenciju da pomognu u dijagnozi. Biće teško utvrditi da li AI pomaže ili šteti uspešnim dijagnozama ako posmatrači ne mogu da kažu koliko je lekar bio uspešan bez pomoći veštačke inteligencije.
Sa doktorandom McCombs Vankue Dongom i Tomerom Gevom sa Univerziteta u Tel Avivu u Izraelu, Saar-Tsechanski je kreirao algoritam koji nazivaju MDE-HIB. On integriše dva oblika informacija: ukupne podatke o kvalitetu prošlih odluka stručnjaka i detaljnije procene konkretnih slučajeva.
Zatim su uporedili rezultate MDE-HIB-a sa drugim vrstama evaluatora: tri alternativna algoritma i 40 ljudi-recenzenata. Da bi se testirala fleksibilnost MDE-HIB ocena, analizirane su tri veoma različite vrste podataka: revizije poreza na promet, neželjena pošta i onlajn recenzije filmova na IMDb-u.
U svakom slučaju, ocenjivači su procenili prethodne odluke koje su doneli stručnjaci o podacima: na primer, da li su tačno klasificirali recenzije filmova kao pozitivne ili negativne. U sva tri seta, MDE-HIB je izjednačio ili nadmašio sve izazivače.
Istraživači su takođe testirali MDE-HIB na prvobitnoj zabrinutosti Saar-Tsečanskog: odabiru doktora na osnovu istorije doktora o tačnim dijagnozama. U poređenju sa lekarima izabranim drugim algoritmom, MDE-HIB je smanjio prosečnu stopu pogrešne dijagnoze za 41%.
U stvarnoj upotrebi, takva razlika bi mogla dovesti do boljih ishoda pacijenata i nižih troškova, kaže ona.
Ona upozorava da je MDE-HIB-u potrebno više rada pre nego što ga stavi u takvu praktičnu upotrebu. „Glavna svrha ovog rada bila je da se ova ideja iznese tamo, da navede ljude da razmišljaju o tome, i nadamo se da će ljudi poboljšati ovu metodu“, kaže ona.
Ali ona se nada da će to jednog dana pomoći menadžerima i regulatorima da prate tačnost stručnih radnika i odluče kada da intervenišu, ako je potrebno poboljšanje. Takođe, može pomoći potrošačima da izaberu pružaoce usluga kao što su lekari.
„U svakoj profesiji u kojoj ljudi donose ovakve odluke, bilo bi vredno proceniti kvalitet donošenja odluka“, kaže Saar-Tsečanski. „Mislim da niko od nas ne bi trebalo da bude isključen, posebno ako donosimo konsekventne odluke.“
