Modeli veštačke inteligencije koji biraju obrasce na slikama često to mogu učiniti bolje od ljudskih očiju — ali ne uvek. Ako radiolog koristi AI model da joj pomogne da utvrdi da li rendgenski snimci pacijenta pokazuju znake upale pluća, kada treba da veruje savetu modela, a kada da ga ignoriše?
Prilagođeni proces uključivanja mogao bi pomoći ovom radiologu da odgovori na to pitanje, tvrde istraživači sa MIT-a i MIT-IBM Vatson AI Lab. Dizajnirali su sistem koji uči korisnika kada da sarađuje sa AI asistentom.
U ovom slučaju, metod obuke može pronaći situacije u kojima radiolog veruje savetu modela – osim što ne bi trebalo jer model nije u pravu. Sistem automatski uči pravila o tome kako ona treba da sarađuje sa AI i opisuje ih prirodnim jezikom.
Tokom uključivanja, radiolog praktikuje saradnju sa AI koristeći vežbe obuke zasnovane na ovim pravilima, primajući povratne informacije o svom učinku i učinku AI.
Istraživači su otkrili da je ova procedura uključivanja dovela do poboljšanja tačnosti od oko 5 posto kada su ljudi i AI sarađivali na zadatku predviđanja slike. Njihovi rezultati takođe pokazuju da samo govorenje korisniku kada da veruje AI, bez obuke, dovodi do lošijih performansi.
Važno je da je sistem istraživača potpuno automatizovan, tako da uči da kreira proces uključivanja na osnovu podataka od ljudi i AI koji obavljaju određeni zadatak. Takođe se može prilagoditi različitim zadacima, tako da se može povećati i koristiti u mnogim situacijama u kojima ljudi i AI modeli rade zajedno, kao što su moderiranje sadržaja društvenih medija, pisanje i programiranje.
„Ljudima se često daju ovi alati za veštačku inteligenciju da ih koriste bez ikakve obuke kako bi im pomogli da shvate kada će to biti od pomoći. To nije ono što radimo sa skoro svakim drugim alatom koji ljudi koriste – skoro uvek postoji neka vrsta uputstva to dolazi sa tim. Ali za AI ovo izgleda da nedostaje. Pokušavamo da se pozabavimo ovim problemom iz metodološke i bihejvioralne perspektive“, kaže Husein Mozanar, diplomirani student na doktorskom programu društvenih i inženjerskih sistema u okviru Instituta za podatke , Sistemi i društvo (IDSS) i glavni autor rada o ovom procesu obuke.
Istraživači predviđaju da će takav prijem biti ključni deo obuke za medicinske stručnjake.
„Moglo bi se zamisliti, na primer, da će lekari koji donose odluke o lečenju uz pomoć veštačke inteligencije prvo morati da obave obuku sličnu onoj koju mi predlažemo. Možda ćemo morati da preispitamo sve, od kontinuiranog medicinskog obrazovanja do načina na koji su dizajnirana klinička ispitivanja“, kaže stariji autor David Sontag, profesor EECS-a, član laboratorije MIT-IBM Vatson AI i klinike MIT Jameel, i vođa grupe za kliničko mašinsko učenje u Laboratoriji za računarske nauke i veštačku inteligenciju (CSAIL).
Mozanaru, koji je takođe istraživač u grupi za kliničko mašinsko učenje, u radu se pridružuje Jimin J. Lee, student elektrotehnike i računarstva; Dennis Vei, viši naučni naučnik u IBM Research-u; i Prasanna Sattigeri i Subhro Das, članovi istraživačkog osoblja u MIT-IBM Vatson AI Lab. Rad je dostupan na arXiv preprint serveru i biće predstavljen na Konferenciji o sistemima za neuralnu obradu informacija.
Postojeće metode uključivanja u saradnju između ljudi i AI često se sastoje od materijala za obuku koje proizvode ljudski stručnjaci za specifične slučajeve upotrebe, što ih čini teškim za povećanje. Neke srodne tehnike se oslanjaju na objašnjenja, gde AI govori korisniku svoje poverenje u svaku odluku, ali istraživanje je pokazalo da su objašnjenja retko korisna, kaže Mozanar.
„Mogućnosti AI modela se stalno razvijaju, tako da slučajevi upotrebe u kojima bi ljudi mogli imati koristi od njega vremenom rastu. Istovremeno, percepcija korisnika o modelu nastavlja da se menja. Dakle, potrebna nam je procedura obuke koja takođe evoluira tokom vremena“, dodaje on.
Da bi se to postiglo, njihov metod uključivanja se automatski uči iz podataka. Napravljen je od skupa podataka koji sadrži mnogo instanci zadatka, kao što je otkrivanje prisustva semafora na mutnoj slici.
Prvi korak sistema je prikupljanje podataka o čoveku i veštačkoj inteligenciji koji obavljaju ovaj zadatak. U ovom slučaju, čovek bi pokušao da predvidi, uz pomoć veštačke inteligencije, da li mutne slike sadrže semafore.
Sistem ugrađuje ove tačke podataka u latentni prostor, koji predstavlja prikaz podataka u kojem su slične tačke podataka bliže jedna drugoj. Koristi algoritam da otkrije regione ovog prostora u kojima čovek pogrešno sarađuje sa veštačkom inteligencijom. Ovi regioni beleže slučajeve u kojima je čovek verovao predviđanju veštačke inteligencije, ali je predviđanje bilo pogrešno, i obrnuto.
Možda čovek greškom veruje veštačkoj inteligenciji kada slike prikazuju autoput noću.
Nakon otkrivanja regiona, drugi algoritam koristi veliki jezički model da bi opisao svaki region po pravilu, koristeći prirodni jezik. Algoritam iterativno fino podešava pravila pronalaženjem kontrastnih primera. Ovaj region bi mogao opisati kao „ignorišite veštačku inteligenciju kada je autoput tokom noći“.
Ova pravila se koriste za izgradnju vežbi za obuku. Onboarding sistem pokazuje primer čoveku, u ovom slučaju zamućenu scenu autoputa noću, kao i predviđanje AI, i pita korisnika da li slika prikazuje semafore. Korisnik može odgovoriti sa da, ne ili koristiti predviđanje AI.
Ako čovek greši, prikazuje mu se tačan odgovor i statistika učinka za čoveka i veštačku inteligenciju u ovim slučajevima zadatka. Sistem to radi za svaki region i na kraju procesa obuke ponavlja vežbe koje je čovek pogrešio.
„Posle toga, čovek je naučio nešto o ovim regionima za šta se nadamo da će oduzeti u budućnosti da bi napravili tačnija predviđanja“, kaže Mozanar.
Istraživači su testirali ovaj sistem sa korisnicima na dva zadatka — otkrivanju semafora na mutnim slikama i odgovaranju na pitanja sa višestrukim izborom iz mnogih domena (kao što su biologija, filozofija, računarstvo, itd.).
Korisnicima su prvo pokazali karticu sa informacijama o AI modelu, kako je bio obučen i pregledom njegovih performansi na široke kategorije. Korisnici su bili podeljeni u pet grupa: nekima je samo pokazana kartica, nekima je prošla procedura učlanjenja istraživača, neki su prošli kroz osnovnu proceduru učlanjenja, neki su prošli kroz proceduru uključivanja istraživača i dobili su preporuke kada treba ili ne treba verujte AI, a drugima su date samo preporuke.
Samo je istraživački postupak uključivanja bez preporuka značajno poboljšao tačnost korisnika, povećavši njihov učinak na zadatku predviđanja semafora za oko 5 procenata bez usporavanja. Međutim, uključivanje nije bilo toliko efikasno za zadatak davanja odgovora na pitanja. Istraživači veruju da je to zato što je model veštačke inteligencije, ChatGPT, pružio objašnjenja uz svaki odgovor koja pokazuju da li mu treba verovati.
Ali pružanje preporuka bez uključivanja imalo je suprotan efekat – korisnici ne samo da su imali lošije rezultate, već im je trebalo više vremena da naprave predviđanja.
„Kada nekome date samo preporuke, izgleda kao da se zbuni i ne zna šta da radi. To izbacuje njihov proces iz koloseka. Ljudi takođe ne vole da im se govori šta da rade, tako da je i to faktor“, Mozanar kaže.
Samo pružanje preporuka moglo bi naštetiti korisniku ako su te preporuke pogrešne, dodaje on. Sa onboardingom, s druge strane, najveće ograničenje je količina dostupnih podataka. Ako nema dovoljno podataka, faza uključivanja neće biti tako efikasna, kaže on.
U budućnosti, on i njegovi saradnici žele da sprovedu veće studije kako bi procenili kratkoročne i dugoročne efekte onboardinga. Oni takođe žele da iskoriste neoznačene podatke za proces uključivanja i pronađu metode za efikasno smanjenje broja regiona bez izostavljanja važnih primera.
