Kako autonomni sistemi i veštačka inteligencija postaju sve češći u svakodnevnom životu, pojavljuju se nove metode koje pomažu ljudima da provere da li se ovi sistemi ponašaju kako se očekuje. Jedna metoda, koja se zove formalne specifikacije, koristi matematičke formule koje se mogu prevesti u izraze na prirodnom jeziku. Neki istraživači tvrde da se ovaj metod može koristiti za iznošenje odluka koje će AI doneti na način koji je razumljiv ljudima.
Istraživači laboratorije MIT Linkoln želeli su da provere takve tvrdnje o interpretabilnosti. Njihovi nalazi ukazuju na suprotno: čini se da ljudi ne mogu tumačiti formalne specifikacije. U studiji tima od učesnika je zatraženo da provere da li će plan AI agenta uspeti u virtuelnoj igri. Predstavljen sa formalnom specifikacijom plana, učesnici su bili tačni manje od polovine vremena.
„Rezultati su loša vest za istraživače koji su tvrdili da formalne metode omogućavaju interpretaciju sistema. To bi moglo biti tačno u nekom ograničenom i apstraktnom smislu, ali ne za bilo šta što je blisko praktičnom validaciji sistema“, kaže Hosea Siu, istraživač u Grupa za AI tehnologiju laboratorije. Rad grupe, koji je trenutno dostupan na arKsiv serveru za preprint, prihvaćen je na Međunarodnoj konferenciji o inteligentnim robotima i sistemima 2023. održanoj ranije ovog meseca.
Interpretabilnost je važna jer omogućava ljudima da veruju u mašinu kada se koristi u stvarnom svetu. Ako robot ili AI mogu da objasne svoje postupke, onda ljudi mogu odlučiti da li su mu potrebna prilagođavanja ili im se može verovati da donose pravedne odluke. Sistem koji se može tumačiti takođe omogućava korisnicima tehnologije — ne samo programerima — da razumeju i veruju u njene mogućnosti. Međutim, interpretabilnost je dugo bila izazov u oblasti veštačke inteligencije i autonomije. Proces mašinskog učenja se dešava u „crnoj kutiji“, tako da programeri modela često ne mogu da objasne zašto ili kako je sistem došao do određene odluke.
„Kada istraživači kažu ‘naš sistem mašinskog učenja je tačan’, mi pitamo ‘koliko je tačan’ i ‘koristeći koje podatke?’ a ako te informacije nisu dostavljene, odbacujemo tužbu. Nismo radili toliko kada istraživači kažu da je „naš sistem mašinskog učenja razumljiv“ i moramo da počnemo da te tvrdnje držimo pod većom kontrolom“, kaže Siu.
Za svoj eksperiment, istraživači su pokušali da utvrde da li formalne specifikacije čine ponašanje sistema razumljivijim. Oni su se fokusirali na sposobnost ljudi da koriste takve specifikacije za validaciju sistema – to jest, da razumeju da li sistem uvek ispunjava ciljeve korisnika.
Primena formalnih specifikacija u ovu svrhu je u suštini nusproizvod njegove prvobitne upotrebe. Formalne specifikacije su deo šireg skupa formalnih metoda koje koriste logičke izraze kao matematički okvir za opisivanje ponašanja modela. Pošto je model izgrađen na logičkom toku, inženjeri mogu da koriste „provere modela“ da matematički dokažu činjenice o sistemu, uključujući kada je ili nije moguće da sistem završi zadatak. Sada, istraživači pokušavaju da koriste ovaj isti okvir kao translaciono sredstvo za ljude.
„Istraživači brkaju činjenicu da formalne specifikacije imaju preciznu semantiku s tim da se mogu interpretirati ljudima. To nije ista stvar“, kaže Siu. „Shvatili smo da niko pored nikoga proverava da li ljudi zaista razumeju rezultate.
U eksperimentu tima, od učesnika je zatraženo da potvrde prilično jednostavan skup ponašanja sa robotom koji igra igru hvatanja zastave, u osnovi odgovarajući na pitanje „Ako robot tačno sledi ova pravila, da li uvek pobeđuje?“
Učesnici su uključivali i stručnjake i nestručnjake u formalnim metodama. Formalne specifikacije su primili na tri načina — „sirovu“ logičku formulu, formulu prevedenu u reči koje su bliže prirodnom jeziku i format stabla odluka. Posebno se stabla odlučivanja često smatraju u svetu veštačke inteligencije načinom koji može da se protumači ljudima da se pokaže AI ili robotsko donošenje odluka.
Rezultati: „Učinak validacije u celini bio je prilično užasan, sa tačnošću od oko 45 procenata, bez obzira na vrstu prezentacije“, kaže Siu.
Oni koji su prethodno obučeni u formalnim specifikacijama prošli su samo nešto bolje od početnika. Međutim, stručnjaci su izneli daleko više poverenja u svoje odgovore, bez obzira da li su oni tačni ili ne. Sve u svemu, ljudi su imali tendenciju da preterano veruju u ispravnost specifikacija koje su im stavljene, što znači da su ignorisali skupove pravila koji dozvoljavaju gubitke u igri. Ova pristrasnost potvrde je posebno zabrinjavajuća za validaciju sistema, kažu istraživači, jer je veća verovatnoća da će ljudi prevideti načine kvara.
„Ne mislimo da ovaj rezultat znači da treba da napustimo formalne specifikacije kao način da objasnimo ponašanje sistema ljudima. Ali mislimo da je potrebno mnogo više posla da se uloži u dizajn kako se one predstavljaju ljudima i u radni tok u kojem ih ljudi koriste“, dodaje Siu.
Kada razmatra zašto su rezultati bili tako loši, Siu priznaje da čak i ljudi koji rade na formalnim metodama nisu baš obučeni da proveravaju specifikacije kao što je eksperiment tražio od njih. A, teško je razmišljati o svim mogućim ishodima skupa pravila. Uprkos tome, skupovi pravila koji su prikazani učesnicima bili su kratki, ekvivalentni ne više od jednog pasusa teksta, „mnogo kraći od bilo čega što biste naišli u bilo kom stvarnom sistemu“, kaže Siu.
Tim ne pokušava da svoje rezultate poveže direktno sa performansama ljudi u validaciji robota u stvarnom svetu. Umesto toga, oni imaju za cilj da iskoriste rezultate kao polaznu tačku za razmatranje šta bi formalnoj logičkoj zajednici moglo nedostajati kada se tvrdi da se može interpretirati, i kako se takve tvrdnje mogu odigrati u stvarnom svetu.
Ovo istraživanje je sprovedeno kao deo većeg projekta Siu i njegovi saigrači rade na poboljšanju odnosa između robota i ljudskih operatera, posebno onih u vojsci. Proces programiranja robotike često može da izostavi operatere van kruga. Sa sličnim ciljem poboljšanja interpretabilnosti i poverenja, projekat pokušava da omogući operaterima da direktno podučavaju robote zadacima, na načine koji su slični obuci ljudi. Takav proces bi mogao da poboljša i poverenje operatera u robota i njegovu prilagodljivost.
Na kraju, oni se nadaju da rezultati ove studije i njihova tekuća istraživanja mogu poboljšati primenu autonomije, jer ona postaje sve više ugrađena u ljudski život i donošenje odluka.
„Naši rezultati potiču potrebu da se izvrši procena određenih sistema i koncepata autonomije i veštačke inteligencije kod ljudi pre nego što se iznese previše tvrdnji o njihovoj korisnosti kod ljudi“, dodaje Siu.
