Algoritmi su trebali da nam učine život lakšim i pravednijim: da nam pomognu da pronađemo najbolje kandidate za posao, da pomognu sudijama da nepristrasno procene rizike odluka o kauciji i kauciji i da obezbede da se zdravstvena zaštita pruži pacijentima sa najvećom potrebom. Do sada, međutim, znamo da algoritmi mogu biti jednako pristrasni kao i ljudi koji donose odluke koje informišu i zamenjuju.
Šta ako to nije loša stvar?
Novo istraživanje Carei Morevedge, profesora marketinga na poslovnoj školi Kuestrom Univerziteta u Bostonu i istaknutog profesora fakulteta Everett V. Lord, otkrilo je da ljudi više prepoznaju svoje predrasude u odlukama algoritama nego u svojim odlukama – čak i kada su te odluke isti. Istraživanje, objavljeno u časopisu PNAS, sugeriše načine na koje bi svest mogla pomoći ljudima koji donose odluke da prepoznaju i isprave svoje predrasude.
„Društveni problem je u tome što algoritmi uče i, u velikim razmerama, razvijaju predrasude u ljudskim odlukama za koje su obučeni“, kaže Morvedž, koji takođe predsedava Kuestromovim odeljenjem za marketing. Na primer: Amazon je 2015. testirao (i ubrzo ukinuo) algoritam kako bi pomogao svojim menadžerima za zapošljavanje da filtriraju kandidate za posao. Utvrdili su da je program povećao rezimee za koje se smatra da dolaze od muških kandidata, a snizio one od ženskih kandidata, što je jasan slučaj rodne pristrasnosti.
Ali te iste godine, samo 39 posto Amazonove radne snage bile su žene. Ako je algoritam bio obučen na osnovu Amazonovih postojećih podataka o zapošljavanju, nije ni čudo što je dao prioritet muškim kandidatima – Amazon je to već bio. Ako je njegov algoritam imao rodnu pristrasnost, „to je zato što su Amazonovi menadžeri bili pristrasni u svojim odlukama o zapošljavanju“, kaže Morvedž.
„Algoritmi mogu kodifikovati i pojačati ljudsku pristrasnost, ali algoritmi takođe otkrivaju strukturne predrasude u našem društvu“, kaže on. „Mnoge pristrasnosti se ne mogu posmatrati na individualnom nivou. Teško je dokazati pristrasnost, na primer, u jednoj odluci o zapošljavanju. Ali kada saberemo odluke unutar i među ljudima, kao što radimo kada gradimo algoritame, to može otkriti strukturne predrasude u naše sisteme i organizacije“.
Morevedge i njegovi saradnici — Begum Čeliktutan i Romain Kadario, oboje na Univerzitetu Erazmus u Holandiji — osmislili su seriju eksperimenata osmišljenih da razotkriju društvene predrasude ljudi (uključujući rasizam, seksizam i starost).
Tim je zatim uporedio prepoznavanje učesnika istraživanja o tome kako su te pristrasnosti obojile njihove sopstvene odluke sa odlukama koje je doneo algoritam. U eksperimentima, učesnici su ponekad videli odluke stvarnih algoritama. Ali postojala je kvaka: ponekad su odluke pripisane algoritmima zapravo bile prikriveni izbori učesnika.
Sve u svemu, učesnici su češće videli pristrasnost u odlukama za koje su mislili da potiču od algoritama nego u njihovim sopstvenim odlukama. Učesnici su takođe videli pristrasnost u odlukama algoritama koliko i u odlukama drugih ljudi. (Ljudi generalno bolje prepoznaju pristrasnost u drugima nego u sebi, fenomen koji se naziva slepa tačka pristrasnosti.) Učesnici su takođe imali veću verovatnoću da će ispraviti pristrasnost u tim odlukama nakon činjenice, što je ključni korak za minimiziranje pristrasnosti u budućnosti.
Istraživači su sproveli skupove učesnika, više od 6.000 ukupno, kroz devet eksperimenata. U prvom, učesnici su ocenili skup Airbnb unosa, koji su uključivali nekoliko informacija o svakoj listi: njenu prosečnu ocenu zvezdica (na skali od 1 do 5) i ime domaćina. Istraživači su ove izmišljene liste dodelili domaćinima sa imenima koja su bila „izrazito Afroamerikanci ili belci“, na osnovu prethodnih istraživanja koja su identifikovala rasnu pristrasnost, navodi list. Učesnici su ocenili koliko je verovatno da će iznajmiti svaki oglas.
U drugoj polovini eksperimenta, učesnicima je rečeno o nalazu istraživanja koji je objasnio kako rasa domaćina može uticati na ocene. Zatim su istraživači pokazali učesnicima skup ocena i zamolili ih da procene (na skali od 1 do 7) koliko je verovatno da je pristrasnost uticala na ocene.
Učesnici su videli ili njihovu sopstvenu ocenu koja im se vraća, sopstvenu ocenu pod maskom algoritma, sopstvenu ocenu pod maskom nečijeg drugog ili stvarnu ocenu algoritma zasnovanu na njihovim preferencijama.
Istraživači su ponovili ovu postavku nekoliko puta, testirajući pristrasnost rase, pola, starosti i privlačnosti u profilima vozača Lifta i Airbnb domaćina. Svaki put su rezultati bili dosledni. Učesnici koji su mislili da su videli ocene algoritma ili nečije ocene (bez obzira da li jesu ili ne) imali su veću verovatnoću da primete pristrasnost u rezultatima.
Morvedž ovo pripisuje različitim dokazima koje koristimo da procenimo pristrasnost kod drugih i pristrasnost u nama samima. Pošto imamo uvid u sopstveni misaoni proces, kaže on, veća je verovatnoća da ćemo pratiti naše razmišljanje i odlučiti da ono nije bilo pristrasno, možda vođeno nekim drugim faktorom koji je ušao u naše odluke. Međutim, kada analiziramo odluke drugih ljudi, sve što moramo da procenimo je ishod.
„Recimo da organizujete panel govornika za događaj“, kaže Morevedge. „Ako su svi ti govornici muškarci, mogli biste reći da ishod nije bio rezultat rodne pristrasnosti jer niste ni razmišljali o rodu kada ste pozvali ove govornike. Ali ako ste prisustvovali ovom događaju i videli panel svih -muški govornici, verovatnije ćete zaključiti da je u izboru bilo rodnih pristrasnosti.“
Zaista, u jednom od svojih eksperimenata, istraživači su otkrili da su učesnici koji su bili skloniji ovoj slepoj tački pristrasnosti takođe verovatnije uočili pristrasnost u odlukama koje se pripisuju algoritmima ili drugima nego u sopstvenim odlukama. U drugom eksperimentu, otkrili su da ljudi lakše vide na sopstvene odluke pod uticajem faktora koji su bili prilično neutralni ili razumni, kao što je ocena zvezda Airbnb domaćina, u poređenju sa predrasudama, kao što je rasa – možda zato što su priznali da preferiraju peto- Iznajmljivanje zvezda nije toliko opasno za nečiji osećaj sebe ili kako bi nas drugi mogli videti, sugeriše Morvedž.
U završnom eksperimentu istraživača, dali su učesnicima priliku da isprave pristrasnost bilo u svojim ocenama ili ocenama algoritma (stvarno ili ne). Veća je verovatnoća da će ljudi ispraviti odluke algoritma, što je smanjilo stvarnu pristrasnost u njegovim ocenama.
Ovo je ključni korak za Morevedgea i njegove kolege, kaže on. Za svakoga ko je motivisan da smanji pristrasnost, prvi korak je da to vidi. Njihovo istraživanje predstavlja dokaze da se algoritmi mogu koristiti kao ogledala — način da se identifikuje pristrasnost čak i kada ljudi to ne vide u sebi.
„Trenutno, mislim da je literatura o algoritamskoj pristrasnosti sumorna“, kaže Morvedž. „Mnogo toga govori da moramo da razvijemo statističke metode kako bismo smanjili predrasude u algoritmima. Ali deo problema je što predrasude potiču od ljudi. Treba da radimo na tome da algoritme budemo bolji, ali takođe treba da radimo na tome da budemo manje pristrasni.“
„Ono što je uzbudljivo u vezi sa ovim radom je to što pokazuje da algoritmi mogu kodifikovati ili pojačati ljudsku pristrasnost, ali algoritmi takođe mogu biti alati koji pomažu ljudima da bolje vide sopstvene predrasude i da ih isprave“, kaže on. „Algoritmi su mač sa dve oštrice. Oni mogu biti oruđe koje pojačava naše najgore sklonosti. A algoritmi mogu biti alat koji može da pomogne sebi.
