Algoritmi su trebali da preprave američki pravosudni sistem. Zagovarani kao nepristrasne, kompjuterski vođene kalkulacije o riziku, zločinu i recidivizmu, njihovo korišćenje u svemu, od policije do kaucije i kazne do uslovne slobode, trebalo je da izgladi ono što su često nejednake odluke koje donose pogrešni, pristrasni ljudi.
Ali, do sada to nije bio slučaj.
„U teoriji, ako je prediktivni algoritam manje pristrasan od donosioca odluka, to bi trebalo da dovede do manjeg zatvaranja crnaca i starosedelaca i drugih politički marginalizovanih ljudi. Ali algoritmi mogu da diskriminišu“, kaže Ngozi Okidegbe, Murman-Sajmon sa Univerziteta u Bostonu, interdisciplinarna karijera Razvoj vanredni profesor prava i docent za računarstvo i nauke o podacima.
Ona je prva na Univerzitetu koja ima dvostruko imenovanje koje se odnosi na podatke i zakon, a njena stipendija uranja u ovu raskrsnicu, ispitujući kako upotreba prediktivnih tehnologija u sistemu krivičnog pravosuđa utiče na rasno marginalizovane zajednice.
Kako jeste, ove grupe su zatvorene skoro četiri puta više od svojih belih vršnjaka. Prema Birou za statistiku pravde, ogranku Ministarstva pravde SAD, bilo je 1.186 odraslih crnaca zatvorenih u državnim ili saveznim ustanovama na svakih 100.000 odraslih u 2021. (posljednja godina za koju su dostupni podaci), i 1.004 američkih Indijanaca a domoroci Aljaske zatvoreni na svakih 100.000 odraslih. Uporedite ovo sa stopama po kojima su belci bili zatvoreni u istoj godini: 222 na 100.000.
U nedavnim radovima, Okidegbe je proučavao ulogu algoritama u ovim nejednakostima i isprepletenim posledicama tehnologije i zakona, uključujući istraživanje podataka iza odluka o kauciji.
„Ngozijevo zajedničko imenovanje na Pravnom fakultetu BU i na Fakultetu računarstva i nauke o podacima ne bi moglo biti blagovremeno, jer govori o važnosti ispitivanja i preispitivanja današnjih sociotehničkih i AI sistema i tehnologija koje su zasnovane na ljudskoj petlji, “ kaže Azer Bestavros, pomoćnik prorektora za računarstvo i nauke o podacima. „Ovo ispitivanje nam omogućava ne samo da ponovo zamislimo dizajn i primenu ovih sistema, već i da preispitamo etičke, pravne i okvire javne politike u okviru kojih će ovi sistemi funkcionisati.
U svom najosnovnijem obliku, algoritmi su prečice za rešavanje problema. Inženjeri mogu da obuče računare da svare veliku količinu podataka, a zatim da proizvedu jednostavno rešenje za složen problem. Spotifaj, na primer, koristi algoritme da predloži pesme za koje kompanija misli da bi mogli da uživaju njeni slušaoci, na osnovu onoga što su prethodno slušali. Što više podataka računarski model mora da sadrži, to bi njegovi rezultati trebalo da budu nijansiraniji i tačniji.
Ali sve veći broj akademskih istraživanja — uključujući i Okidegbe — i novinski izveštaji pokazuju da algoritmi izgrađeni na nepotpunim ili pristrasnim podacima mogu da repliciraju ili čak pojačaju tu pristrasnost kada izbace rezultate. Ovo nije velika stvar ako, na primer, opsesija vašeg mališana Pepa prase procuri u vaše predložene Spotifi plejliste, ali može imati razorne efekte u drugim kontekstima.
Zamislite sudiju, kaže Okidegbe, koji dobija algoritamski generisanu ocenu rizika od recidivizma kao deo izveštaja o osuđenom zločincu. Ovaj rezultat govori sudiji kolika je verovatnoća da će ta osoba počiniti još jedan zločin u bliskoj budućnosti — što je rezultat veći, veća je verovatnoća da će neko biti ponovljeni prestupnik. Sudija uzima ovaj rezultat u obzir i dodeljuje više zatvorske kazne nekome sa visokim rezultatom za recidivizam. Slučaj zatvoren.
Prošireni izveštaj neprofitne novinske organizacije ProPublica otkrio je da, pošto se ovi rezultati osećaju nepristrasno, mogu imati veliku težinu kod sudija koji ih koriste. U stvarnosti, ovi rezultati nisu ni nepristrasni ni nepropustljivi. ProPublica je otkrila da je jedan određeni sistem koji koriste sudovi širom zemlje pogrešio oko dva puta češće za crnce nego za belce: pogrešno je označio dvostruko više crnaca koji nisu ponovili krivično delo kao izloženi visokom riziku da to urade.
U nedavnom članku za Connecticut Lav Reviev, Okidegbe prati ovu nedoslednost do njenog izvora i identifikuje trostruki „problem unosa“.
Prvo, piše ona, jurisdikcije su nejasne o tome da li i kako koriste algoritme pre suđenja, i često ih usvajaju bez konsultacija sa marginalizovanim zajednicama, „iako su te zajednice neproporcionalno pogođene njihovim korišćenjem“. Drugo, ove iste zajednice su generalno isključene iz procesa izgradnje takvih algoritama. Konačno, čak i u jurisdikcijama u kojima građani mogu da iznesu mišljenje o upotrebi takvih alata, njihov doprinos retko menja nešto.
„Iz perspektive rasne pravde, postoje i druge štete koje proizilaze iz upotrebe ovih algoritamskih sistema. Sama paradigma koja reguliše da li i kako koristimo ove algoritme je prilično tehnokratska i nije mnogo raznolika. Kejt Kraford je primetila ‘belu veštačku inteligenciju’ problem sa momcima“, kaže Okidegbe, misleći na glavnog istraživača u Microsoftu i kopredsedavajućeg simpozijuma Bele kuće o veštačkoj inteligenciji i društvu koji je skovao termin da opiše preveliku zastupljenost belaca u stvaranju veštački inteligentnih proizvoda i kompanija.
Od samog početka, kaže Okidegbe, algoritamski sistemi isključuju rasno marginalizovane i druge politički potlačene grupe.
„Razmatrao sam moć odlučivanja o tome da li i kako koristiti algoritme i koje podatke se oni koriste za proizvodnju. To je vrlo isključeno za marginalizovane zajednice koje će najverovatnije biti pogođene time, jer te zajednice nisu usredsređeni, a često nisu ni za stolom kada se donose ove odluke“, kaže ona. „To je jedan od načina na koji sugerišem da okretanje algoritmima nije u skladu sa projektom rasne pravde, zbog načina na koji održavaju marginalizaciju ovih istih zajednica.
Pored toga što proizvode pristrasne rezultate koji nesrazmerno štete marginalizovanim zajednicama, podaci koji se koriste za obuku algoritama mogu biti neuredni, subjektivni i diskriminatorni, kaže Okidegbe.
„U svom radu borila sam se sa onim što mislim da je pogrešno shvatanje: da se algoritmi grade samo od kvantitativnih podataka. Nisu, već su takođe izgrađeni od kvalitativnih podataka“, kaže ona. Kompjuterski inženjeri i dizajneri podataka sastaće se sa kreatorima politike kako bi otkrili koji problem njihov algoritam treba da reši i iz kojih skupova podataka treba da se izvuku da bi ga napravili, kaže Okidegbe.
U krivičnom i pravnom kontekstu, to bi moglo značiti rad sa sudijama kako bi se utvrdilo šta bi im pomoglo u izricanju zatvorskih kazni, na primjer. Međutim, još jednom, mnogo je manje verovatno da bi se inženjeri podataka sastajali sa zatvorenim ljudima, recimo, kao deo njihovog ranog procesa prikupljanja informacija. Umesto toga, kao što Okidegbe piše u članku za nedavno izdanje časopisa Cornell Lav Reviev, većina velikih skupova podataka koji se koriste u algoritmima pre suđenja su izgrađeni i obučeni na osnovu podataka iz „izvora znanja“, kao što su policijski zapisi i sudski dokumenti.
„To postavlja ovaj narativ da ove zajednice nemaju znanje koje bi dodale širem pitanju“, kaže Okidegbe.
Stvarno ispunjavanje obećanja algoritama u sistemu krivičnog pravosuđa – obećanja da će proces učiniti ujednačenijim i manje pristrasnijim nego što ljudi inače imaju – zahteva radikalno preispitivanje cele strukture, kaže Okidegbe. To je nešto što ona ohrabruje svoje studente da razmotre dok oblikuju budućnost prava i krivičnog pravosuđa.
„To znači zapravo računati na znanje iz marginalizovanih i politički potlačenih zajednica i imati informacije o tome kako je algoritam konstruisan. To takođe znači kontinuirani nadzor algoritamskih tehnologija od strane ovih zajednica. Ono što ja tvrdim zahteva izgradnju novih institucionalnih struktura, to zahteva promenu našeg razmišljanja o tome ko je kredibilan i ko treba da bude na vlasti kada je u pitanju upotreba ovih algoritama. I, ako je to previše, onda ne možemo, u istom dahu, nazvati ovo projektom rasne pravde.“
