Izveštaj istraživačkih novinara sa sedištem u Jerusalimu objavljen u časopisu +972 otkriva da su sistemi za ciljanje veštačke inteligencije odigrali ključnu ulogu u identifikovanju — i potencijalno pogrešnoj identifikaciji — desetina hiljada meta u Gazi. Ovo sugeriše da autonomno ratovanje više nije budući scenario. Već je tu i posledice su zastrašujuće.
U pitanju su dve tehnologije. Prvi, „Lavanda“, je sistem preporuka AI dizajniran da koristi algoritme za identifikaciju Hamasovih operativaca kao mete. Drugi, groteskno nazvan „Gde je tata?“ , je sistem koji geografski prati mete tako da se mogu pratiti do njihovih porodičnih rezidencija pre nego što budu napadnuti. Zajedno, ova dva sistema čine automatizaciju komponenti pronalaženja-popravljanja-praćenja mete onoga što je moderna vojska poznata kao „lanac ubijanja“.
Sistemi poput lavande nisu autonomno oružje, ali ubrzavaju lanac ubijanja i čine proces ubijanja progresivno autonomnijim. Sistemi za ciljanje AI koriste podatke iz kompjuterskih senzora i drugih izvora da bi statistički procenili šta predstavlja potencijalnu metu. Ogromne količine ovih podataka prikupljaju izraelski obaveštajci putem nadzora 2,3 miliona stanovnika Gaze.
Takvi sistemi su obučeni na osnovu skupa podataka da proizvedu profil Hamasovog operativca. To mogu biti podaci o polu, starosti, izgledu, obrascima kretanja, odnosima na društvenim mrežama, dodacima i drugim „relevantnim karakteristikama“. Zatim rade na tome da stvarne Palestince uporede sa ovim profilom po stepenu pristajanja. Kategorija onoga što čini relevantne karakteristike mete može se postaviti strogo ili labavo koliko se želi. U slučaju lavande, čini se da je jedna od ključnih jednačina bila „muško jednako militantno“. Ovo ima odjeke zloglasnog mandata „svi vojno sposobni muškarci su potencijalne mete“ iz američkih ratova dronovima 2010. u kojima je Obamina administracija identifikovala i ubila stotine ljudi koji su označeni kao neprijatelji „na osnovu metapodataka“.
Ono što je drugačije sa AI u kombinaciji je brzina kojom se ciljevi mogu algoritamski odrediti i mandat akcije koji se odnosi na to. Izveštaj +972 ukazuje da je upotreba ove tehnologije dovela do nepristrasnog uništavanja hiljada podobnih – i nepodobnih – meta brzinom i bez mnogo ljudskog nadzora.
Izraelske odbrambene snage (IDF) su brzo odbacile upotrebu ovakvih sistema za ciljanje sa veštačkom inteligencijom. I teško je nezavisno proveriti da li i, ako jeste, u kojoj meri su korišćeni i kako tačno funkcionišu. Ali funkcionalnosti opisane u izveštaju su potpuno uverljive, posebno imajući u vidu da se IDF hvali da je „jedna od najtehnoloških organizacija“ i da je rano usvojila AI.
Sa vojnim programima veštačke inteligencije širom sveta koji nastoje da skrate ono što američka vojska naziva „vremenski okvir od senzora do strelca“ i „povećaju smrtnost“ u svojim operacijama, zašto organizacija kao što je ID ne bi koristila najnovije tehnologije?
Činjenica je da sistemi kao što su Lavanda i Gde je tata? su manifestacija šireg trenda koji traje već dobru deceniju i IDF i njene elitne jedinice su daleko od jedine koje žele da implementiraju više sistema za ciljanje AI u svoje procese.
Ranije ove godine, Bloomberg je izvestio o najnovijoj verziji projekta Maven, programa za pronalaženje veštačke inteligencije Ministarstva odbrane SAD, koji je evoluirao od programa za analizu senzorskih podataka u 2017. do potpunog sistema za preporuku ciljeva sa AI-om koji je napravljen za brzinu. Kako izveštava novinarka Blumberga Katrina Menson, operater „sada može da se prijavi na čak 80 meta za sat vremena rada, naspram 30 bez njega“.
Menson citira oficira američke vojske zaduženog da nauči sistem koji opisuje proces usklađivanja sa zaključcima algoritma, isporučenim u brzom stakatu: „Prihvati. Prihvati, prihvati“. Ovde je očigledno kako je ljudski operater duboko usađen u digitalnu logiku kojoj je teško osporiti. Ovo dovodi do logike brzine i povećanog učinka koja nadmašuje sve ostalo.
Efikasna proizvodnja smrti se ogleda i u računu +972, što je ukazivalo na ogroman pritisak da se ubrza i poveća proizvodnja meta i ubijanje ovih meta. Kako jedan od izvora kaže: „Na nas su stalno vršeni pritisci: dovedite nam još meta. Stvarno su vikali na nas. Vrlo brzo smo završili [ubijanje] naših meta“.
Sistemi poput Lavande postavljaju mnoga etička pitanja koja se odnose na podatke o obuci, pristrasnosti, tačnost, stope grešaka i, što je još važnije, pitanja pristrasnosti automatizacije. Pristrasnost automatizacije ustupa sav autoritet, uključujući moralni autoritet, nepristrasnom interfejsu statističke obrade.
Brzina i smrtonosnost su parole vojne tehnologije. Ali u davanju prioriteta veštačkoj inteligenciji, opseg ljudske aktivnosti je marginalizovan. Logika sistema to zahteva, zahvaljujući relativno sporim kognitivnim sistemima čoveka. Takođe uklanja ljudski osećaj odgovornosti za kompjuterski proizvedene rezultate.
Na drugom mestu sam pisao kako ovo komplikuje pojmove kontrole (na svim nivoima) na načine koje moramo uzeti u obzir. Kada veštačka inteligencija, mašinsko učenje i ljudsko razmišljanje formiraju čvrst ekosistem, kapacitet ljudske kontrole je ograničen. Ljudi imaju tendenciju da veruju šta god kompjuteri kažu, posebno kada se kreću prebrzo da bismo ih mi pratili.
Problem brzine i ubrzanja takođe proizvodi opšti osećaj hitnosti, koji daje prednost akciji nad nedelovanjem. Ovo pretvara kategorije kao što su „kolateralna šteta“ ili „vojna nužda“, koje bi trebalo da služe kao sputavanje nasilju, u kanale za proizvodnju više nasilja.
Podsećam se na reči vojnog naučnika Kristofera Kokera: „moramo pažljivo birati naše alate, ne zato što su nehumani (svo oružje jesu), već zato što što se više oslanjamo na njih, to više oblikuju naš pogled na svet“ . Jasno je da vojna veštačka inteligencija oblikuje naš pogled na svet. Tragično, lavanda nam daje razlog da shvatimo da je ovo gledište opterećeno nasiljem.
