Kako veštačka inteligencija (AI) postaje moćnija — čak i kada se koristi u ratovanju — postoji hitna potreba da vlade, tehnološke kompanije i međunarodna tela obezbede njenu bezbednost. A zajednička nit u većini sporazuma o bezbednosti veštačke inteligencije je potreba za ljudskim nadzorom tehnologije.
U teoriji, ljudi mogu delovati kao zaštita od zloupotrebe i potencijalnih halucinacija (gde AI generiše netačne informacije). Ovo može uključivati, na primer, ljudski pregled sadržaja koji tehnologija generiše (njene rezultate). Međutim, postoje inherentni izazovi ideji da ljudi deluju kao efikasna provera kompjuterskih sistema, kao što pokazuju sve veći broj istraživanja i nekoliko primera iz stvarnog života vojne upotrebe veštačke inteligencije.
U dosadašnjim naporima na stvaranju propisa za AI, mnogi već sadrže jezik koji promoviše ljudski nadzor i učešće. Na primer, zakon EU o veštačkoj inteligenciji predviđa da visokorizični sistemi veštačke inteligencije – na primer oni koji se već koriste i koji automatski identifikuju ljude koji koriste biometrijsku tehnologiju kao što je skener mrežnjače – moraju da budu odvojeno verifikovani i potvrđeni od najmanje dvoje ljudi koji poseduju neophodne kompetencije, obuke i ovlašćenja.
U vojnoj areni, značaj ljudskog nadzora je prepoznala vlada Ujedinjenog Kraljevstva u svom odgovoru iz februara 2024. na parlamentarni izveštaj o veštačkoj inteligenciji u sistemima oružja. Izveštaj naglašava „smislenu ljudsku kontrolu“ kroz obezbeđivanje odgovarajuće obuke za ljude. Takođe naglašava pojam ljudske odgovornosti i kaže da se donošenje odluka u akcijama, na primer, naoružanim bespilotnim letelicama, ne može prebaciti na mašine.
Ovaj princip je u velikoj meri zadržan do sada. Vojne bespilotne letelice trenutno kontrolišu ljudski operateri i njihov lanac komande, koji su odgovorni za akcije koje preduzima naoružani avion. Međutim, AI ima potencijal da učini dronove i kompjuterske sisteme koje koriste sposobnijima i autonomnijima.
Ovo uključuje njihove sisteme za akviziciju cilja. U ovim sistemima, softver vođen AI bi birao i zaključavao neprijateljske borce, omogućavajući ljudima da odobre napad na njih oružjem.
Iako se još ne misli da je široko rasprostranjen, čini se da je rat u Gazi pokazao kako se takva tehnologija već koristi. Izraelsko-palestinska publikacija +972 magazin izvestila je o sistemu koji se zove Lavanda koji koristi Izrael. Ovo je navodno sistem za preporuke ciljeva zasnovan na veštačkoj inteligenciji u kombinaciji sa drugim automatizovanim sistemima, koji prati geografsku lokaciju identifikovanih ciljeva.
U 2017, američka vojska je osmislila projekat, nazvan Maven, sa ciljem da integriše veštačku inteligenciju u sisteme naoružanja. Tokom godina, evoluirao je u sistem akvizicije cilja. Navodno, to je uveliko povećalo efikasnost procesa preporuke ciljeva za platforme za oružje.
U skladu sa preporukama iz akademskog rada o etici veštačke inteligencije, postoji čovek koji će nadgledati rezultate mehanizama sticanja cilja kao kritičnog dela kruga donošenja odluka.
Bez obzira na to, rad na psihologiji načina na koji ljudi rade sa računarima postavlja važna pitanja koja treba razmotriti. U recenziranom radu iz 2006. godine, američka akademkinja Meri Kamings je rezimirala kako ljudi mogu na kraju da polažu preterano poverenje u mašinske sisteme i njihove zaključke – fenomen poznat kao pristrasnost automatizacije.
Ovo ima potencijal da ometa ljudsku ulogu kao proveru automatizovanog donošenja odluka ako je manje verovatno da će operateri dovesti u pitanje zaključke mašine.
U drugoj studiji objavljenoj 1992. godine, istraživači Batia Friedman i Peter Kahn su tvrdili da ljudski osećaj moralnog delovanja može biti umanjen kada rade sa kompjuterskim sistemima, do te mere da smatraju da ne mogu da odgovaruju posledice koje nastaju. Zaista, članak objašnjava da ljudi čak mogu da počnu da pripisuju osećaj delovanja samim računarskim sistemima.
Imajući u vidu ove tendencije, bilo bi mudro razmotriti da li preterano poverenje u kompjuterske sisteme, zajedno sa potencijalom za eroziju ljudskog osećaja moralnog delovanja, takođe može uticati na sisteme za postizanje cilja. Na kraju krajeva, margine greške, iako su statistički male na papiru, poprimaju užasavajuću dimenziju kada uzmemo u obzir potencijalni uticaj na ljudske živote.
Različite rezolucije, sporazumi i zakoni o veštačkoj inteligenciji pomažu da se obezbede garancije da će ljudi delovati kao važna provera veštačke inteligencije. Međutim, važno je zapitati se da li bi, nakon dugih perioda u ulozi, moglo doći do prekida veze pri čemu ljudski operateri počnu da vide stvarne ljude kao predmete na ekranu.
