Modeli generatora slika — sistemi koji proizvode nove slike na osnovu tekstualnih opisa — postali su uobičajena i dobro poznata pojava u protekloj godini. Njihovo stalno usavršavanje, koje se u velikoj meri oslanja na razvoj u oblasti veštačke inteligencije, čini ih važnim resursom u različitim oblastima.
Da bi se postigli dobri rezultati, ovi modeli se obučavaju na ogromnim količinama parova slika-tekst—na primer, usklađivanje teksta „slika psa“ sa slikom psa, ponovljeno milionima puta. Kroz ovu obuku, model uči da generiše originalne slike pasa.
Međutim, kako primećuju Hadas Orgad, doktorant sa Fakulteta računarskih nauka Henri i Merilin Taub, i Bahjat Kavar, diplomac istog fakulteta, „pošto su ovi modeli obučeni na mnogo podataka iz stvarnog sveta, oni stiču i internalizuju pretpostavke o svetu tokom procesa obuke.
„Neke od ovih pretpostavki su korisne, na primer, ‘nebo je plavo’, i omogućavaju nam da dobijemo prelepe slike čak i sa kratkim i jednostavnim opisima. S druge strane, model takođe kodira netačne ili irelevantne pretpostavke o svetu, kao i društvene predrasude, na primer, ako tražimo od Stable Diffusion (veoma popularnog generatora slika) sliku generalnog direktora, dobićemo slike žena samo u 4% slučajeva.
Drugi problem sa kojim se ovi modeli suočavaju je značajan broj promena koje se dešavaju u svetu oko nas. Modeli se ne mogu prilagoditi promenama nakon procesa obuke.
Kako objašnjava Dana Arad, takođe doktorant na Fakultetu računarskih nauka u Taubu, „tokom procesa obuke, modeli uče i mnoga činjenična znanja o svetu. Na primer, modeli uče identitet šefova država, predsednika, pa čak i glumci koji su tumačili popularne likove u TV serijama.
„Takvi modeli se više ne ažuriraju nakon procesa obuke, tako da ako danas zatražimo od modela da napravi sliku predsednika Sjedinjenih Država, možda bismo i dalje razumno dobili sliku Donalda Trampa, koji naravno nije bio predsednik. poslednjih godina želeli smo da razvijemo efikasan način za ažuriranje informacija bez oslanjanja na skupe radnje.
„Tradicionalno“ rešenje ovih problema je stalna korekcija podataka od strane korisnika, preobuka ili fino podešavanje. Međutim, ove popravke izazivaju velike finansijske troškove, u smislu obima posla, u smislu kvaliteta rezultata i ekoloških aspekata (zbog dužeg rada računarskih servera). Pored toga, primena ovih metoda ne garantuje kontrolu nad neželjenim pretpostavkama ili novim pretpostavkama koje se mogu pojaviti. „Zbog toga“, objašnjavaju oni, „želeli bismo precizan metod za kontrolu pretpostavki koje model kodira.
Metode koje su razvili studenti doktorskih studija pod vođstvom dr Jonatana Belinkova rešavaju ovu potrebu. Prvi metod, koji su razvili Orgad i Kavar i nazvan VREME (Uređivanje modela teksta u sliku), omogućava brzu i efikasnu korekciju predrasuda i pretpostavki.
Razlog za to je što ispravka ne zahteva fino podešavanje, preobuku ili promenu jezičkog modela i izmenu alata za tumačenje teksta, već samo delimično ponovno uređivanje oko 1,95% parametara modela. Štaviše, isti proces uređivanja se izvodi za manje od jedne sekunde.
