Istraživači sa Instituta za robotiku Univerziteta Carnegie Mellon (RI) razvili su robotski sistem koji interaktivno slika sa ljudima. Kolaborativna FRIDA (CoFRIDA) može da radi sa korisnicima bilo koje umetničke sposobnosti, pozivajući na saradnju u stvaranju umetnosti u stvarnom svetu.
„To je poput crteža ekvivalentnog pismu“, rekao je Jim McCann, vanredni profesor RI koji vodi RI Tektiles Lab. „Ako ste zaglavili i ne znate šta da radite, to može da stavi nešto na stranicu umesto vas. Može da probije barijeru prazne stranice. To je zaista zanimljiv način da se unapredi ljudska kreativnost.“
CoFRIDA se nadovezuje na prethodni rad sa FRIDA-om, multilaboratorijskom saradnjom u Školi računarskih nauka.
Nazvana po umetnici Fridi Kalo, FRIDA (Framevork and Robotics Initiative for Developing Arts) može da koristi četkicu ili Sharpie za kreiranje slike od tekstualnih upita čoveka ili primera slika. Projekat je osnovao Jean Oh, vanredni profesor istraživanja u RI i šef Bot Intelligence Group (BIG), zajedno sa McCann-om i Ph.D. student Peter Šaldenbrand.
Da bi podržao više kolaborativno iskustvo umetničkog stvaralaštva, RI Ph.D. student Gaurav Parmar i docent Jun-Ian Zhu pridružili su se FRIDA timu za razvoj CoFRIDA-e. Novi sistem omogućava korisnicima da obezbede unos teksta da opišu šta žele da slikaju. Oni takođe mogu da učestvuju u procesu stvaranja, naizmenično slikajući direktno na platnu sa robotom dok ne ostvare svoju umetničku viziju.
„CoFRIDA zahteva viši nivo inteligencije od originalne FRIDA-e, koja stvara samo umetničko delo od početka do završetka“, rekao je Oh. „Ko-slikanje je analogno radu sa drugom osobom, koja stalno treba da pogađa šta želi. CoFRIDA mora da razume ciljeve visokog nivoa korisnika da bi potezi tog korisnika bili značajni prema cilju.“
Zajedničko slikanje je po svojoj prirodi kolaborativno, a razvoj podataka koji obučavaju robota da sarađuje je težak i dugotrajan. Da bi zaobišla ovu komplikaciju, CoFRIDA koristi podatke o obuci koji se samonadzoruju na osnovu FRIDA-inog simulatora moždanog udara i planera.
Istraživači su kreirali samokontrolisani skup podataka finog podešavanja tako što je FRIDA simulirala slike koje su se sastojale od niza poteza četkicom, iz kojih su neki potezi mogli biti uklonjeni da bi se proizveli primeri delimičnih slika.
Tim je morao da odredi kako da ukloni elemente sa crteža u podacima o obuci, ostavljajući dovoljno slike da bi je CoFRIDA prepoznala. Na primer, istraživači su oduzeli detalje poput ivice točka ili prozora u automobilu, ali su ostavili obris vozila.
„Pokušali smo da simuliramo različita stanja procesa crtanja“, rekao je Žu. „Lako je doći do konačne skice, ali je prilično teško zamisliti međufazu ovog procesa.
Koristeći skup podataka delimičnih i kompletnih slika, istraživači su fino podesili model teksta u sliku, InstructPik2Pik, koji je omogućio CoFRIDA-i da dodaje poteze četkicom i radi sa postojećim sadržajem na platnu. Ovaj pristup, koji se oslanja na podatke kreirane korišćenjem CoFRIDA-inog simulatora četkice, znači da generisanje slike uključuje stvarna ograničenja robota, kao što je ograničeni skup alata.
Izvan laboratorije, istraživači se nadaju da CoFRIDA može naučiti ljude o robotici i proširiti kreativnost, ohrabrujući ljude koji sumnjaju u svoje umetničke sposobnosti. CoFRIDA takođe može pomoći da vizije korisnika ožive ili da umetničko delo odvede u potpuno novom pravcu.
„Ako krenete od veoma jednostavne skice, CoFRIDA vodi umetničko delo u veoma različitim pravcima. Ako tražite šest različitih crteža, dobićete šest veoma različitih opcija“, rekao je Šaldenbrand.
„Lepo je moći da donosim odluke na visokom nivou jer se osećam kao umetnički direktor. Robot donosi ove niske odluke o tome gde da stavi marker, ali ja odlučujem kako će sve izgledati Još uvek osećam da imam kontrolu nad kreativnim procesom, a u svetu u kome se umetnici plaše zamene veštačkom inteligencijom, CoFRIDA kao primer robota dizajniranog da podrži ljudsku kreativnost je neverovatno relevantna.
Istraživači se nadaju da dalji rad može da integriše personalizaciju u CoFRIDA, dajući korisnicima još veću kontrolu nad stilom gotovog proizvoda.
Rad tima, „CoFRIDA: samo-nadzirano fino podešavanje za zajedničko slikanje čoveka i robota“, osvojio je nagradu za najbolji rad o interakciji ljudskih robota na IEEE međunarodnoj konferenciji o robotici i automatizaciji (ICRA) 2024. u Jokohami, Japan. Prateća CoFRIDA demonstracija bila je finalista za najbolju demonstraciju na ICRA EKSPO-u. Rad je dostupan na arXiv serveru za preprint.
