Istraživački tim je po prvi put pokazao da učenje sa pojačanjem – tj. neuronska mreža koja uči najbolju akciju u svakom trenutku na osnovu niza nagrada – omogućava autonomnim vozilima i podvodnim robotima da lociraju i pažljivo prate morske objekte i životinje.
Detalji su navedeni u članku objavljenom u časopisu Science Robotics.
Trenutno, podvodna robotika se pojavljuje kao ključno sredstvo za poboljšanje znanja o okeanima suočenih sa brojnim poteškoćama u njihovom istraživanju, sa vozilima koja mogu da se spuste do dubine do 4.000 metara. Pored toga, podaci na licu mesta koje pružaju pomažu u dopuni drugih podataka, kao što su oni dobijeni sa satelita. Ova tehnologija omogućava proučavanje pojava malih razmera, kao što je hvatanje CO 2 od strane morskih organizama, što pomaže u regulisanju klimatskih promena.
Konkretno, ovaj novi rad otkriva da učenje sa pojačanjem, koje se široko koristi u oblasti kontrole i robotike, kao i u razvoju alata koji se odnose na obradu prirodnog jezika, kao što je ChatGPT, omogućava podvodnim robotima da nauče koje radnje da izvrše u bilo kom trenutku. za postizanje određenog cilja. Ove akcione politike odgovaraju, ili čak poboljšavaju u određenim okolnostima, tradicionalne metode zasnovane na analitičkom razvoju.
„Ova vrsta učenja nam omogućava da obučimo neuronsku mrežu za optimizaciju određenog zadatka, što bi inače bilo veoma teško postići. Na primer, uspeli smo da pokažemo da je moguće optimizovati putanju vozila za lociranje i pratite objekte koji se kreću pod vodom“, objašnjava Ivan Masmitja, vodeći autor studije, koji je radio između Instituta de Ciencies del Mar (ICM-CSIC) i Instituta za istraživanje akvarijuma u zalivu Monterei (MBARI).
Ovo će nam omogućiti da produbimo proučavanje ekoloških fenomena kao što su migracija ili kretanje u malim i velikim razmerama mnoštva morskih vrsta koristeći autonomne robote. Pored toga, ovaj napredak će omogućiti praćenje drugih okeanografskih instrumenata u realnom vremenu kroz mreža robota, gde neki mogu da budu na površini, nadgledajući i satelitski prenoseći radnje koje izvode druge robotske platforme na morskom dnu“, ističe istraživač ICM-CSIC Džoan Navaro, koji je takođe učestvovao u studiji.
Da bi obavili ovaj posao, istraživači su koristili akustičke tehnike dometa, koje omogućavaju procenu položaja objekta s obzirom na merenja udaljenosti koja su napravljena u različitim tačkama. Međutim, ova činjenica čini da tačnost lociranja objekta u velikoj meri zavisi od mesta gde se vrše merenja akustičkog opsega.
I tu postaje važna primena veštačke inteligencije i, posebno, učenja sa pojačanjem, koje omogućava identifikaciju najboljih tačaka i, samim tim, optimalnu putanju koju treba da izvede robot.
Neuronske mreže su obučavane, delom, korišćenjem računarskog klastera u Barselonskom superkompjuterskom centru (BSC-CNS), gde se nalazi najmoćniji superkompjuter u Španiji i jedan od najmoćnijih u Evropi. „Ovo je omogućilo prilagođavanje parametara različitih algoritama mnogo brže nego korišćenje konvencionalnih računara“, ukazuje prof. Mario Martin, sa Odeljenja za računarske nauke UPC i autor studije.
Jednom obučeni, algoritmi su testirani na različitim autonomnim vozilima, uključujući AUV Sparus II koji je razvio VICOROB, u nizu eksperimentalnih misija razvijenih u luci Sant Feliu de Guikols, u Baik Emporda i u zalivu Monterei (Kalifornija), u saradnji sa glavnim istraživačem Bioinspiracijske laboratorije u MBARI-ju, Kakani Katijom.
„Naše okruženje za simulaciju uključuje kontrolnu arhitekturu stvarnih vozila, što nam je omogućilo da efikasno primenimo algoritme pre odlaska na more“, objašnjava Narcis Palomeras, iz UdG.
Za buduća istraživanja, tim će proučavati mogućnost primene istih algoritama za rešavanje komplikovanijih misija. Na primer, upotreba više vozila za lociranje objekata, otkrivanje frontova i termoklina ili kooperativno podizanje algi kroz tehnike učenja pojačanja na više platformi.
