U trci za razvojem robusnih sistema percepcije za robote, jedan uporni izazov bio je rad u lošim vremenskim i teškim uslovima. Na primer, tradicionalni senzori vida zasnovani na svetlosti kao što su kamere ili LiDAR (detekcija i domet svetlosti) ne rade u teškom dimu i magli.
Međutim, priroda je pokazala da vid ne mora biti ograničen ograničenjima svetlosti — mnogi organizmi su razvili načine da percipiraju svoje okruženje bez oslanjanja na svetlost. Slepi miševi se kreću koristeći odjeke zvučnih talasa, dok ajkule love tako što osećaju električna polja od pokreta plena.
Radio talasi, čije su talasne dužine za redove magnitude duže od svetlosnih talasa, mogu bolje da prodru u dim i maglu, pa čak mogu da vide i kroz određene materijale – sve mogućnosti izvan ljudskog vida. Ipak, roboti su se tradicionalno oslanjali na ograničenu kutiju alata: ili koriste kamere i LiDAR, koji daju detaljne slike, ali ne uspevaju u izazovnim uslovima, ili tradicionalni radar, koji može da vidi kroz zidove i druge okluzije, ali proizvodi grube slike niske rezolucije.
Sada su istraživači sa Fakulteta za inženjerstvo i primenjene nauke Univerziteta u Pensilvaniji (Penn Engineering) razvili PanoRadar, novi alat koji robotima daje superljudsku viziju transformacijom jednostavnih radio talasa u detaljne, 3D prikaze okoline.
„Naše početno pitanje je bilo da li možemo da kombinujemo najbolje od oba modaliteta senzora“, kaže Mingmin Zhao, docent za računarstvo i informacione nauke. „Robusnost radio signala, koji su otporni na maglu i druge izazovne uslove, i visoka rezolucija vizuelnih senzora.
U radu koji će biti predstavljen na Međunarodnoj konferenciji o mobilnom računarstvu i umrežavanju (MobiCom 2024), održanoj od 18. do 22. novembra u Vašingtonu, Džao i njegov tim opisuju kako PanoRadar koristi radio talase i veštačku inteligenciju (AI) kako bi omogućio robotima da se kreću čak i u najizazovnijim okruženjima, kao što su zgrade pune dima ili magloviti putevi.
Tim, iz Laboratorije za bežičnu, audio, viziju i elektroniku za sensing (VAVES) i Penn Research In Embedded Computing and Integrated Sistems Engineering (PRECISE) Center, uključuje doktoranta Haovena Laija, nedavnog diplomiranog na master studijama Gaokiang Luoa i asistenta za dodiplomske studije Jifei (Fredi) Liu.
PanoRadar je senzor koji radi kao svetionik koji okreće svoj snop u krug da bi skenirao ceo horizont. Sistem se sastoji od rotirajućeg vertikalnog niza antena koji skenira okolinu. Dok se rotiraju, ove antene emituju radio talase i slušaju njihove refleksije iz okoline, slično tome kako snop svetionika otkriva prisustvo brodova i obalnih obeležja.
Zahvaljujući snazi veštačke inteligencije, PanoRadar prevazilazi ovu jednostavnu strategiju skeniranja. Za razliku od svetionika koji jednostavno osvetljava različite oblasti dok se rotira, PanoRadar pametno kombinuje merenja iz svih uglova rotacije kako bi poboljšao svoju rezoluciju slike. Dok je sam senzor samo delić cene tipično skupih LiDAR sistema, ova strategija rotacije stvara gust niz virtuelnih mernih tačaka, što omogućava PanoRadar-u da postigne rezoluciju slike uporedivu sa LiDAR-om.
„Ključna inovacija je u tome kako obrađujemo ova merenja radio talasa“, objašnjava Zhao. „Naši algoritmi za obradu signala i mašinsko učenje su u stanju da izvuku bogate 3D informacije iz okruženja.
Jedan od najvećih izazova sa kojima se Žaov tim suočio bio je razvoj algoritama za održavanje slike visoke rezolucije dok se robot kreće. „Da bismo postigli rezoluciju uporedivu sa LiDAR-om sa radio signalima, morali smo da kombinujemo merenja sa mnogo različitih pozicija sa tačnošću ispod milimetra“, objašnjava Lai, glavni autor rada. „Ovo postaje posebno izazovno kada se robot kreće, jer čak i male greške u kretanju mogu značajno uticati na kvalitet slike.“
Još jedan izazov sa kojim se tim pozabavio bio je učenje njihovog sistema da razume šta vidi. „Unutarnja okruženja imaju dosledne obrasce i geometriju“, kaže Luo. „Iskoristili smo ove obrasce kako bismo pomogli našem sistemu veštačke inteligencije da protumači radarske signale, slično kao što ljudi uče da razumeju ono što vide. Tokom procesa obuke, model mašinskog učenja se oslanjao na LiDAR podatke da bi proverio svoje razumevanje u odnosu na stvarnost i mogao je da nastavi da se poboljšava.
„Naši terenski testovi u različitim zgradama pokazali su kako radio sensing može biti bolji tamo gde se tradicionalni senzori bore“, kaže Liu. „Sistem održava precizno praćenje kroz dim i čak može mapirati prostore sa staklenim zidovima.
To je zato što radio talase nije lako blokirati česticama u vazduhu, a sistem čak može da „uhvati“ stvari koje LiDAR ne može, poput staklenih površina. Visoka rezolucija PanoRadar-a takođe znači da može precizno otkriti ljude, što je kritična karakteristika za aplikacije kao što su autonomna vozila i spasilačke misije u opasnim okruženjima.
Gledajući unapred, tim planira da istraži kako bi PanoRadar mogao da radi zajedno sa drugim senzorskim tehnologijama kao što su kamere i LiDAR, stvarajući robusnije, multimodalne sisteme percepcije za robote. Tim takođe proširuje svoje testove na različite robotske platforme i autonomna vozila.
„Za zadatke sa visokim ulozima ključno je imati više načina za otkrivanje okoline“, kaže Zhao. „Svaki senzor ima svoje prednosti i slabosti, a inteligentnim kombinovanjem njih možemo kreirati robote koji su bolje opremljeni da se nose sa izazovima u stvarnom svetu.“
