Istraživači predvođeni Univerzitetom Kalifornije u San Dijegu razvili su novi model koji obučava četvoronožne robote da vide jasnije u 3D. Napredak je omogućio robotu da autonomno prelazi izazovan teren sa lakoćom – uključujući stepenice, kamenito tlo i staze ispunjene prazninama – dok raščišćava prepreke na svom putu.
Istraživači će predstaviti svoj rad na Konferenciji o kompjuterskom vidu i prepoznavanju uzoraka (CVPR) 2023., koja će se održati od 18. do 22. juna u Vankuveru, Kanada.
„Pružajući robotu bolje razumevanje njegovog okruženja u 3D, on se može primeniti u složenijim okruženjima u stvarnom svetu“, rekao je stariji autor studije Ksiaolong Vang, profesor elektrotehnike i računarskog inženjerstva na UC San Diego Jacobs School of Engineering.
Robot je opremljen dubinskom kamerom okrenutom napred na glavi. Kamera je nagnuta nadole pod uglom koji joj daje dobar pogled na scenu ispred nje i na teren ispod nje.
Da bi poboljšali 3D percepciju robota, istraživači su razvili model koji prvo uzima 2D slike iz kamere i prevodi ih u 3D prostor. To radi tako što gleda kratku video sekvencu koja se sastoji od trenutnog kadra i nekoliko prethodnih kadrova, a zatim izdvaja delove 3D informacija iz svakog 2D kadra. To uključuje informacije o pokretima nogu robota kao što su ugao zgloba, brzina zgloba i udaljenost od tla. Model upoređuje informacije iz prethodnih okvira sa informacijama iz trenutnog okvira da bi procenio 3D transformaciju između prošlosti i sadašnjosti.
Model spaja sve te informacije tako da može da koristi trenutni okvir za sintezu prethodnih okvira. Kako se robot kreće, model proverava sintetizovane kadrove u odnosu na kadrove koje je kamera već snimila. Ako se dobro slažu, onda model zna da je naučio ispravan prikaz 3D scene. U suprotnom, vrši ispravke dok ne popravi stvari.
3D prikaz se koristi za kontrolu kretanja robota. Sintetizujući vizuelne informacije iz prošlosti, robot je u stanju da zapamti ono što je video, kao i radnje koje su njegove noge preduzele ranije, i da koristi tu memoriju da obavesti svoje sledeće poteze.
„Naš pristup omogućava robotu da izgradi kratkoročnu memoriju svog 3D okruženja kako bi mogao da deluje bolje“, rekao je Vang.
Nova studija se zasniva na prethodnom radu tima, gde su istraživači razvili algoritme koji kombinuju kompjuterski vid sa propriocepcijom – što uključuje osećaj pokreta, pravca, brzine, lokacije i dodira – kako bi omogućili četvoronožnom robotu da hoda i trči po neravnom terenu. uz izbegavanje prepreka. Napredak je u tome što poboljšanjem 3D percepcije robota (i kombinovanjem sa propriocepcijom), istraživači pokazuju da robot može da pređe izazovniji teren nego ranije.
„Ono što je uzbudljivo je to što smo razvili jedan model koji može da se nosi sa različitim vrstama izazovnih okruženja“, rekao je Vang. „To je zato što smo stvorili bolje razumevanje 3D okruženja koje robota čini svestranijim u različitim scenarijima.“
Međutim, pristup ima svoja ograničenja. Vang napominje da njihov trenutni model ne vodi robota do određenog cilja ili odredišta. Kada je raspoređen, robot jednostavno ide ravnom putanjom i ako vidi prepreku, izbegava je tako što se udaljava drugom ravnom putanjom. „Robot ne kontroliše tačno kuda ide“, rekao je on. „U budućem radu, želeli bismo da uključimo više tehnika planiranja i završimo navigacioni cevovod.
Koautori rada su Ruihan Jang, UC San Diego, i Ge Jang, Masačusetski institut za tehnologiju.
