Roboti se razvijaju kako bi mogli uspešno obavljati različite svakodnevne zadatke, od kućnih aktivnosti do industrijskih procesa. Obuka robota za manipulaciju tkaninom je izazovna, a tradicionalni pristupi zahtevaju velike količine ljudskih demonstracionih podataka. Tim istraživača je predstavio novi pristup koji koristi video snimke ljudskih aktivnosti sa interneta kako bi olakšao obuku robota. Ovaj pristup, nazvan Real2Sim, Learn@Sim i Sim2Real, omogućava robotima da uče iz proizvoljnih video zapisa i primenjuju naučene veštine manipulacije u realnom svetu.
Real2Sim prati kretanje objekta u video snimku i replikira ga u simulaciji, dok Learn@Sim uči tačke hvatanja i postavljanja. Na kraju, Sim2Real omogućava primenu naučenih veština na pravom robotu. Ovaj pristup je testiran na zadatku vezivanja kravate i pokazao se uspešnim. Učenje iz proizvoljnih video zapisa, umesto specifičnih za određeno okruženje, otvara nove mogućnosti za obuku robota.
Budući radovi će se fokusirati na proširenje ovog pristupa na druge složene zadatke manipulacije robotima. Realistično simuliranje sveta u obuci robota može poboljšati efikasnost prikupljanja podataka i prenos naučenih veština na realne robote. Ovaj novi pristup ima potencijal da unapredi sposobnosti robota i omogući im da uspešno obavljaju različite zadatke u realnom svetu.
