Novi bio-inspirisani senzor može prepoznati pokretne objekte u jednom kadru iz video zapisa i uspešno predvideti gde će se oni kretati. Ovaj pametni senzor, opisan u Nature Communications dokumentu, biće vredan alat u nizu oblasti, uključujući dinamičko detektovanje vida, automatsku inspekciju, kontrolu industrijskog procesa, robotsko navođenje i tehnologiju autonomne vožnje.
Sadašnjim sistemima za detekciju pokreta potrebne su mnoge komponente i složeni algoritmi koji rade analize okvir po kadar, što ih čini neefikasnim i energetski intenzivnim. Inspirisani ljudskim vizuelnim sistemom, istraživači sa Univerziteta Aalto razvili su novu tehnologiju neuromorfnog vida koja integriše sensing, memoriju i obradu u jednom uređaju koji može da detektuje kretanje i predvidi putanje.
U osnovi njihove tehnologije je niz fotomemristora, električnih uređaja koji proizvode električnu struju kao odgovor na svetlost. Struja ne prestaje odmah kada se svetlo isključi. Umesto toga, on se postepeno raspada, što znači da fotomemristori mogu efikasno da „zapamte“ da li su nedavno bili izloženi svetlosti. Kao rezultat toga, senzor napravljen od niza fotomemristora ne snima samo trenutne informacije o sceni, kao što to čini kamera, već uključuje i dinamičku memoriju prethodnih trenutaka.
„Jedinstveno svojstvo naše tehnologije je njena sposobnost da integriše seriju optičkih slika u jedan kadar“, objašnjava Hongvei Tan, naučni saradnik koji je vodio studiju. „Informacije o svakoj slici su ugrađene u sledeće slike kao skrivene informacije. Drugim rečima, poslednji kadar u video snimku takođe ima informacije o svim prethodnim kadrovima. To nam omogućava da detektujemo kretanje ranije u videu analizirajući samo poslednji kadar sa jednostavnom veštačkom neuronskom mrežom. Rezultat je kompaktna i efikasna senzorska jedinica.“
Da bi demonstrirali tehnologiju, istraživači su koristili video zapise koji prikazuju slova reči jedno po jedno. Pošto su se sve reči završavale slovom „E“, završni kadar svih video snimaka je izgledao slično. Konvencionalni senzori vida nisu mogli da utvrde da li se „E“ na ekranu pojavilo posle drugih slova u „JABUKA“ ili „GROŽĐE“. Ali niz fotomemristora mogao bi da koristi skrivene informacije u konačnom kadru da zaključi koja su mu slova prethodila i da predvidi šta je reč sa skoro 100% tačnošću.
U drugom testu, tim je pokazao video snimke senzora simulirane osobe koja se kreće tri različite brzine. Ne samo da je sistem bio u stanju da prepozna kretanje analizom jednog kadra, već je i tačno predvideo sledeće kadrove.
Precizno otkrivanje kretanja i predviđanje gde će se objekat nalaziti su od vitalnog značaja za samovozeću tehnologiju i inteligentni transport. Autonomnim vozilima su potrebna precizna predviđanja o tome kako će se automobili, bicikli, pešaci i drugi objekti kretati da bi vodili svoje odluke. Dodavanjem sistema mašinskog učenja nizu fotomemristora, istraživači su pokazali da njihov integrisani sistem može predvideti buduće kretanje zasnovano na senzorskoj obradi okvira sa svim informacijama.
„Prepoznavanje pokreta i predviđanje pomoću našeg kompaktnog in-senzorskog memorijskog i računarskog rešenja pruža nove mogućnosti u autonomnoj robotici i interakcijama čoveka i mašine“, kaže profesor Sebastijan van Dajken. „Informacije u okviru koje dobijamo u našem sistemu pomoću fotomemristora izbegavaju suvišne tokove podataka, omogućavajući energetski efikasno donošenje odluka u realnom vremenu.“
