Sićušni vizuelni sistemi letećih insekata inspirisali su istraživače sa Politehničkog univerziteta u Hong Kongu (PoliU) da razviju optoelektronske neurone za percepciju dinamičkog kretanja, obogaćujući funkcije senzora vida za agilan odgovor.
Biološki vizuelni sistemi mogu efikasno da percipiraju kretanje u komplikovanom okruženju sa visokom energetskom efikasnošću. Konkretno, leteći insekti imaju visoku frekvenciju funkcije treperenja (FFF) i mogu da opažaju objekte sa velikom brzinom kretanja. Ova inspiracija prirode mogla bi da dovede do unapređenja sistema mašinskog vida sa veoma ekonomičnim hardverskim resursima. Konvencionalni sistem mašinskog vida za prepoznavanje akcija obično uključuje složene veštačke neuronske mreže kao što su „prostorne“ i „vremenske“ arhitekture proračuna toka.
Predvođen prof. Jang Čaijem, vanrednim dekanom Prirodno-matematičkog fakulteta i profesorom na Odseku za primenjenu fiziku na PoliU, istraživački tim je pokazao da optoelektronski klasifikovani neuroni mogu da obavljaju visoku brzinu prenosa informacija (>1000 bit/s) i spajaju prostorne i vremenske informacije na senzornim terminalima. Značajno je da nalaz istraživanja osnažuje funkcionalnosti koje su nedostupne u konvencionalnim senzorima slike.
Prof. Chai je rekao: „Ovo istraživanje fundamentalno produbljuje naše razumevanje bioinspirisanog računarstva. Nalazi studije doprinose potencijalnim primenama na autonomnim vozilima, koja treba da prepoznaju kretanje velike brzine u drumskom saobraćaju. Takođe, tehnologija se može koristiti za neke sisteme za nadzor .“
Sistemi mašinskog vida se obično sastoje od hardvera sa fizički odvojenim senzorima slike i jedinicama za obradu. Međutim, većina senzora može da emituje samo „prostorne“ okvire bez spajanja „vremenskih“ informacija. Akutno prepoznavanje pokreta zahteva „prostorne“ i „vremenske“ informacije o toku da se prenesu i spoje u jedinicama za obradu. Ova bioinspirisana percepcija pokreta u senzoru nudi napredak u obradi pokreta, što je bio računarski izazov koji postavlja znatne zahteve za računarske resurse.
PoliU istraživanje „Optoelektronski klasifikovani neuroni za bioinspirisanu percepciju pokreta u senzoru“ objavljeno je u Nature Nanotechnologi. Istraživački tim se fokusirao na studije o računarstvu unutar senzora za obradu vizuelnih informacija na senzornim terminalima. U drugim prethodnim studijama, tim je pokazao poboljšanje kontrasta statičnih slika i vizuelno prilagođavanje različitim intenzitetima svetlosti.
Prof. Chai je primetio: „Godinama smo radili na veštačkom vidu. Ranije smo koristili samo senzorske nizove da bismo percipirali statične slike u različitim okruženjima i poboljšali njihove karakteristike. Dalje razmatramo pitanje da li možemo da koristimo niz senzora za percepciju dinamičko kretanje. Međutim, senzorni terminali ne mogu sebi priuštiti komplikovan hardver. Zbog toga smo odlučili da istražimo sićušne vizuelne sisteme kao što su oni kod letećih insekata koji mogu agilno da percipiraju dinamičko kretanje.“
Leteći insekti kao što je Drosophila sa sićušnim sistemom vida mogu okretno prepoznati pokretni objekat mnogo brže nego što to može čovek. Konkretno, njegov vizuelni sistem se sastoji od neurona sa stepenicama (retina-lamina) koji imaju mnogo veću brzinu prenosa informacija (R) od šiljastih neurona u ljudskom vizuelnom sistemu. Sićušni vidni sistem insekata u velikoj meri smanjuje razdaljinu prenosa signala između mrežnjače (senzora) i mozga (računarska jedinica).
U suštini, stepenovani neuroni omogućavaju efikasno kodiranje temporalnih informacija na senzornim terminalima, što smanjuje prenos obilnih podataka o vidu spajanja prostorno-vremenskih (prostornih i vremenskih) informacija u jedinici za računanje. Ova bioinspirisana agilna percepcija pokreta dovodi do istraživačkog tima da razvije veštački optoelektronski stepenovani neuroni za percepciju pokreta unutar senzora.
Visoko precizno prepoznavanje pokreta je od suštinskog značaja za mašinske aplikacije kao što su automatizovana vozila i sistemi za nadzor. Istraživanje je otkrilo da dinamika naelektrisanja plitkih centara za hvatanje u fototranzistorima MoS 2 emulira karakteristike gradiranih neurona, pokazujući brzinu prenosa informacija od 1.200 bit s −1 i efektivno kodirajući informacije o vremenskom svetlu.
Kodiranjem prostorno-vremenskih informacija i unosom komprimiranih slika u veštačku neuronsku mrežu, tačnost prepoznavanja akcije dostiže 99,2%, mnogo više od prepoznavanja postignutog sa konvencionalnim senzorima slike (~50%).
Istraživanje otvara izazov u obradi pokreta koji zahteva znatne računarske resurse. Sada, veštački stepenovani neuroni omogućavaju direktno otkrivanje i kodiranje vremenskih informacija. Bioinspirisani niz senzora vida može kodirati prostorno-vremenske vizuelne informacije i prikazati konturu putanje, omogućiti percepciju kretanja sa ograničenim hardverskim resursima.
Dobijajući inspiraciju iz agilne percepcije pokreta vizuelnih sistema insekata, istraživanje donosi značajan napredak u brzini prenosa i obradi integrisanog statičkog i dinamičkog pokreta za sisteme mašinskog vida na inteligentan način.
