Sa brzim napretkom veštačke inteligencije, sistemi bez posade kao što su autonomna vožnja i otelotvorena inteligencija se kontinuirano promovišu i primenjuju u scenarijima iz stvarnog sveta, što dovodi do novog talasa tehnološke revolucije i industrijske transformacije. Vizuelna percepcija, osnovno sredstvo za prikupljanje informacija, igra ključnu ulogu u ovim inteligentnim sistemima. Međutim, postizanje efikasne, precizne i robusne vizuelne percepcije u dinamičnim, raznolikim i nepredvidivim okruženjima ostaje otvoren izazov.
U scenarijima otvorenog sveta, inteligentni sistemi moraju ne samo da obrađuju ogromne količine podataka, već i da se bave raznim ekstremnim događajima, kao što su iznenadne opasnosti, drastične promene svetla na ulazima u tunele i snažne smetnje blica noću u scenarijima vožnje.
Tradicionalni vizuelni senzorski čipovi, ograničeni „zidom napajanja“ i „zidom propusnog opsega“, često se suočavaju sa problemima izobličenja, otkaza ili velike latencije kada se bave ovim scenarijima, što ozbiljno utiče na stabilnost i bezbednost sistema.
Da bi se suočio sa ovim izazovima, Centar za kompjuterska istraživanja inspirisana mozgom (CBICR) na Univerzitetu Tsinghua fokusirao se na tehnologije senzora vida inspirisane mozgom i predložio inovativnu komplementarnu paradigmu sensinga koja se sastoji od primitivne reprezentacije i dva komplementarna vizuelna puta.
Istraživački rad zasnovan na ovim rezultatima, „Vision Chip sa komplementarnim putevima za otkrivanje otvorenog sveta“, predstavljen je kao naslovni članak u izdanju Prirode od 30. maja 2024.
Inspirisan osnovnim principima ljudskog vizuelnog sistema, ovaj pristup razlaže vizuelne informacije na primitivne vizuelne predstave. Kombinujući ove primitive, on oponaša karakteristike ljudskog vizuelnog sistema, formirajući dva komplementarna i informaciono potpuna putanja vizuelne percepcije.
Na osnovu ove nove paradigme, CBICR je razvio prvi svetski čip za komplementarnu viziju inspirisan mozgom, Tianmouc. Ovaj čip postiže brzu akviziciju vizuelnih informacija pri 10.000 frejmova u sekundi, 10-bitnu preciznost i visok dinamički opseg od 130 dB, sve dok smanjuje propusni opseg za 90% i održava nisku potrošnju energije. On ne samo da prevazilazi uska grla u performansama tradicionalnih paradigmi vizuelnog sensinga, već i efikasno obrađuje različite ekstremne scenarije, osiguravajući stabilnost i sigurnost sistema.
Koristeći Tianmouc čip, tim je razvio softver i algoritme visokih performansi i potvrdio njihove performanse na platformi za percepciju montiranu na vozilo koja radi u otvorenim okruženjima. U različitim ekstremnim scenarijima, sistem je pokazao percepciju u realnom vremenu sa malim kašnjenjem i visokim performansama, pokazujući svoj ogroman potencijal za aplikacije u oblasti inteligentnih bespilotnih sistema.
Uspešan razvoj Tianmouc-a je značajan napredak u oblasti vizuelnih senzorskih čipova. Ne samo da pruža snažnu tehnološku podršku za unapređenje inteligentne revolucije, već i otvara nove puteve za ključne aplikacije kao što su autonomna vožnja i utelotvorena inteligencija.
U kombinaciji sa CBICR-ovom uspostavljenom tehnološkom osnovom u kompjuterskim čipovima inspirisanim mozgom kao što su Tianjic, lanci alata i robotika inspirisana mozgom, dodatak Tianmouc-a će dodatno poboljšati ekosistem inteligencije inspirisan mozgom, snažno pokretajući napredak veštačke opšte inteligencije.
