Grupa za robotiku i trodimenzionalnu viziju Univerziteta u Alikanteu (UA) (RoViT) dizajnirala je prvu aplikaciju koja je sposobna da prepozna i tumači špansko pismo znakovnog jezika (poznato pod akronimom LSE) u realnom vremenu.
Aplikacija se zove Sign4all i predstavlja napredak koji pomaže da se razbiju komunikacijske barijere između gluvih i čujućih osoba u svakodnevnim situacijama kao što su odlazak kod lekara ili jedenje u restoranu. Prema najnovijem istraživanju o invaliditetu, ličnoj autonomiji i situacijama zavisnosti španskog nacionalnog instituta za statistiku (INE), u Španiji ima 1.230.000 ljudi sa oštećenjem sluha različitih vrsta i stepena. Od toga, 27.300 ljudi koristi znakovni jezik za komunikaciju.
Zahvaljujući upotrebi različitih kompjuterskih vidova i tehnika dubokog učenja, dr. računarski inženjer i istraživač UA Ester Martinez, zajedno sa dr. student Francisco Morillas, razvio je ovaj jeftin alat kako bi mogao da ponudi pomoć gluvim osobama kada im ne može pomoći prevodilac.
Sign4all, nakon izdvajanja detalja skeleta ruku i šaka, kodira levu stranu tela plavom, a desnu crvenom, čuvajući anonimnost korisnika u svakom trenutku. Od ovog trenutka, aplikacija prevodi znak koji koristi gluva osoba u realnom vremenu iu suprotnom smeru. Može da koristi virtuelni avatar za potpisivanje španskih reči koje je otkucala osoba koja čuje. Ideja je da se ceo ovaj proces može obaviti preuzimanjem aplikacije i korišćenjem kamere samog mobilnog telefona ili tableta, tako da se može koristiti bilo gde, kako je objasnio Martinez.
Prema istraživaču UA, nakon mnogih testova, Sign4all uspeva da protumači i prepozna LSE alfabet sa tačnošću od 80%. Iako ovaj rezultat odgovara daktilološkom alfabetu, oni rade na verziji sa specifičnim vokabularom koji pripada oblasti svakodnevnih zadataka gde mogu da tumače kompletne rečenice.
UA tim je mesecima trenirao ovaj novi sistem, uvodeći sve više znakova. U tom smislu, nastala je saradnja sa Istraživačkom grupom za španski jezik i znakovne jezike Univerziteta u Vigu (GRILES), timom sa velikim iskustvom u proučavanju ovog jezika i njegovoj upotrebi na različitim teritorijama. Univerzitet u Vigu prikuplja slike sa prevodiocima, a UA obrađuje sve ove podatke. Na ovaj način, rečnik LSE sistema za prepoznavanje i tumačenje može se mnogo brže poboljšati i proširiti.
