Kako AI može pomoći u mapiranju znakovnih jezika

Kako AI može pomoći u mapiranju znakovnih jezika

Kao i govorni jezici, znakovni jezici evoluiraju organski i nemaju uvek isto poreklo. Ovo proizvodi različite načine komunikacije i beleški. Ovo je tema doktorske studije Manolisa Fragkiadakisa. teza.

„Suprotno onome što mnogi ljudi pretpostavljaju, u stvari ne postoji univerzalni znakovni jezik“, kaže Fragkiadakis. „Znakovni jezik može biti još više fragmentiran od govornog jezika: može postojati više jezika u istoj zemlji. Fragmentacija otežava kodifikaciju znakovnog jezika ili akademsko pisanje o njemu. Želimo da to promenimo.“

„Stoga smo napravili alatku za rečnike za znakovne jezike“, objašnjava Fragkiadakis. „Za ovo koristimo mašinsko učenje, oblik veštačke inteligencije. Analizom položaja i pokreta zglobova u rukama koji potpisuju, sistem mora da identifikuje koja reč sa kog jezika se potpisuje.“

Pokazalo se da ovo nije nimalo jednostavno. „Tehnološki razvoj poslednjih godina još uvek nije kompatibilan sa znakovnim jezikom, tako da je i dalje spor“, objašnjava Fragkiadakis. „Veliki jezički modeli koje trenutno imamo obučeni su samo za jedan znakovni jezik i, u većini video materijala koji se koristi za ovo, vidite potpisnika kako stoji tačno ispred kamere, tako da se znakovi lako vide.

„U mom istraživanju, obučili smo AI na više znakovnih jezika i na više govornika. Za ovo je kamera bila pozicionirana između dva zvučnika, tako da je AI morala biti u stanju da izvuče iste informacije sa različite pozicije.“

Za sada, ova tehnika je uglavnom rezultirala saznanjem više informacija o različitim znakovnim jezicima, ali za budućnost Fragkiadakis predviđa i praktičnu primenu unutar zajednice znakovnih jezika. „U budućnosti, AI bi mogla da pomogne u prepoznavanju i zajedničkih i razlika između različitih znakovnih jezika, pomažući komunikaciji između korisnika.

Pored toga, Fragkiadakis kaže da je korisno što je njegovo istraživanje pomoglo da se bolje identifikuju razlike između znakovnih jezika. Na primer, kakvu ulogu igra kultura? „Ja sam Grk, pa koristim dosta prostora da potpišem“, kaže Fragkiadakis, „ovo može da promeni značenje onoga što želim da kažem. Veći gestovi mogu da signaliziraju, na primer, da neko „viče“, ali ne ne mora biti.“

Na kraju krajeva, ovo znanje bi trebalo da poboljša dostupnost znakovnog jezika. „Nadamo se da ćemo ovim istraživanjem moći da učinimo znakovni jezik dostupnijim svima, od akademika do svakodnevnih govornika. Još uvek ima premalo znanja o karakteristikama različitih znakovnih jezika i želimo da to promenimo.“