Novi oblik nadzora istražuje daljinsko dešifrovanje razgovora putem vibracija slušalice mobilnog telefona. Tim sa Pensilvanijskog univerziteta pokazao je da se transkripcije poziva mogu generisati iz radarskih merenja na udaljenosti do 3 metra.
Istraživači su objavili svoje nalaze na konferenciji WiSec 2025, koja se fokusira na bezbednost i privatnost u bežičnim mrežama. Ovaj rad se oslanja na projekat iz 2022. godine, kada je tim koristio radarski senzor i softver za prepoznavanje glasa kako bi identifikovao 10 unapred definisanih reči sa tačnošću do 83%.
„Dok razgovaramo na mobilnom telefonu, često zanemarujemo vibracije koje dolaze kroz slušalicu i uzrokuju da ceo telefon vibrira,“ rekao je prvi autor Suryoday Basak, doktorand računarstva. „Ako zabeležimo te iste vibracije koristeći daljinske radare i primenimo mašinsko učenje, možemo odrediti cele razgovore.“
Basak i njegov mentor, Mahanth Gowda, vanredni profesor računarstva, koristili su radarski senzor milimetarskog talasa, istu tehnologiju koja se koristi u autonomnim vozilima i 5G mrežama, kako bi istražili potencijal za miniaturizovane uređaje. Njihova eksperimentalna postavka je razvijena isključivo u istraživačke svrhe, uoči mogućih zloupotreba.
Istraživači su prilagodili Whisper, model prepoznavanja govora otvorenog koda, kako bi dešifrovali vibracije u prepoznatljive transkripcije. „Tokom poslednje tri godine, došlo je do ogromnog napretka u mogućnostima veštačke inteligencije i modelima prepoznavanja govora,“ dodao je Basak.
Da bi prešli sa šumovitih podataka na prepoznatljiv govor, istraživači su koristili metodu prilagođavanja modela koja im je omogućila da specijalizuju model za radarske podatke. Ova metoda je zahtevala ponovno treniranje samo 1% parametara Whisperovog modela.
Istraživači su koristili radarski senzor postavljen nekoliko stopa od telefona kako bi zabeležili suptilne vibracije dok se govor reprodukovao kroz slušalicu. Tačnost transkripcije mogla bi se dodatno poboljšati uključivanjem kontekstualnih ispravki kada je dostupno prethodno znanje o razgovoru.
