Istraživači sa Stanford Engineering-a razvili su model obučen od veštačke inteligencije kako bi precizno rekonstruisali pokrete ruku pijanista elitnog nivoa i fizički stres koji trpe dok sviraju.
Profesionalni pijanisti provode bezbroj sati za tasterima, usavršavajući svoj zanat. Za ljude sa manjim rukama, ova posvećenost može uzeti fizički danak. Ponovljeno istezanje do udaljenih tastera akorda može da napreže mišiće i zglobove i može dovesti do tendonitisa, sindroma karpalnog tunela i drugih povreda.
Istraživači sa Stanforda rade na tome da razumeju sile uključene u pokrete ruku elitnih klavirista i kako se one menjaju sa različitim veličinama ruku i širinama tastature. 5. decembra na sajmu SIGGRAPH Asia 2024, istraživači Stanford Engineeringa predstavili su model obučen AI koji može da rekonstruiše pokrete ruku koji su potrebni za sviranje komplikovanih muzičkih dela i fizičkih stresova pod kojima su te ruke.
Ovo je prvi korak u nastojanju da se smanji rizik od dugotrajnih povreda kod svirača pijanista i rešenja za testiranje – kao što su uže klavijature – koja bi mogla učiniti sviranje klavira pravičnijim za sve.
„Nikada ne bismo očekivali da se sportista svetske klase takmiči sa opremom koja ne odgovara njihovom telu. Ipak, tražimo od pijanista, posebno žena, da se prilagode dizajnu koji odgovara svima koji nikada nisu napravljeni sa njima na umu, “ rekla je Elizabet Šuman, Bili Benet Ahiles, direktorka studija klavijature na Stanfordu i koautorka rada. „Ovakva istraživanja možemo koristiti da preoblikujemo budućnost performansi i učinimo je održivijom.
Moderna klavirska klavijatura dizajnirana je u 19. veku imajući na umu prosečnog evropskog čoveka. Danas se procenjuje da 87% odraslih žena i 24% odraslih muškaraca ima ruke koje su manje od idealnih za standardni klavir. Korišćenje tradicionalnih metoda za proučavanje uticaja manjih ruku zahtevalo bi praćenje grupe pijanista decenijama, a i dalje bi moglo biti teško kvantifikovati rizike od povreda ili testirati rešenja.
Umesto toga, istraživači su snimili pokrete ruku profesionalnih pijanista i koriste veštačku inteligenciju da predvide kako će se različite veličine ruku kretati da bi svirale novu muziku.
Šuman i njene kolege regrutovale su 15 elitnih pijanista da sviraju ukupno 10 sati muzike dok su kamere snimale njihove ruke iz svakog ugla. Istraživači nisu mogli da stave nikakve senzore na igrače a da to potencijalno ne ometa njihov učinak, pa su koristili napredne tehnike kompjuterskog vida da kombinuju video zapise i rekonstruišu pokrete ruku igrača u tri dimenzije. Koristili su dodatnu obradu kako bi bili sigurni da su ti pokreti savršeno sinhronizovani sa zvukom.
„Kvalitet podataka koji smo uspeli da postignemo je bez presedana“, rekla je Karen Liu, profesorka računarskih nauka na Stanfordu i vodeći autor rada. „Ne radi se samo o tome da su rekonstruisani 3D pokreti tačni i čisti; kvalitet samog izvođenja je zaista izvanredan. Uspeli smo da uhvatimo različite pokrete grupe talentovanih muzičara koji nastupaju na visokom nivou—nisam video skup podataka kao što je to u prošlosti“.
Roucheng Vang, diplomirani student u Liuovoj laboratoriji, i Pei Ksu, postdoktorski istraživač, koristili su ovaj skup podataka da obuče model da precizno generiše nove podatke o sviranju klavira. Kada su modelu dali notne zapise koje nikada nisu videli, kao što je Betovenova „Fur Elise“, model je mogao da obezbedi ispravne 3D pokrete ruke potrebne za sviranje dela, koristeći simulirani klavir za generisanje zvuka.
„Bio sam tako zapanjen koliko precizno ovaj model može da simulira tehniku na elitnom nivou“, rekao je Šuman. „Zaista je neverovatno.“
Ovaj model je samo prvi korak za Liua, Šumana i njihove kolege. U ovom trenutku, model može fizički da simulira pokrete ruku, ali ne simulira mišiće i tetive koji stvaraju te pokrete ili naprezanje kojem su izloženi.
„Još nismo na nivou biomehanike, gde se aktiviranje ruku generiše od mišića – trenutno je naš model više kao robot koji direktno generiše obrtni moment na zglobovima“, rekao je Liu. „Na kraju, naš model treba da bude u stanju da predvidi nivo napetosti mišića i potencijal povrede.“
Istraživači trenutno rade na tome da dodaju ove slojeve svom modelu kako bi mogli da ga koriste da pomognu klaviristima – posebno onima sa malim rukama – da izbegnu povrede. Oni takođe prilagođavaju svoj rad modelu pokreta drugih spretnih muzičara. Oni su primenili neke od istih tehnika na postojeći skup podataka o pokretima ruku visoko kvalifikovanih gitarista.
Njihovi rezultati, koji su takođe nedavno predstavljeni na SIGGRAPH Asia 2024, pokazali su da mogu uspešno da modeliraju različite pokrete leve i desne ruke potrebne za sviranje raznovrsne popularne i klasične muzike.
„Sa visokokvalitetnim podacima mogli bismo da modelujemo 3D pokrete potrebne i za druge vrste muzičkog izvođenja“, rekao je Liu. „Ovo nije model koji zamenjuje ljude – mi radimo sa muzičarima kako bismo pomogli u razumevanju i rešavanju problema. Ovaj projekat je o unapređenju ljudi, a veštačka inteligencija je samo alat za to.“
