Istraživači Skoltech-a obučili su neuronsku mrežu da traži patologije pluća na rendgenskim slikama i osmisli kratke verbalne opise koji će ih pratiti. Ovaj zadatak trenutno obavljaju lekari i potrebno je nekoliko minuta da se završi. Prema kreatorima rešenja veštačke inteligencije, tehnologija smanjuje ovo vreme na oko 30 sekundi kada nije potrebna značajna revizija teksta. U većini slučajeva, radiolog samo treba da potvrdi predloženu dijagnozu – na primer, fibrozu, uvećano srce ili sumnju na maligni tumor – ili njihovo odsustvo. Studija je objavljena u Scientific Reports.
Rešenje se oslanja na moderne modele mašinskog vida i računarske lingvistike, uključujući GPT-3 small—preteču veoma popularnih GPT-3.5 i GPT-4 modela dostupnih preko ChatGPT bota.
„Redovni modeli samo klasifikuju, ali naša neuronska mreža koristi napredne modele mašinskog vida i kompjuterske lingvistike da automatski opiše rendgenske slike rečima“, prokomentarisao je jedan od njenih kreatora, naučnik Skoltech-a, Oleg Rogov.
Neuronska mreža je obučena na podacima sastavljenim od parova slika-tekst. „Sastavili smo sopstveni radiološki rečnik kako bismo model učinili preciznijim, posebno kada je reč o radiološkim terminima i njihovoj upotrebi u tekstovima. Naravno, sastavili smo i veliku integrisanu bazu rendgenskih snimaka za korišćenje kao podatke za obuku“, dodao je Rogov. , ističući da je neuronska mreža „svesna“ samo onih dijagnoza koje se zapravo mogu manifestovati na rendgenskim snimcima pluća. Komplet za obuku je bio izbalansiran u pogledu toga koje bolesti su zastupljene.
Mogućnosti za dalji razvoj sistema uključuju njegovu primenu na MRI i CT skeniranju, kao i uključivanje aktivnog učenja. Ovo poslednje se odnosi na modele koji poboljšavaju svoja predviđanja uzimajući u obzir izmene koje prave recenzenti. Rešenje bi se takođe moglo kombinovati sa drugom neuronskom mrežom, koja bi grafički istakla oblasti od interesa pomenute u naslovu.
