Međunarodni istraživački tim dizajnirao je sistem dubokog učenja koji je u stanju da otkrije prirodne katastrofe koristeći slike objavljene na društvenim medijima. Istraživači su primenili alate za kompjuterski vid koji su se, kada su obučeni koristeći 1,7 miliona fotografija, pokazali sposobnim za analizu, filtriranje i otkrivanje stvarnih katastrofa. Rad je objavljen u časopisu IEEE Transactions on Pattern Analisis and Machine Intelligence.
Jedan od istraživača na projektu, koji je predvodio Tehnološki institut Masačusetsa (MIT), bila je Agata Lapedriza, vođa istraživačke grupe AIVELL specijalizovane za veštačku inteligenciju za dobrobit ljudi, pridružene Centru za e-zdravstvo, i član Fakultet računarskih nauka, multimedije i telekomunikacija na Universitat Oberta de Catalunia (UOC).
Kako globalno zagrevanje napreduje, prirodne katastrofe kao što su poplave, tornada i šumski požari su sve češće i razornije. Pošto još uvek ne postoje alati za predviđanje gde i kada će se takvi incidenti dogoditi, od vitalnog je značaja da hitne službe i agencije za međunarodnu saradnju mogu brzo i efikasno da reaguju kako bi spasile živote. „Na sreću, tehnologija može da igra ključnu ulogu u ovim situacijama. Objave na društvenim mrežama mogu da se koriste kao izvor podataka male latencije da bi se razumeo napredak i posledice katastrofe“, objasnio je Lapedriza.
Prethodno istraživanje je bilo fokusirano na analizu tekstualnih postova, ali ovo istraživanje je otišlo dalje. Tokom boravka u MIT Laboratoriji za računarske nauke i veštačku inteligenciju, Lapedriza je doprineo razvoju taksonomije incidenata i baze podataka koja se koristi za obuku modela dubokog učenja, i izvela eksperimente za validaciju tehnologije.
Istraživači su napravili listu sa 43 kategorije incidenata, uključujući prirodne katastrofe (lavine, peščane oluje, zemljotresi, vulkanske erupcije, suše, itd.), kao i nesreće koje uključuju neki element ljudske intervencije (avionske nesreće, građevinske nesreće itd.). Ova lista, zajedno sa 49 kategorija mesta, omogućila je istraživačima da označe slike koje se koriste za obuku sistema.
Autori su kreirali bazu podataka, nazvanu Incidents1M, sa 1.787.154 slike koje su zatim korišćene za obuku modela detekcije incidenata. Među ovim slikama, 977.088 je imalo najmanje jednu pozitivnu oznaku koja ih povezuje sa jednom od klasifikacija incidenta, dok je 810.066 imalo klasno negativne oznake. U međuvremenu, za kategorije mesta, 764.124 slike imale su klasno pozitivne oznake, a 1.023.030 su bile klasno negativne.
Ove negativne oznake značile su da sistem može biti obučen da eliminiše lažne pozitivne rezultate; na primer, fotografija kamina ne znači da kuća gori, iako ima neke vizuelne sličnosti. Kada je baza podataka napravljena, tim je obučio model za otkrivanje incidenata „na osnovu paradigme učenja sa više zadataka i korišćenjem konvolucione neuronske mreže (CNN)“.
Kada je model dubokog učenja bio obučen za otkrivanje incidenata na slikama, tim je sproveo niz eksperimenata da ga testira, ovog puta koristeći ogromnu količinu slika preuzetih sa društvenih medija, uključujući Flickr i Tvitter. „Naš model je mogao da koristi ove slike za otkrivanje incidenata i proverili smo da li odgovaraju specifičnim, zabeleženim incidentima, kao što su zemljotresi u Nepalu i Čileu 2015. godine“, rekao je Lapedriza.
Koristeći stvarne podatke, autori su demonstrirali potencijal alata zasnovanog na dubokom učenju za dobijanje informacija sa društvenih medija o prirodnim katastrofama i incidentima koji zahtevaju humanitarnu pomoć. „Ovo će pomoći organizacijama za humanitarnu pomoć da efikasnije saznaju šta se dešava tokom katastrofa i poboljšaju način na koji se upravlja humanitarnom pomoći kada je to potrebno“, rekla je ona.
Nakon ovog dostignuća, sledeći izazov bi mogao da bude, na primer, korišćenje istih slika poplava, požara ili drugih incidenata kako bi se automatski utvrdila ozbiljnost incidenata ili čak da bi se efikasnije pratili tokom vremena. Autori su takođe predložili da bi naučna zajednica mogla da prati istraživanje kombinovanjem analize slika sa analizom pratećeg teksta, kako bi se omogućila preciznija klasifikacija.
