Istraživači sa MIT-a otkrili su da modeli velikih jezika (LLM) mogu ponuditi efikasno rešenje za otkrivanje anomalija u podacima vremenskih serija, kao što su oni generisani vetroturbinama u vetroparkovima. Njihova studija istražuje upotrebu LLM-ova, kao što je GPT-4, za identifikaciju potencijalnih problema u opremi bez potrebe za obukom složenih modela dubokog učenja.
U okviru istraživanja, razvijen je okvir nazvan SigLLM koji koristi LLM za analizu vremenskih serija podataka transformisanih u tekstualne unose. Ovo omogućava LLM-u da identifikuje anomalije i predviđa buduće tačke podataka bez potrebe za dodatnom obukom specifičnom za zadatak.
SigLLM se oslanja na auto-regresivnu prirodu LLM-ova, što im omogućava da prepoznaju obrasce i predviđaju sledeće vrednosti u sekvencijalnim podacima. Istraživači su razvili dva pristupa za detekciju anomalija: Prompter i Detektor.
- Prompter: Unosi pripremljene podatke u LLM i traži od modela da locira anomalne vrednosti. Iako je proces podešavanja upita izazovan, ovaj pristup može biti koristan za specifične vremenske serije.
- Detektor: Koristi LLM za predviđanje sledeće vrednosti iz vremenske serije i upoređuje je sa stvarnom vrednošću. Velika neslaganja sugerišu da je vrednost verovatno anomalija.
Rezultati su pokazali da je Detektor bio efikasniji od Promptera, nadmašujući AI modele zasnovane na transformatorima na sedam od 11 testiranih skupova podataka. Međutim, najsavremeniji modeli dubokog učenja su i dalje pokazali bolje performanse, što ukazuje na potrebu za daljim poboljšanjima u LLM pristupima.
Istraživači planiraju da istraže mogućnosti fino podešavanja kako bi poboljšali performanse, iako bi to zahtevalo dodatne resurse. Takođe nameravaju da unaprede brzinu obrade rezultata i da bolje razumeju kako LLM-ovi vrše detekciju anomalija.
Sara Alnegheimish, glavna autorka rada, naglasila je potencijal LLM-ova za složene zadatke poput otkrivanja anomalija, dok Kalian Veeramachaneni ističe da je još potrebno puno posla da bi LLM-ovi postigli nivo performansi najsavremenijih modela dubokog učenja.
