Tim stručnjaka za veštačku inteligenciju u Google-ovom DeepMind-u razvio je sistem zasnovan na veštačkoj inteligenciji pod nazivom SAFE koji se može koristiti za proveru činjenica o rezultatima LLM-a kao što je ChatGPT. Grupa je objavila rad koji opisuje novi sistem veštačke inteligencije i koliko je dobro radio na arXiv serveru za preprint.
Veliki jezički modeli kao što je ChatGPT bili su u vestima dosta u poslednjih nekoliko godina – mogu da pišu radove, daju odgovore na pitanja, pa čak i rešavaju matematičke probleme. Ali oni pate od jednog velikog problema: tačnosti. Svaki rezultat dobijen od strane LLM-a mora se ručno proveriti da bi se osiguralo da su rezultati tačni, što je atribut koji u velikoj meri smanjuje njihovu vrednost.
U ovom novom naporu, istraživači u DeepMind-u su kreirali AI aplikaciju koja može da proverava rezultate odgovora koje su dali LLM i automatski ukazuje na netačnosti.
Jedan od glavnih načina na koji ljudi koji koriste rezultate provere činjenica LLM-a je istraživanje odgovora veštačke inteligencije pomoću pretraživača kao što je Google da bi pronašli odgovarajuće izvore za verifikaciju. Tim u DeepMind-u je zauzeo isti pristup. Napravili su LLM koji razlaže tvrdnje ili činjenice u odgovoru koji je dao originalni LLM, a zatim su koristili Google pretragu da pronađu sajtove koji bi se mogli koristiti za verifikaciju, a zatim uporedili dva odgovora da bi se utvrdila tačnost. Oni svoj novi sistem nazivaju Search-Augmented Factuality Evaluator (SAFE).
Da bi testirao svoj sistem, istraživački tim ga je koristio da proveri približno 16.000 činjenica sadržanih u odgovorima nekoliko LLM. Uporedili su svoje rezultate sa ljudskim (kupovinim) proveravačima činjenica i otkrili da SAFE odgovara nalazima ljudi u 72% vremena. Prilikom testiranja neslaganja između SAFE i ljudskih dama, istraživači su otkrili da je SAFE onaj koji je bio tačan u 76% vremena.
Tim u DeepMind-u je učinio da kod za SAFE bude dostupan svima koji odluče da iskoriste njegove mogućnosti objavljivanjem na veb lokaciji otvorenog koda GitHub.
