Rasuđivanje, proces kroz koji ljudska bića mentalno obrađuju informacije da bi izvukli određene zaključke ili rešili probleme, može se podeliti u dve glavne kategorije. Prvi tip rezonovanja, poznat kao deduktivno rezonovanje, podrazumeva polazak od opšteg pravila ili premise, a zatim korišćenje ovog pravila za izvođenje zaključaka o konkretnim slučajevima.
To bi, na primer, moglo značiti da se gradi na premisi da „svi psi imaju uši“ i „čivave su psi“, da bi se zaključilo da „čivave imaju uši“.
Drugi široko korišćeni oblik rezonovanja je induktivno rezonovanje, koje se umesto toga sastoji od uopštavanja (tj. formulisanja opštih pravila) na osnovu specifičnih zapažanja. To bi moglo značiti, na primer, pod pretpostavkom da su svi labudovi beli jer su svi labudovi koje smo sreli tokom svog života bili beli.
Brojne prošle istraživačke studije su istraživale kako ljudi koriste deduktivno i induktivno zaključivanje u svom svakodnevnom životu. Ipak, stepen u kojem sistemi veštačke inteligencije (AI) koriste ove različite strategije rasuđivanja do sada je retko istražen.
Istraživački tim na Amazonu i Univerzitetu Kalifornije u Los Anđelesu nedavno je sproveo studiju koja istražuje fundamentalne sposobnosti zaključivanja velikih jezičkih modela (LLM), velikih sistema veštačke inteligencije koji mogu da obrađuju, generišu i prilagođavaju tekstove na ljudskim jezicima. Njihovi nalazi, objavljeni na serveru za preprint arXiv, sugerišu da ovi modeli imaju snažne sposobnosti induktivnog zaključivanja, dok često pokazuju loše deduktivno zaključivanje.
Cilj rada je bio da se bolje razumeju praznine u LLM rezonovanju i da se identifikuje zašto LLM pokazuju niže performanse za „kontračinjenične“ zadatke rezonovanja koji odstupaju od norme.
Različite prethodne studije procenjivale su veštine deduktivnog rezonovanja LLM testirajući njihovu sposobnost da prate uputstva kao deo osnovnih zadataka rezonovanja. Ipak, njihovo induktivno rezonovanje (tj. njihova sposobnost da naprave opšta predviđanja na osnovu informacija koje su obrađivali u prošlosti) nije bilo pomno ispitano.
Da bi jasno razlikovali induktivno zaključivanje od deduktivnog, istraživači su predstavili novi model, nazvan SolverLearner. Model koristi pristup u dva koraka da odvoji proces učenja pravila od procesa njihove primene na specifične slučajeve. Konkretno, pravila se primenjuju preko spoljnih alata, kao što su tumači koda, kako bi se izbeglo oslanjanje na sposobnost deduktivnog zaključivanja LLM-a, kaže portparol Amazona.
Koristeći SolverLearner okvir koji su razvili, tim u Amazonu je obučio LLM da nauče funkcije koje mapiraju tačke ulaznih podataka do njihovih odgovarajućih izlaza, koristeći specifične primere. Ovo im je zauzvrat omogućilo da istraže u kojoj meri modeli mogu da nauče opšta pravila na osnovu primera koji su im dati.
Istraživači su otkrili da LLM imaju jaču sposobnost induktivnog zaključivanja od deduktivnog, posebno za zadatke koji uključuju „protivčinjenične“ scenarije koji odstupaju od norme. Ovi nalazi mogu pomoći ljudima da bolje razumeju kada i kako da koriste LLM. Na primer, kada dizajnirate sisteme agenata, kao što su chatbotovi, možda bi bilo bolje iskoristiti snažne induktivne sposobnosti LLM-a.
Sve u svemu, istraživači su otkrili da su LLM-i izuzetno dobro radili na zadacima induktivnog rezonovanja, ali su im često nedostajale sposobnosti deduktivnog rezonovanja. Činilo se da je njihovo deduktivno zaključivanje bilo posebno loše u scenarijima koji su bili zasnovani na hipotetičkim pretpostavkama ili su odstupali od norme.
Rezultati prikupljeni kao deo ove studije mogli bi da inspirišu programere veštačke inteligencije da iskoriste snažne sposobnosti induktivnog rezonovanja LLM-a za rešavanje specifičnih zadataka. Pored toga, oni bi mogli da utro put za dalje napore usmerene na razumevanje procesa zaključivanja LLM.
Prema glasnogovorniku Amazona, buduća istraživanja u ovoj oblasti mogla bi se fokusirati na istraživanje kako je sposobnost LLM-a da komprimuje informacije povezana sa njegovim jakim induktivnim sposobnostima. Ova perspektiva može dodatno poboljšati sposobnosti induktivnog zaključivanja LLM-a.
