Prošle su skoro dve godine otkako je generativna veštačka inteligencija (AI) postala široko dostupna javnosti. Iako neki modeli, poput GPT-4, beleže uspeh na profesionalnim ispitima poput pravosudnog ispita u SAD-u, nova studija pokazuje da AI ipak nije toliko moćan u akademskim procenama kako se možda misli.
Nedavna studija istražila je akademske sposobnosti generativne AI na primeru završnog ispita iz krivičnog prava na Univerzitetu Volongong, Australija. Ispit je polagalo 225 studenata, a cilj studije bio je da se proceni kako AI odgovara na složena pravna pitanja u poređenju sa stvarnim studentima.
Ispit se sastojao iz dva dela: analize studije slučaja i niza eseja i pitanja sa kratkim odgovorima. Da bi testirao AI, istraživač je generisao deset odgovora na ispit koristeći različite AI modele — pet odgovora je kreirano jednostavnim lepljenjem pitanja u alat, dok je za ostalih pet korišćen detaljniji kontekst i uputstva kako bi se videlo da li će to poboljšati rezultate.
Odgovori AI-a su zatim anonimno predati na ocenjivanje profesorima, zajedno sa radovima stvarnih studenata. Nakon ocenjivanja, mentori nisu sumnjali da su neki radovi generisani AI, što pokazuje sposobnost AI-a da oponaša stil ljudskih odgovora. Međutim, generalni rezultati radova AI-a nisu bili impresivni.
Radovi generisani bez dodatnih podsetnika, u proseku su nadmašili samo 4,3% studenata. Od tih radova, dva su jedva položila, dok tri nisu uspela. Radovi koji su generisani uz dodatne upute i kontekst prošli su nešto bolje, nadmašivši 39,9% studenata, a neki su postigli solidne rezultate, od 73% do 78%.
Studija pokazuje da, iako AI može dobro obavljati jednostavne zadatke poput pisanja eseja, on se i dalje bori sa složenim zadacima koji zahtevaju dublje razumevanje, kritičko mišljenje i pravnu analizu. Ovi rezultati naglašavaju da, iako AI može biti koristan alat, on ne može u potpunosti zameniti ljudske intelektualne sposobnosti u zahtevnim oblastima kao što je pravo.
Studija sugeriše da se AI treba posmatrati kao podrška ljudskom radu, a ne kao zamena. Univerziteti i škole treba da se fokusiraju na razvijanje veština učenika da efikasno koriste AI kao alat i da kritički procenjuju rezultate koje AI nudi. Ovime bi se moglo omogućiti uspešnija integracija AI u obrazovni proces, uz osiguranje da učenici i dalje razvijaju ključne veštine.
Ova istraživanja mogu podstaći dalja razmatranja o tome kako obrazovne institucije mogu prilagoditi ocenjivanje i podstaknuti učenike da sarađuju sa AI na način koji unapređuje njihovo učenje i intelektualni razvoj.
