U studiji objavljenoj u Scientific Reports, istraživački tim sa Univerziteta u Pasauu uporedio je kvalitet mašinski generisanog sadržaja sa esejima koje su napisali učenici srednjih škola. Rezultat: Chatbot zasnovan na veštačkoj inteligenciji je bio bolji po svim kriterijumima, posebno kada je u pitanju vladanje jezikom.
Jezički model ChatGPT ostvaruje ogroman napredak. Nakon što je verzija 3.5 pala na Bavarskom Abitur-u (test dat na kraju srednje škole u Nemačkoj) početkom 2023. godine, njena nasledna verzija 4 je zaradila solidnu 2 skoro šest meseci kasnije.
Studija Univerziteta u Pasauu je sada uspela da pokaže u kojoj meri sadržaj generisan veštačkom inteligencijom može da revolucioniše školski sistem. Istraživači su takođe eksperimentisali sa dve verzije jezičkog modela.
U studiji pod nazivom „Poređenje velikih razmera između eseja napisanih od strane ljudi i eseja koje je generisao ChatGPT“ i objavljene u Scientific Reports, zaključili su da mašina piše bolje eseje na engleskom. Oni su ocenjivali mašinski generisane tekstove i eseje koje su napisali učenici srednjih škola prema smernicama koje je utvrdilo Ministarstvo prosvete Donje Saksonije.
„Bio sam iznenađen koliko je rezultat bio jasan“, kaže profesor Stefen Herbold, koji je predsedavajući za AI inženjering na Univerzitetu u Pasauu i inicirao studiju. Obe verzije Open AI chatbot-a su postigle veći rezultat od učenika, pri čemu je GPT-3 rangiran u sredini, a GPT-4 je postigao najbolji rezultat. „Ovo pokazuje da škole ne bi trebalo da zatvaraju oči pred ovim novim alatima.
Interdisciplinarnu studiju sproveli su kompjuterski naučnici u saradnji sa kompjuterskim lingvistkinjom profesorkom Anet Hautli-Janis i didaktičarkom informatike Ute Heuer. „Smatram da je važno pripremiti nastavnike za izazove i prilike koje im dolaze jer modeli veštačke inteligencije postaju sve dostupniji“, kaže Heuer.
Ona je pokrenula kurs obuke na temu „ChatGPT—Prilika i izazov“ koji je sproveo istraživački tim. Ovom događaju, koji je održan u martu 2023. godine, prisustvovalo je 139 nastavnika, od kojih većina predaje u nemačkim gimnazijama. Nastavnici su prvo upoznati sa odabranim tehnološkim idejama iza opštih generatora teksta i ChatGPT-a. Praktična faza je zatim posebno uključivala tekstove na engleskom jeziku gde su učesnici kursa obuke ostali nesvesni porekla ovih tekstova.
Koristeći upitnike, nastavnici su zamoljeni da ocenjuju eseje koji su im prezentovani na osnovu skala za ocenjivanje koje je uspostavilo Ministarstvo obrazovanja Donje Saksonije. Sadržaj je procenjen na osnovu kriterijuma teme, kompletnosti i logike, kao i lingvističkih aspekata kao što su rečnik, složenost i vladanje jezikom. Istraživački tim iz Pasaua je definisao skalu od 0 do 6 za svaki kriterijum, pri čemu je 0 najlošiji rezultat, a 6 najbolji.
Sto jedanaest nastavnika popunilo je ceo upitnik i ocenilo ukupno dve stotine sedamdeset eseja na engleskom jeziku. Istraživački tim je otkrio najveću razliku u savladavanju jezika gde je mašina dobila 5,25 (GPT-4) i 5,03 poena (GPT-3), respektivno, dok su učenici u proseku postigli 3,9 poena.
„Ovo ne znači da studenti slabo poznaju engleski jezik. Umesto toga, rezultati koje postiže mašina su izuzetno visoki“, naglašava Annette Hautli-Janisz, mlađa profesorka računarske retorike i obrade prirodnog jezika na Univerzitetu u Pasauu.
Za Hautli-Janisz, koji je analizirao tekstove iz lingvističke perspektive zajedno sa doktorandom Zlatom Kiktevom, studija pruža dalje uzbudljive uvide u razvoj jezika mašine. „Videli smo kako se modeli menjaju tokom vremena i u stanju smo da pokažemo našim studijama da su se poboljšali u obavljanju zadatka koji im damo.
Istraživači su takođe uspeli da identifikuju razlike između ljudskog i mašinski generisanog jezika. „Kada budemo čitali više tekstova generisanih veštačkom inteligencijom, moraćemo da se zapitamo da li i kako to utiče na naš ljudski jezik“, kaže Hautli-Janis.
