U svetlu procenjene stope replikacije od samo 36% od 100 pokušaja replikacije koje je sprovela Open Science Collaboration 2015. godine (OSC2015), mnogi veruju da eksperimentalna psihologija pati od ozbiljnog problema replikacije.
U sopstvenoj studiji, nedavno objavljenoj u časopisu Social Psichological Bulletin, istraživači Brent M. Vilson i John T. Vikted sa Univerziteta Kalifornije u San Dijegu sugerišu da ono što se od tada naziva „krizom replikacije“ možda i nije tako loše kako izgleda.
„Niko ne postavlja kritičko pitanje“, tvrde naučnici, „da je sve u redu sa psihološkom naukom, koja je stopa replikacije trebalo da se posmatra? Intuicija sugeriše da je trebalo da bude ~90–95%, ali broj u ovom opsegu je Ako je tako, onda percepcija krize replikacije uglavnom počiva na implicitnom poređenju između uočene stope replikacije od 36% u odnosu na nikad specificiranu očekivanu stopu replikacije koja je potpuno nerealna.“
U svom nedavnom radu, naučnici primećuju da mnogi neuspesi replikacije mogu biti posledica toga što studije replikacije nemaju dovoljno snage da otkriju prave efekte povezane sa originalnim eksperimentalnim protokolima. Studije replikacije su bile veoma moćne za otkrivanje prvobitno prijavljenih efekata, ali su ti efekti bili naduvani, pošto statistički značajni efekti moraju biti.
Koliku snagu su imale studije replikacije da otkriju prave (tj. nenaduvane) efekte povezane sa originalnim studijama? To je ključno pitanje, a sama intuicija ne može dati odgovor. Tim stoga zaključuje da je ključno koristiti formalni model, a ne oslanjati se na trenutni čisto intuitivan pristup.
„Procena očekivane stope replikacije zahteva razmatranje statističke moći, što je verovatnoća da će eksperiment (npr. eksperiment replikacije) ponovo otkriti pravi efekat na p < .05. Očigledno, jedan eksperiment replikacije sa malom snagom može lako da propadne čak i ako je originalni eksperiment prijavio pravi efekat“, objašnjavaju naučnici.
Slično, 100 eksperimenata replikacije sa malom snagom će dati nisku stopu replikacije čak i ako su svi originalni eksperimenti prijavili istinske pozitivne rezultate.
U jednom ekstremu, sa dovoljno malom snagom, uočena stopa replikacije od 36% u OSC2015 mogla bi značiti da 64% eksperimenata replikacije nije uspelo da otkrije prave pozitivne rezultate prijavljene u originalnim studijama (u tom slučaju bi originalna naučna literatura bila dobra oblik).
Alternativno, ako su eksperimenti replikacije imali dovoljno veliku snagu, onda bi uočena stopa replikacije od 36% značila da je 64% eksperimenata replikacije prijavilo lažne pozitivne rezultate (u tom slučaju bi originalna naučna literatura bila u lošem stanju).
„Uz nekoliko izuzetaka, naučnici su sa entuzijazmom prihvatili ovo drugo tumačenje, implicitno pretpostavljajući da eksperimenti replikacije OSC2015 imaju veliku moć. Međutim, ova pretpostavka mora biti podržana formalnim modelom jer intuicija jednostavno nije na visini zadatka“, kažu Vilson i Vikted.
Prema jednom jednostavnom formalnom modelu, eksperimenti replikacije OSC2015 imali su malu snagu, u kom slučaju stopa replikacije od 36% ne bi bila posebno informativna, zaključuju istraživači.
Iako je originalna naučna literatura možda u boljem stanju nego što intuicija sugeriše, Vilson i Vikted ipak tvrde da postoji ozbiljan problem replikacije koji treba da se reši.
„Problem replikacije možda ne leži toliko u svakodnevnoj psihološkoj nauci, već može prvenstveno da leži u malom procentu senzacionalnih nalaza“, kažu Vilson i Viksted. „Senzacionalni nalazi će verovatno biti lažno pozitivni jer su zasnovani na teorijama ili idejama koje imaju niske prethodne šanse da budu istinite.“
U zaključku, autori ovog rada tvrde da manje pažnje treba staviti na svakodnevna istraživanja, koja mogu biti u boljoj formi nego što intuicija sugeriše, a više pažnje treba staviti na sprovođenje nezavisnih, velikih N, unapred registrovanih replikacija malo verovatnih nalazi koji različito privlače pažnju. Takvi nalazi nisu spremni da razmotre nenaučnici dok se ne repliciraju nezavisno.
