Tutkittu juttu: Useimmat julkaistut tutkimustulokset ovat vääriä

VOIDAAN TODISTAA, että valtaosa julkaistuista tutkimustuloksista on vääriä. Näin kirjoitti tätä nykyä maailman kenties tunnetuin metatutkija John Ioannidis PLoS Medicine -lehdessä vuonna 2005 julkaistussa ”Why most published research findings are false” -artikkelissaan. Kyseistä artikkelia voi pitää merkittävänä päänavauksena metatutkimuksen popularisoinnille. Metatutkimuksella tarkoitetaan tutkimusta esimerkiksi tutkimusten menetelmistä, raportoinnista, toistettavuudesta ja arvioinnista.

Ioannidis esitti artikkelissaan teoreettisen viitekehyksen tutkimustuloksen positiiviselle ennustearvolle eli tilastollisesti merkitsevän ”positiivisen” tuloksen todennäköisyydelle olla todellinen löydös, oikea positiivinen tulos. Positiivisen ennustearvon käsite on tutumpi esimerkiksi lääketieteellisestä diagnostiikasta, jossa oikean positiivisen tuloksen, eli tässä tapauksessa testillä todetun taudin todennäköisyys, riippuu testin tarkkuudesta eli spesifisyydestä, herkkyydestä eli sensitiivisyydestä ja taudin esiintyvyydestä eli prevalenssista kohdeväestössä.

Ioannidisin artikkelin mukaan tutkimustuloksen positiiviseen ennustearvoon vaikuttavat sen sijaan tilastollisen merkitsevyyden raja-arvo, todellisen löydöksen esitodennäköisyys (vastaavasti vetokerroin), systemaattinen virhe eli harha sekä tilastollinen voima. Tilastollinen voima on todennäköisyys sille, että nollahypoteesi hylätään vastahypoteesin ollessa totta. Artikkelissa ”harha” määriteltiin yhdistelmäksi tekijöitä tutkimuksen suunnittelussa, aineistossa, analyysissä ja tulosten esittämisessä, jotka tuottavat tilastollisesti merkitseviä tutkimustuloksia silloinkin, kun niitä ei pitäisi tuottaa.

Ioannidis esitti artikkelissaan useita esimerkkejä siitä, kuinka positiivinen ennustearvo muuttuu erinäisillä tilastollisen voiman, esitodennäköisyyden ja harhan yhdistelmillä. Esimerkiksi satunnaistetussa tutkimuksessa, jossa yhdistyy riittävä tilastollinen voima, vähäinen harha ja fifty-fifty -esitodennäköisyys, tilastollisesti merkitsevä tulos 5 % merkitsevyystasolla on 85 % todennäköisyydellä todellinen löydös. Toisaalta eksploratiivisessa havainnoivassa tutkimuksessa, jossa yhdistyy riittävä tilastollinen voima, mutta jossa on enemmän harhaa ja matalampi esitodennäköisyys, on vain 20 %:n todennäköisyys osua oikeaan vastaavalla merkitsevyystasolla.

Edellä mainitut esimerkit sopivat lääketieteessä käytetyn, joskin yksioikoisen tutkimusnäytön hierarkiaan, jossa satunnaistetut tutkimukset antavat todennäköisemmin luotettavamman arvion todellisuudesta kuin havainnoivat tutkimukset. Emme tiedä oikeiden tutkimushypoteesien tarkkaa esitodennäköisyyttä, mutta voidaan arvioida ja laskea, kuinka eri esitodennäköisyyksien arvot vaikuttavat positiiviseen ennustearvoon. Satunnaistettujen tutkimusten perusteella on osoitettu todennäköisyyden olevan keskimäärin hieman yli 50 % sille, että uusi hoito on tehokkaampi kuin vanha hoito. Tämä on linjassa satunnaistettuihin tutkimuksiin keskeisesti liittyvän epävarmuuden tasapainon kanssa.

Ioannidis esitti myös kuusi seurausta eli korollaaria, jotka vähentävät tutkimustulosten positiivista ennustearvoa. Esimerkiksi, mitä pienempiä tutkimuksia tieteenalalla tehdään, sitä todennäköisempää, että tulokset eivät pidä paikkaansa. Tämä liittyy tutkimusten tilastolliseen voimaan. Lisäksi, mitä enemmän taloudellisia ja ei-taloudellisia sidonnaisuuksia tieteenalalla on, sitä todennäköisempää, että tutkimustulokset eivät pidä paikkaansa. Tämä liittyy siihen, että sidonnaisuudet voivat lisätä harhan määrää.

Ioannidisin artikkelia on kritisoitu muun muassa siksi, että artikkeli pohjaa ainoastaan teoreettiseen viitekehykseen ilman varsinaista tutkimusaineistoa. Biostatistics- lehdessä julkaistiinkin tutkimus, jonka aineisto pohjasi neljässä lääketieteen ja yhdessä epidemiologian alan lehdessä julkaistuihin artikkeleiden tiivistelmiin, ja todettiin, että väärien löydösten osuus oli vain 14 %. Ioannidis tosin osoitti, että kyseisen tutkimuksen aineistosta peräti 45 % käsitti satunnaistettuja ja kontrolloituja tutkimuksia, joiden positiivinen ennustearvo on suuri.

”Why most published research findings are false” -artikkeli oli aikaansa edellä. Artikkeli on myös muistutus siitä, että tilastollisesti merkitsevät tulokset voivat olla tilastokohinaa ja yksittäisiin tutkimustuloksiin kannattaa suhtautua skeptisesti.

kirjoittaja On Lääkäri Ja Tutkimusten Suurkuluttaja.