Ha már tudod, hogy egy olyan tanulmány van előtted, amelyet érdemes átnézni, akkor jön a munka második fele: úgy elolvasni, hogy ne vezessen félre. Csak néhány dolog számít: a munka melyik részében rejtőzik a lényeg, melyik négy szám mond el valamit a valóságról, kit és mennyi ideig követtek nyomon, és ki finanszírozta az egészet. A statisztikát nem kell értened.
Ez a „Hogyan olvassunk tudományos tanulmányokat anélkül, hogy a címek megtévesztenének minket” című cikk folytatása, amelyben arról van szó, hogy a különböző típusú tanulmányok mit tudnak bizonyítani. Itt egy konkrét tanulmányt fogunk részletesen megvizsgálni.
Hol kell az igazságot keresni a tanulmányban
Minden tudományos munka felépítése azonos. Ha ismered ezt, tudod, hova kell keresned.
Az absztrakt a bevezetőben található összefoglalás, amely minden szakaszból egy-két mondatot tartalmaz. Lényegében a munka marketingje; úgy írják, hogy felkeltse az érdeklődést, és idézhető legyen. Minden fenntartás, korlátozás és „de” nem fér bele. Erre van egy gúnyos elnevezés is: az absztraktok harcosai. Azok az emberek, akik elolvassák az összefoglalót, és azzal belevetik magukat az internetes vitába, meggyőződve arról, hogy megértették a dolgot.
A bevezetés elmagyarázza, mi az, amit már tudunk, mi az, ami vitatott, és főként két dolgot: a célt és a hipotézist. Jegyezd meg őket, később ellenőrizni fogod, hogy a munka valóban azzal foglalkozott-e, amit ígért.
A módszertan a legunalmasabb és egyben a legfontosabb rész. Kik voltak a résztvevők, hányan voltak, mennyi ideig tartott a vizsgálat, pontosan mit mértek és hogyan. A tanulmányokkal kapcsolatos problémák kilencven százaléka éppen itt derül ki.
Az eredmények értelmezés nélküli puszta számadatokat, táblázatokat és grafikonokat tartalmaznak.
A „Megbeszélés” az a rész, ahol a szerzők maguk is elismerik, mire nem képes a munkájuk. Általában egy meglepően őszinte bekezdés található ott a korlátokról, és ez rendszerint az egész munka legértékesebb húsz sora. Ha nincs időd másra, olvasd el az összefoglalót, majd a vita részben szereplő korlátozásokat. Az a különbség, hogy az elején hogyan hangzik a dolog, és mit ismernek el a szerzők a végén, sokat elárul neked.
A finanszírozás és az összeférhetetlenség a legvégén szerepel, apró betűkkel. Erről egy pillanat múlva.
Azok a százalékok, amelyek nagyobbnak tűnnek, mint amilyenek valójában
A hatás mértéke nem attól függ, hogy létezik-e különbség, hanem attól, hogy mekkora. Ez a szám szinte soha nem szerepel a címekben, pedig ez a legfontosabb mind közül. A létező, de elhanyagolható különbség a gyakorlatban ugyanaz, mintha nem lenne.
Relatív és abszolút számok. A „50%-os kockázatcsökkenés” drámaian hangzik. Amíg meg nem tudod, hogy a kockázat száz ezer emberenként két esetről egyre csökkent. Az abszolút különbség száz ezer emberenként egy eset. A relatív különbség a fele. Mindkét szám igaz, de az egyik félrevezető. Könnyű kitalálni, melyik kerül be a címbe. Mindig keress abszolút számokat. Ha nincsenek a cikkben, akkor a szerző vagy nem értette őket, vagy szándékosan elrejtette őket.
A jelentőség és az intervallum, amely a bizonytalanságot jelzi
A statisztikai szignifikancia, vagyis a p-érték egyszerűen kifejezve azt mutatja, mekkora a valószínűsége annak, hogy egy ilyen eredmény pusztán véletlenül alakuljon ki.
0,05
Ehhez két dolgot kell tudni. Először is, a statisztikailag szignifikáns nem jelenti azt, hogy fontos: elég nagy mintanagyság esetén olyan különbség is szignifikánsnak bizonyul, amelyet a valós életben nem is érzékel az ember. Másodszor, ez a határ egy megegyezésen alapul, így a határ alatt és felett szűken elhelyezkedő eredmények sokkal közelebb állnak egymáshoz, mint ahogyan azt a szakirodalomban leírják.
A konfidencia-intervallum az a tartomány, amelyen belül valószínűleg található a valódi érték. Ha egy tanulmány azt állítja, hogy egy beavatkozás 5 %-kal javította a teljesítményt, 4–6 %-os konfidencia-intervallummal, akkor ez egy meglehetősen biztos eredmény. Ha az intervallum −2 és 12% között van, az azt jelenti, hogy valójában szinte semmit sem tudunk: lehet, hogy nagyon sokat segít, lehet, hogy árt. A széles intervallum a kis mintanagyság jele, és ez az egyik legjobb gyors mutatója annak, hogy mennyire lehet komolyan venni az eredményt.
Kik, mennyi ideig és hányan estek ki
Három módszertani kérdés, amely kizárja a szenzációs eredmények többségét.
Egyébként: Húsz egyetemista nem minősül reprezentatív mintának. A profi sportolókra vonatkozó eredmények nem feltétlenül érvényesek egy átlagos, negyven év feletti emberre. A kizárólag fiatal férfiakon végzett tanulmány nem vonatkozik a menopauza utáni nőkre. Mindig nézd meg, hogy a résztvevők legalább távolról hasonlítanak-e rád.
Mennyi ideig. Ez a táplálkozási és életmódkutatások legnagyobb gyenge pontja. A táplálkozással kapcsolatos leghosszabb randomizált vizsgálatok két évig tartottak, a túlnyomó többségük pedig négy–hat hétig. Az ok prózai: az emberek ennél hosszabb ideig nem tartják be a diétát, és senki sem finanszírozza ezt. Ez azt jelenti, hogy a hosszú távú hatásokról lényegesen kevesebbet tudunk, mint ahogyan az internet fele állítja.
Hányan estek ki. Ha a vizsgálat száz emberrel indult, és negyvenen fejezték be, az eredmény azokról a negyven kitartóról szól, és ez egy teljesen más csoport, mint amellyel indultak. A magas lemorzsolódási arány egy figyelmeztető jel, amelyet az összefoglalóban soha nem említenek.
Hogyan lehet manipulálni az eredményeket?
Nem mindig csalásról van szó. Gyakran csupán az emberi hajlamról van szó, hogy az adatokban valami szépet keressünk. De az eredmény ugyanaz.
A kérdés megváltoztatása az eredmény alapján. A becsületes eljárás a következő: megfogalmazom a hipotézist, előre rögzítem a kísérleti jegyzőkönyvet, elvégzem a kísérletet, és ha nem sikerül, módosítom a következtetést. A tisztességtelen eljárás ennek az ellenkezője: elvégzem a kísérletet, megnézem, mi lett az eredmény, majd utólag hozzáírom a kérdést, mintha az elejétől fogva meg lett volna. A jó kutató úgy módosítja a következtetéseit, hogy azok illeszkedjenek az adatokhoz. A rossz kutató pedig az adatokat és a kérdéseket változtatja meg, hogy azok illeszkedjenek a következtetéshez.
A szignifikancia hajszolása. Ha egy tanulmányban húsz mutatót mérsz, pusztán statisztikai szempontból az egyik közülük szignifikánsnak bizonyulhat akkor is, ha valójában semmi sem működik. Ekkor elég, ha arról az egyikről írsz cikket. Ezért ma a vizsgálati protokollokat előre nyilvántartásba veszik nyilvános nyilvántartásokban, hogy látható legyen, mit kellett volna eredetileg mérni. Ha egy tanulmány említi ezt a nyilvántartást, az jó jel.
Publikációs torzítás. Azokat a tanulmányokat, amelyek nem hoztak eredményt, nehezebb publikálni. A folyóiratok felfedezéseket akarnak, nem unalmat. Ennek következtében a szakirodalom összességében a pozitív eredmények felé tolódik el, még akkor is, ha senki sem hamisított meg semmit.
A szőlőmagok kiválogatása. Ez a leggyakoribb hiba mind az olvasók, mind pedig azok körében, akik tudományos témákról írnak az interneten. Szinte bármely állításhoz található legalább egy olyan tanulmány, amely alátámasztja azt.
Mýtus
Találtam egy tanulmányt, amely ezt megerősíti.
Fakt
A kérdés soha nem az, hogy létezik-e valamilyen tanulmány. Hanem az, hogy mit mond a bizonyítékok összessége.
Ki fizette, és hol jelent meg?
A finanszírozási forrást minden tanulmány végén megtalálod, az összeférhetetlenségre vonatkozó nyilatkozattal együtt.
A gyártó által finanszírozott tanulmány nem feltétlenül rossz. A tisztességes kutatások nagy része az iparág pénzéből valósul meg, mert egyszerűen senki más nem finanszírozza azokat. De ez ok arra, hogy figyelmesebben olvassuk el a tanulmányt, különösen akkor, ha a következtetés gyanúsan pontosan megegyezik a megbízó marketingüzenetével, vagy ha éppen azt a mutatót mérték, amely a terméknek kedvez.
Érdemes megnézni azt is, hol jelent meg a cikk. Vannak úgynevezett „ragadozó folyóiratok”, amelyek díj ellenében bármit közzé tesznek valódi lektorálás nélkül. És vigyázni kell a preprintokra is, vagyis a lektorálás előtt közzétett cikkekre. Ezek nem értéktelenek, de még nem estek át a szakértői ellenőrzésen.
Hol ellenőrizheted ezt?
Nem kell elhinned azt a cikket, amely a tanulmányról szól. Szinte mindig hozzá lehet jutni az eredetihez.
A PubMed egy ingyenes biomedicinális szakirodalmi adatbázis, amelyben gyakorlatilag mindenről találhatsz összefoglalót. A Cochrane Library olyan szisztematikus áttekintéseket tartalmaz, amelyek a világon a legszigorúbbak közé tartoznak. A Google Scholar megmutatja, hányszor és kik idézték a tanulmányt.
A tudományos integritás ellenőrzésére két weboldal szolgál: a Retraction Watch nyomon követi a visszavont tanulmányokat, a PubPeer pedig összegyűjti az egyes munkákkal kapcsolatos szakmai kifogásokat. Ha az éppen tárgyalt tanulmány felbukkan valamelyik oldalon, akkor már elég információd van.
És még egy gyakorlati szempont: a tudományról szóló újságcikkek többsége nem hivatkozik az eredeti tanulmányra. Ez már önmagában is figyelmeztető jel. Ha nem lehet hozzáférni az eredetihez, akkor az állítást pletykaként kezelje.
Kis szótár
Randomizálás — a résztvevők véletlenszerű csoportokba osztása. Az egyetlen megbízható módszer a hatás elkülönítésére a véletlentől és az életmód hatásától.
Vakpróba — a résztvevők, kettős vakpróbában pedig a kutatók sem tudják, ki kapta a valódi kezelést, és ki a placebót.
Placebo – hatástalan helyettesítő szer, amelyet összehasonlítás céljából alkalmaznak. Már maga a hatásra vonatkozó várakozás is ténylegesen megváltoztathatja az eredményt, ezért összehasonlító csoport nélkül semmit sem lehet értékelni.
Kohorta — hosszú távon nyomon követett embercsoport.
Zavító változó — a harmadik tényező, amely egyszerre befolyásolja mindkét vizsgált dolgot, és látszólagos összefüggést teremt.
Helyettesítő mutató — olyan mért érték, amely azt hivatott képviselni, ami minket valójában érdekel, például a koleszterinszint a szívroham helyett.
A hatás mértéke — azaz, hogy mekkora a megállapított különbség, és nem csupán az, hogy létezik-e.
p-érték — annak a valószínűsége, hogy egy ilyen eredmény véletlenül is előfordulna. A 0,05-ös küszöbérték egy megegyezés, nem pedig törvény.
Bizalmi intervallum — az a tartomány, amelyen belül valószínűleg található a valódi érték. Minél szélesebb, annál kevesebbet tudunk.
Metaanalízis — több tanulmány eredményeinek statisztikai összevonása egyetlen számmá.
Szisztematikus áttekintés — olyan munka, amely előre meghatározott szabályok szerint összegyűjti és értékeli az adott témával kapcsolatos összes tanulmányt.
Preprint – szakértői bírálat előtt közzétett tanulmány.