Minden héten ugyanaz. „Egy új tanulmány bebizonyította, hogy a kávé meghosszabbítja az életet.” Egy hónappal később: „A tudósok figyelmeztetnek, hogy a kávé káros a szívre.” A tojás tíz évig méreg volt, aztán hirtelen szuperélelmiszer lett. A reggeli a nap legfontosabb étkezése, hacsak éppen nem az időszakos böjt a divat. Az ember már nem is figyel rá, legyint, és azt mondja magának, hogy a tudomány úgyis ellentmondásos, és nem lehet megbízni benne.
Csakhogy a tudomány nem mond ellent magának. A címek mondanak ellent egymásnak.
E két egymással ellentétes cím mögött általában két teljesen különböző dolog áll: az egyik esetben száz ezer ember megkérdezése kérdőív segítségével, a másikban pedig egy harminc egéren végzett kísérlet. Mindkettőt az újságokban „tanulmánynak” nevezik. Mindkettő ugyanolyan magabiztos címet kap. Pedig az egyiknek körülbelül annyi a mondanivalója, mint a jövő hónap időjárásának.
A jó hír az, hogy egy délután alatt meg lehet tanulni, hogyan lehet megkülönböztetni a minőségi tanulmányokat az értéktelenektől. Ehhez nincs szükséged sem doktori címre, sem statisztikai ismeretekre. Tudnod kell, mit kell kérdezni, és fegyelmezettnek kell lenned ahhoz, hogy akkor is kérdéseket tegyél fel, ha az eredmény megerősíti azt, amiben már úgyis hiszel.
Nem minden bizonyítéknak egyforma a súlya
Ez az alapja minden másnak. A „tanulmány” szó önmagában semmit sem jelent, amíg nem tudod, milyen típusúról van szó. A bizonyítékok között meglehetősen egyértelmű hierarchia létezik, és érdemes legalább a főbb szintjeit ismerni.
A legalsó szinten vannak a laboratóriumi és állatkísérletek. Sejtek petri-csészében, egerek, patkányok. Pótolhatatlanok, mert nélkülük nem tudnánk, hol is kezdjük el a kutatást. De ezek nem bizonyítják, hogy valami hogyan működik az emberben. Egereket már sokszor gyógyítottunk meg a rákból. Embereket eddig még nem. Ha a cím egy áttörő felfedezésről szól, a szövegben pedig valahol szerényen megemlítik a rágcsálókat, az csak egy érdekes ötlet a további kutatásokhoz, semmi több.
Egy emelettel feljebb találhatók a kazuisztikák és az esettanulmány-sorozatok. Egy vagy több beteg leírása. Hasznosak ritka betegségek esetén és váratlan mellékhatások feltárásában, de ezekből nem lehet általános következtetéseket levonni.
A keresztmetszeti tanulmányok és a kérdőíves felmérések egy adott pillanatban rögzítik a helyzetet: mit esznek az emberek, hogyan érzik magukat, mennyit nyomnak. A probléma az, hogy nem tudjuk, mi volt az első. Azok az emberek azért vékonyak, mert így étkeznek, vagy azért étkeznek így, mert vékonyak? A keresztmetszeti tanulmány ezt nem tudja megkülönböztetni.
A kohortos vizsgálatok egy nagy embercsoportot vesznek alapul, és éveken, sőt évtizedeken át követik nyomon őket. Ez már komoly munka, és az életmód hosszú távú hatásairól szóló ismereteink nagy része éppen innen származik. Az azonban továbbra is igaz, hogy senki sem osztotta be senkit semmilyen csoportba. Csak azt figyelték, hogy az emberek mit csinálnak önszántukból, és ez egy problémát vet fel, amelyet alább részletesen tárgyalunk.
A randomizálás az, ami a különbséget jelenti
A randomizált, kontrollált vizsgálatok során az embereket véletlenszerűen két csoportba osztják: az egyik a vizsgált beavatkozást kapja, a másik placebót vagy semmit, majd az eredményeket összehasonlítják. A véletlenszerű elosztás a varázslat: biztosítja, hogy a két csoport minden más tekintetben hasonló legyen, még abban is, amit senkinek sem jutott eszébe mérni. Ez az egyetlen módszer arra, hogy megbízhatóan megállapítsuk, valóban az adott beavatkozás okozza-e az eredményt. Ha a vizsgálat ráadásul vak, vagyis a résztvevők nem tudják, melyik csoportba tartoznak, vagy akár kettős vak, amikor ezt a kutatók sem tudják, az még jobb.
A hierarchia csúcsán a szisztematikus áttekintések és a metaanalízisek állnak. Ezek a munkák nem végeznek saját kísérletet. Előre meghatározott szabályok alapján felkutatják az adott témában eddig megjelent összes tanulmányt, értékelik azok minőségét, majd összesítik az eredményeket. A randomizált tanulmányokból készült jó metaanalízis a legjobb, amivel az adott kérdésben rendelkezünk.
Egy fontos fenntartás: a metaanalízis csak annyira jó, amennyire azok a tanulmányok, amelyekből összeállították. Ha húsz rossz tanulmányt veszünk, és kiszámoljuk az átlagukat, akkor egy pontosabban kiszámított, de értelmetlen eredményt kapunk. Ezért a megbízható metaanalízisek mindig tartalmaznak a bevont tanulmányok minőségének értékelését, és ezért érdemes megnézni, hogy szerepel-e egyáltalán ilyen értékelés.
Gyakorlati következtetés: ha rábukkansz egy címre, az első kérdés az, hogy kiken végezték el a kísérletet, és vajon valaki véletlenszerűen osztotta-e szét őket?
Mýtus
Egy tanulmány kimutatta, így ez bizonyított tény.
Fakt
A „tanulmány” kifejezés magában foglalja mind az egereken végzett kísérletet, mind a kérdőívet. Hogy milyen következtetéseket lehet belőle levonni, azt a tanulmány típusa határozza meg.
Az összefüggés nem ok
Ezt mindenki hallotta, és mégis mindenki ráugrik, beleértve azokat az újságírókat is, akik erről írtak cikket a múlt hónapban.
Képzeld el, hogy kiderül: azok az emberek, akik rendszeresen fogyasztanak diót, átlagosan hosszabb életet élnek. Ez jó oknak tűnik a dió fogyasztására. De kik ezek az emberek? Általában magasabb jövedelmük van, többet mozognak, kevesebbet dohányoznak, szűrővizsgálatokra járnak, és általában odafigyelnek magukra. A diófélék csupán egy látható megnyilvánulása egy egész életmódnak.
Szakszóval ezt „zavító változónak” nevezik, vagyis egy harmadik tényezőnek, amely egyszerre befolyásolja mindkét vizsgált dolgot. A statisztikusok megpróbálják ezt kiszámítani, de soha nem tudják teljesen kiküszöbölni, mert nem tudják figyelembe venni azt, amit senki sem mért meg.
Čo hovorí štúdia
Hogyan ismerheted fel ezt a szövegben: a „kapcsolódó”, „összefüggő”, „társított” vagy „gyakrabban fordult elő” kifejezések összefüggést jelentenek. A címekben ezek szinte mindig „okoz” formában jelennek meg. Ha a tanulmány nem osztotta be véletlenszerűen a résztvevőket, akkor nem beszél ok-okozati összefüggésről. Pont.
A mechanizmus még nem jelent eredményt
Ez a táplálékkiegészítők marketingjének leggyakoribb trükkje, és érdemes tisztában lenni vele.
A folyamat a következőképpen zajlik: a laboratóriumban megállapítják, hogy egy bizonyos anyag aktivál egy sejtes folyamatot, amely például az izomnövekedéshez vagy a zsírégetéshez kapcsolódik. Ez a mechanizmus. Rögtön ezután megjelenik egy termék, amelyről azt állítják, hogy tudományosan igazoltan elősegíti az izomtömeg növekedését.
Csakhogy a test több száz ilyen folyamat összessége, amelyek egyszerre zajlanak és kölcsönösen befolyásolják egymást. Az, hogy egy mechanizmus létezik, egyáltalán nem garantálja, hogy az a téged érdeklő eredményben is megnyilvánul. A „sejtben aktiválódik egy folyamat” és a „nőnek az izmaid” között hatalmas szakadék tátong, amelyet valódi, embereken végzett kísérletekkel kell áthidalni.
Mindig kérdezd meg magadtól: azt mérték-e, amit valóban érzek és akarok – vagyis az izmokat, a testsúlyt, a szívrohamokat, a várható élettartamot –, vagy csupán egy biokémiai mutatót, amelyről valaki reméli, hogy összefüggésben áll ezekkel? Az utóbbit helyettesítő mutatóként nevezik, és ez az egész orvostudomány egyik legcsalókaibb területe. Előfordulhat, hogy egy gyógyszer remekül javítja a vérértékeket, de közben egyetlen életet sem ment meg.
Mýtus
Tudományosan igazolt összetétel.
Fakt
A sejten belüli mechanizmust szokták igazolni, nem pedig azt az eredményt, amelyet a terméktől vársz.
Egy tanulmány még nem bizonyíték
Ezt érdemes bekeretezni és a monitor fölé akasztani.
Egy tanulmány egy hang a vitában. Semmi több. Az eredmény csak akkor válik érvényessé, ha más kutatócsoportok függetlenül megismétlik azt, és ha valaki az egészet egy szisztematikus áttekintésbe foglalja.
Az elmúlt években kiderült, hogy a híres kísérletek nagy részét – főként a pszichológiában és az orvostudományban – megismétléskor nem sikerült megerősíteni. Nem azért, mert valaki hazudott volna. Leginkább azért, mert az eredeti tanulmányok kis mintán készültek, az eredmény alig maradt a szignifikanciaküszöb alatt, és senki sem vette a fáradtságot, hogy ellenőrizze.
És éppen ez magyarázza a bevezetőben említett, egymásnak ellentmondó címeket. A média előránt egy elszigetelt tanulmányt, csodaként vagy rémképként tálalja, majd egy hónap múlva ugyanezt megismétli, csak éppen ellenkező eredménnyel. Mindeközben a szakirodalomban gyakorlatilag semmi sem változott, a bizonyítékok összessége lassan és unalmasan halad előre.
A legnehezebb az, hogy önmagunkat ellenőrizzük
Eddig minden csak technika volt. Ez viszont karakter.
Természetes hajlamunk, hogy ellenállás nélkül elfogadjuk azokat a tanulmányokat, amelyek megerősítik azt, amit már úgyis gondolunk, és éppen ellenkezőleg, hibákat keressünk azokban, amelyek ellentmondanak nekünk. Ezt mindenki így csinálja, még a tudósok is, különösen azok, akik egy bizonyos témára építették fel a karrierjüket.
Erre van egy egyszerű teszt. Ha olyan tanulmányra bukkansz, amelyik meggyőz téged, olvasd el ugyanolyan szigorúan, mintha nem lenne meggyőző. Menj végig az alábbi néhány kérdésen. Ha hirtelen nincs mit kifogásolnod, és minden csodálatos módon rendben van, akkor nagyon valószínű, hogy nem is olvasod el, csak muníciót gyűjtesz a vitához.
És a második dolog, ami talán még fontosabb: soha ne kapcsold ki az agyad. Még akkor sem, ha a tanulmányt egy rangos folyóirat tette közzé. Még akkor sem, ha valaki, akinek címei vannak, hivatkozik rá. Még akkor sem, ha ezt olyan ember mondja, akiben egyébként bízol. Maga a tudományos módszer megbízható. Azok az emberek, akik alkalmazzák, ugyanolyan tévedhetők, mint mindenki más.
Tíz kérdés a gyors ellenőrzéshez
Mielőtt továbbküldesz valamit, vagy ennek alapján megváltoztatod az életedet, gondold át ezt a tíz kérdést:
- Emberek, vagy egerek és sejtek?
- Véletlenszerű elosztás, vagy csupán megfigyelés?
- Hányan vettek részt, mennyi ideig tartott, és hányan estek ki?
- Hasonlítanak rám a résztvevők?
- A valós eredményt mérték, vagy csupán egy mechanizmust, esetleg egy helyettesítő mutatót?
- Mennyi az abszolút érték, nem pedig a százalékos változás?
- Milyen a konfidencia-intervallum: szűk, vagy a semmitől a mindentig terjedő?
- A jegyzőkönyvet előzetesen nyilvántartásba vették?
- Ki finanszírozta, és hol jelent meg?
- Ezt már valaki függetlenül megerősítette?
Ha a legtöbbjükre nem tudsz válaszolni az alapján, amit olvasol, akkor a probléma nem a tudományban rejlik. A probléma abban a cikkben van.
Az első öt kérdést ebből a szövegből meg tudod oldani. A többi a számadatokra és a módszertanra vonatkozik, amelyeket közvetlenül a tanulmányban kell megnézni, és ezekről szól a folytatás: Mit érdemes megnézni a tanulmányban, mielőtt elhiszed.