Az elemzés kavalkádja
A kutatói megbízhatóság hirdetett alapelve, hogy független szakértők ugyanazzal a módszerrel végzett elemzéssel nagyjából ugyanarra az eredményre jutnak. Manapság azonban egyre nehezebb reprodukálni más kutatások következtetéseit. Vajon mi áll a háttérben? A válasz nem csupán a csalásban, hanyagságban vagy önigazolásban keresendő. Sokkal inkább abban, hogy az egyes kutatók tudatos vagy tudattalan analitikus döntései már önmagukban is óriási változatosságot eredményezhetnek – akkor is, ha az alapadatok, a hipotézis és a szándék teljesen azonosak.
A projekt során 161 kutató, 73 csapatban próbálta megválaszolni a kérdést: a bevándorlás mennyiben befolyásolja a szociálpolitika népszerűségét. Az International Social Survey Program (ISSP) nagymintás adatait használták 31 országból, melyek politikai, gazdasági és szociális attitűdjeit többek között hat hullámban (1985-től 2016-ig) vizsgálták. Az elemzés tárgya klasszikus vitatéma: ahogy például Alesina és Glaeser is feltételezték, a bevándorlás okozta etnikai diverzitás lehet a különbség oka az európai és észak-amerikai jóléti rendszerek között.
Az MI és az elemzők döntéseinek labirintusa
A kutatók közös adathalmazzal dolgoztak, és mindegyik csapat maga döntötte el, milyen statisztikai modellt, milyen változókat vagy módszereket alkalmaz. Volt, aki szofisztikáltabb, hierarchikus modellt használt, más egyszerűbb összehasonlítás mellett döntött, sőt, a bevándorlás mértékét is többen eltérő forrásból származó adatokkal mérték.
Összesen 1 261 modellt hoztak létre. Egy csapat átlagosan 17,5 modellt tesztelt, de volt, ahol ez a szám 124-ig is elment. A lekérdezett adatok alapján számtalan apró döntési lehetőség nyílt: melyik évet használják, a bevándorlók arányát vagy növekedését nézik, hogyan definiálják a függő változót, milyen interakciókat engednek a modellekben – és még sorolhatnánk. Az egész adatfeldolgozási folyamatban 166 eltérő döntési pontot azonosítottak, ezekből 107-et legalább három csapat választott.
Az eredmények félelmetes szórása
Az elemzés végén a kutatócsoportok eredményei drámai szórást mutattak: a modellek többsége alapján a kapcsolat statisztikailag nem különböztethető meg a nullától, de a maradék között tényleg minden előfordult – egymással ellentétes irányú, szignifikáns hatások egyaránt. Amikor nem számszerű, hanem szubjektív következtetésként értékelték az eredményeket, ugyanez történt: 13,5% úgy vélte, hogy az adott adatok alapján a hipotézis nem tesztelhető, 61% elutasította, 29% pedig elfogadta az elméletet.
Az elemzők szakértelme, tapasztalata, előfeltevései vagy politikai attitűdjei egyáltalán nem jeleztek előre semmit az eredményekből. A 107 meghatározott döntési pont is csupán a kimenetek néhány százalékát magyarázta: a numerikus eredmények 95,2%-a, a csapatok közötti különbségek 82,4%-a, a szubjektív, levont következtetések 80,1%-a maradt magyarázatlan. Szinte minden abból adódott, hogy a kutatók menet közben – akár tudtukon kívül is – nagyon eltérő döntéseket hoztak, melyek összhatása óriási végső szóráshoz vezetett.
Mit kezdjünk ezzel a bizonytalansággal?
Felmerül a kérdés: akkor most mennyit ér egy átlagos tudományos kutatás végkövetkeztetése? Az adatok szerint, még ha motivált, hozzáértő, elfogulatlan kutatók is vizsgálnak meg egy jelentős, létező adathalmazt egy jól ismert hipotézissel, semmi sem garantálja, hogy az általuk kimutatott hatás vagy konklúzió azonos lesz. A tudományos publikációk előírják az eredmények szigorú, objektív közlését – de hogy ennek mélyén mennyi rejtett döntési mechanizmus van, az szinte sosem derül ki.
Az MI-n alapuló döntéstámogatás vagy akár a nyílt adatmegosztás önmagában aligha oldja fel a bizonytalanságot. Valójában a kutatói variabilitás a társadalomtudományos vizsgálatok velejárója – csak az derül ki, mennyire ritka és értékes az a téma, ahol a kutatók konvergálnak az eredményekben, mint például a klímaváltozás emberi eredete vagy az Egyesült Államokban tapasztalható növekvő politikai megosztottság.
Mi a kiút ebből a káoszból?
Az út előre egyrészt a szerényebbség, másrészt a transzparencia felé vezet: minden – akár jelentéktelennek tűnő – döntést dokumentálni kellene, mert ezek összességükben eltolhatják az eredményt. A replikáció fontosabb, mint valaha – de még ez sem old meg mindent, hiszen csak nagyszámú, függetlenül végzett elemzés mutathatja ki, mennyire stabil egy adott ismeret.
Másrészt el kell ismerni, hogy nem minden hipotézis tesztelhető a meglévő adatokkal – ezt mutatja, hogy a csapatok 13,5%-a le sem tudta futtatni az elemzést. A társadalomtudományban egyszerűen nincs mindenre egzakt válasz – és ez nem feltétlenül a kutatók hibája.
Valószínű, hogy minden tudományterületre eltérő mértékű ez a bizonytalanság: a társadalomtudományban talán nagyobb, mint a természettudományokban, de sem a MI, sem a „mesteri szintű tudás” nem tudja teljesen kiküszöbölni. A tanulság végül az, hogy amíg a tudományos folyóiratokban egy-egy végkövetkeztetés jelenik meg, valójában egy rejtett, komplex döntésháló eredményét olvassuk.
Ha valaki tényleg tudni akarja, miként alakult ki egy tudományos eredmény, ideje tanulmányoznia a kutatási folyamat teljes labirintusát. Csak így derülhet ki, hogy a megjelent tanulmányok valójában mennyire megbízhatóak – vagy mennyire kaotikusak.
