De auteurs van een innovatieve studie vertrouwden op ‘big data’ om betrouwbaardere resultaten te verkrijgen. Zoals in dit geval bleek, is kwantiteit niet alles.
In april 2024 verscheen in het prestigieuze tijdschrift Nature een studie met zeer dramatische conclusies, die al snel de aandacht van de media trokken: door de klimaatverandering zou de wereldeconomie onomkeerbaar “veroordeeld” zijn tot een verlies van 19 % van het bruto binnenlands product tegen het midden van de eeuw.
De studie werd een mediahit en maakte ook deel uit van de onderbouwing (niet de enige onderbouwing) voor strategische planning bij instellingen als de Wereldbank. Volgens de website Carbon Brief was het in de media het op één na meest geciteerde klimaatwerk van 2024.
Een jaar later blijkt echter dat de alarmerende conclusies in dit geval op wankele grondvesten berustten. Het verhaal van de opkomst en ondergang ervan is een fascinerend voorbeeld van wetenschappelijk speurwerk, methodologische discussies en hoe complex het is om onze economische toekomst op een opwarmende planeet te voorspellen.
Hoeveel en waarom
De tekst is het werk van een klein team bestaande uit Maximilian Kotz, Anders Levermann en Leonie Wenz van het Duitse Potsdam Institute for Climate Impact Research. Samen kwamen ze met een werk dat aanzienlijk afweek van eerdere schattingen.
Niet alleen was het voorspelde verlies aan bbp ongeveer drie keer zo groot als in eerdere analyses, maar volgens hen was dit verlies op dit moment al een gegeven en niet meer te vermijden: vanwege de emissies die we al hebben uitgestoten en de traagheid van het economische systeem. In geld uitgedrukt zou dit lot een schade van 38 biljoen dollar per jaar tot 2049 betekenen.
De auteurs baseerden hun zekerheid op een volgens hen robuustere methodologie: in plaats van ruwe gegevens voor hele landen analyseerden ze de ontwikkeling in 1600 kleinere regio’s en namen ze ook de effecten van temperatuurschommelingen en extreme neerslag in het model op.
Een dergelijk hoog cijfer had natuurlijk verpletterende politieke en economische implicaties. Als de schade als gevolg van het uitblijven van maatregelen werkelijk zo astronomisch zou zijn, zou dat vrijwel alle kostbare maatregelen om klimaatverandering tegen te gaan rechtvaardigen. De studie zelf stelde dat de onvermijdelijke schade nu al zes keer hoger is dan de kosten van het nemen van de maatregelen die nodig zijn om de doelstellingen van het Akkoord van Parijs te halen.
De conclusies waren zo alarmerend dat zelfs sommige deskundigen die het werk nog vóór de publicatie ervan beoordeelden, er aandacht aan schonken.
Zoals The Washington Post opmerkte, schreef een van de anonieme recensenten voor het tijdschrift Nature in zijn beoordeling dat hij, hoewel het werk goed was uitgevoerd, moeite had om de resultaten te geloven, die hem “intuïtief te groot” leken. Zijn aanvankelijke scepsis bleek profetisch.
Het duurde niet lang voordat andere wetenschappers zich in het baanbrekende onderzoek verdiepten om de grondslagen ervan tot in het kleinste detail te onderzoeken. En ze vonden er barsten in.
Twee klappen voor de zekerheid
Eén “klap” kwam van het team onder leiding van Solomon Hsiang, een gerespecteerd expert op het gebied van klimaateconomie aan de Stanford-universiteit. Zijn team merkte op dat de resultaten van de studie vreemd genoeg afhankelijk waren van één enkel land.
Toen ze namelijk de gegevens van de ene na de andere staat verwijderden en de resultaten opnieuw berekenden, gebeurde er in de meeste gevallen niets. Op één uitzondering na: Oezbekistan. Toen de gegevens voor veertien Oezbeekse provincies uit de analyse verdwenen, stortte het hele model in.
Het bleek dat de gegevens voor dit land in de onderliggende database volledig onjuist waren, met een absurde jaar-op-jaar groei van tientallen procenten in de jaren negentig, gevolgd door een daling van negentig procent in 2000.
Deze wilde en onrealistische schommelingen beheersten het statistische model volledig en vertekenden de conclusies voor de hele wereld. Na het verwijderen van deze ene data-afwijking daalde de schatting van de schade tot het midden van de eeuw van de oorspronkelijke 19 naar slechts zes procent. Het alarmerende cijfer was niet het resultaat van een geniale nieuwe methode, maar eerder van een fout in de gegevens.
De tweede kritiek, geformuleerd door statisticus Christof Schötz, is subtieler. Deze richtte zich op de fundamenten van de statistische benadering van de studie. Schötz wees erop dat de auteurs de gegevens van economisch sterk verbonden regio’s van één land behandelden alsof het volledig onafhankelijke en zelfstandige eenheden waren.
Dat is natuurlijk een statistische overtreding. Het is (met enige overdrijving) alsof ze het bbp van afzonderlijke Tsjechische regio’s zouden bekijken als de resultaten van verschillende landen. Regio’s zijn geen onafhankelijke eilanden; wat er in de ene regio gebeurt, heeft immers tot op zekere hoogte ook invloed op de andere.
De oorspronkelijke studie negeerde dit feit, waardoor kunstmatig de illusie werd gewekt van een enorme hoeveelheid gegevens en een valse indruk van grote zekerheid over de conclusies. Toen Schötz het model corrigeerde om rekening te houden met deze afhankelijkheid, bleek dat de statistische zekerheid van de oorspronkelijke resultaten lang niet zo groot was als de auteurs hadden aangegeven.
Correctie met een vraagteken
Het team van auteurs handelde op een manier die door velen werd beschouwd als een voorbeeld van goede wetenschappelijke praktijk. In plaats van een onverdedigbare fout te verdedigen, erkenden ze deze volledig, bedankten ze hun critici op sociale media en in hun antwoord publiekelijk en namen ze “de volledige verantwoordelijkheid voor de oorspronkelijke vergissing” op zich.
Vrijwel onmiddellijk publiceerden zij een gecorrigeerde versie van hun werk, die nog niet de standaard beoordelingsprocedure heeft doorlopen. De auteurs hebben ook alle gegevens en procedures beschikbaar gesteld. In de nieuwe versie hebben zij niet alleen de foutieve gegevens voor Oezbekistan gecorrigeerd, maar ook hun statistische model aangepast om beter rekening te houden met de anomalieën en ruimtelijke afhankelijkheden van de gegevens, waarop Christof Schötz had gewezen.
Het resultaat van deze dubbele correctie was voor velen verrassend. De nieuwe schatting van de schade tot het midden van de eeuw is slechts licht gedaald: van de oorspronkelijke 19 % naar 17 % van het bbp. Een veel ingrijpender verandering vond plaats in de mate van zekerheid. Het oorspronkelijke, vrij smalle betrouwbaarheidsinterval van 11 tot 29 % werd in de nieuwe versie uitgebreid tot 6 tot 31 %.
De auteurs gaven dus toe dat er aanzienlijk meer onzekerheid was, maar bleven tegelijkertijd bij hun interpretatie van de resultaten. “Het belangrijkste is dat de belangrijkste conclusies van het artikel kloppen”, zei Leonie Wenz, medeauteur van de studie, tegen The Washington Post.
De toekomst van de studie is nu onzeker. De redactie van het tijdschrift Nature kan de gecorrigeerde versie accepteren, maar kan ook het hele werk terugtrekken, wat zou betekenen dat het feitelijk uit de wetenschappelijke literatuur wordt verwijderd.
Wat kunnen we hieruit leren?
De belangrijkste les uit deze hele affaire heeft niets te maken met het kleine verschil tussen 19 en 17 procent. De echte verschuiving is de overgang van schijnbare zekerheid naar het erkennen van diepe onzekerheid. De oorspronkelijke studie vertelde het verhaal van een bijna zeker en nauwkeurig berekend lot.
Kritiek heeft aangetoond dat de werkelijkheid veel vager is en dat we te maken hebben met een breed spectrum aan mogelijke toekomsten, variërend van beheersbaar tot catastrofaal. Om hierin onze weg te vinden, moeten we deze discussie plaatsen in de bredere context van wat we vandaag de dag werkelijk weten over de economische gevolgen van de opwarming van de aarde.
De huidige klimaatmodellen wijzen erop dat de wereld hoogstwaarschijnlijk niet afstevent op de ergste scenario’s waarop het werk van de Duitse wetenschappers zich concentreerde, maar eerder op een opwarming van ongeveer 3 °C tegen het einde van de eeuw.
Welke economische gevolgen kunnen we in een dergelijke wereld verwachten? Ook hier is er niet één juist antwoord, maar eerder verschillende denkrichtingen. Traditionele economische modellen, die worden gebruikt door instellingen als het Internationaal Monetair Fonds en de OESO, schatten voor dit scenario de verliezen aan wereldwijd bbp in op een paar procent tot ongeveer 18 % van het bbp in 2100 (dit cijfer geeft aan hoeveel het bbp in 2100 lager zou zijn dan in een situatie waarin er geen opwarming zou plaatsvinden). Dat is een ruime, maar nog steeds veel lagere schatting dan die in de studie van Nature.
Andere benaderingen bekijken het probleem vanuit het oogpunt van risico. Zo concludeert een analyse van het Amerikaanse Congressional Budget Office (CBO) dat de meest waarschijnlijke schatting van de schade relatief laag is, namelijk slechts ongeveer 4 % van het bbp. Tegelijkertijd wijst het er echter op dat er een kans van 5 % bestaat dat de schade meer dan 21 % van het bbp zal bedragen.
Het is vergelijkbaar met verzekeringen: ook al is de gemiddelde kans dat uw huis afbrandt nihil, de gevolgen zijn zo catastrofaal dat u zich er liever tegen verzekert. En juist deze “extreme risico’s”, die in standaardmodellen vaak worden onderschat, staan centraal in de derde denkrichting.
Hieronder valt ook de bekritiseerde studie uit Nature. Deze nieuwe empirische methoden proberen de gevolgen van historische temperatuurschokken beter weer te geven en komen vaak tot veel hogere schattingen van de schade, soms zelfs meer dan 50 % van het bbp. De zaak is dus eigenlijk een voorbeeld van een scherpe botsing tussen oude en nieuwe methoden en de strenge controle waaraan elke nieuwe benadering zou moeten worden onderworpen – en die vaak uiteindelijk niet succesvol is.
De vraag is of dergelijke fouten überhaupt onopgemerkt door de controle van het tijdschrift hadden mogen gaan. Iedereen kan daar een andere mening over hebben, maar het is een feit dat de controle vóór publicatie lang niet 100% werkt. Er is meestal niet genoeg tijd of middelen om dat te bereiken. Helaas komt een groot deel van de fouten pas achteraf aan het licht, als ze al aan het licht komen. Zonder ingrijpende veranderingen in het publicatieproces van wetenschappelijke resultaten zal daar niets aan veranderen.
De hele zaak is tegelijkertijd een waarschuwing voor de kwetsbaarheid van “big data”. De oorspronkelijke studie ging er prat op dat ze gebruik maakte van gedetailleerde gegevens uit meer dan duizend kleinere regio’s en daarom nauwkeurigere resultaten zou opleveren. In werkelijkheid ging in deze overvloed aan gegevens een gebrekkige dataset nog beter schuil, die de illusie van een onvermijdelijke ramp wist te creëren.
In een tijd waarin we steeds meer vertrouwen op analyses van enorme datasets, is deze les over de noodzaak van nauwgezette controle en verificatie van invoergegevens absoluut cruciaal. Zelfs het meest geavanceerde statistische model is waardeloos als het op een slechte basis is gebaseerd.
