Woensdag 25/05/2022

Orkaan Patricia

Succesvol voorspellen? Denk als een pokerspeler

Een koppel staat op de uitkijk in Puerto Vallarta, terwijl orkaan Patricia dichterbij komt. Beeld AP
Een koppel staat op de uitkijk in Puerto Vallarta, terwijl orkaan Patricia dichterbij komt.Beeld AP

Orkaan Patricia, aangekondigd door experts als 'de krachtigste ooit', bleek dit weekend een (stevige) storm in een glas water. Maar er zijn mensen die wel keer op keer situaties perfect kunnen voorspellen. Hoe doen zij dat?

MICKEY STEIJAERT

"Bagdad beschikt over zowel chemische en biologische wapens als over kernraketten met een groter bereik dan de VN-restricties toelaten. Als er niet wordt opgetreden, dan zal het land waarschijnlijk dit decennium kernwapens hebben." Meestal heeft een foute voorspelling geen verstrekkende gevolgen. Bij bovenstaande briefing uit oktober 2002 van Amerikaanse inlichtingendiensten, lag dat anders. We kennen de afloop: de VS vielen in 2003 Irak binnen, maar vonden nog geen kruimel verrijkt uranium. De inlichtingendiensten stonden in hun hemd.

Voorspellingen en prognoses behoren tot het vaste repertoire van de deskundige. Zet een willekeurig praatprogramma op en je hoort de ene na de andere expert vertellen wat de beurskoers van Volkswagen zal doen of wanneer we de eerste voet op Mars zullen zetten. Mensen, zowel tv-kijkers als wereldleiders of beleggers, hebben behoefte aan zekerheid, en niets is dan zo fijn als een expert die vaststelt wat er staat te gebeuren.

Alleen: vrijwel niemand checkt of die voorspellingen ook echt uitkomen. De Canadese psycholoog Philip Tetlock doet dat wel en liet tussen 1988 en 2003 experts voorspellingen doen over actuele zaken. Zijn conclusie: de gemiddelde expert is even goed (lees: slecht) in voorspellen als een met pijltjes gooiende chimpansee.

Die harde conclusie vond gretig aftrek in de media, maar ging voorbij aan een belangrijke nuance in Tetlocks werk. Sommige experts hadden het bij kortetermijnvoorspellingen namelijk wel bovengemiddeld vaak bij het rechte eind.

De afgelopen jaren organiseerde Tetlock grootschalige toernooien om de ideale voorspeller te vinden. De conclusies verwerkte Tetlock in zijn boek Supervoorspellers en die klinken een stuk rooskleuriger: er zijn wel degelijk mensen die goed kunnen voorspellen. Alleen zijn het juist niet de experts, maar strategische hobbyisten. Zijn deze supervoorspellers echt zo goed? Welke tactieken gebruiken ze om de experts te verslaan en wat kunnen we van ze leren?

Mexicaanse soldaten meten de schade op in de staat Jalisco. Beeld EPA
Mexicaanse soldaten meten de schade op in de staat Jalisco.Beeld EPA

Juiste vragen stellen

"Een grote verrassing", noemt Tetlock de uitnodiging van Amerikaanse inlichtingendiensten enkele jaren terug om een grootschalig experiment te beginnen. De diensten zochten naar manieren om hun voorspellingen te verbeteren en flaters als met Irak te voorkomen. De enige manier om succesvolle tactieken te achterhalen was door te testen of er een groep voorspellers bestaat die, al dan niet getraind in een bepaalde tactiek, bovengemiddeld goede inschattingen maakt. Tetlock zag de uitnodiging niet aankomen. "Het mantra voor organisaties is om geen onderzoek te steunen dat je mogelijk in de staart bijt. En de kans was groot dat onze resultaten niet al te rooskleurig waren voor de inlichtingendiensten."

Toch ging Tetlock met een groep wetenschappers aan de slag. Ze lanceerden een internetcampagne ('Wil jij helpen de toekomst van de wereld te voorspellen?') en bedachten geschikte vragen ('Hoe groot is de kans dat Servië voor 31 december 2011 officieel kandidaat is voor het lidmaatschap van de EU?'; 'Wat is de kans dat de London Gold Market Fixing-prijs op 30 september 2011 hoger is dan 1.850 dollar?'). Uiteindelijk deden liefst 25.000 mensen mee aan het voorspeltoernooi, met als opdracht op elke vraag een percentage te plakken. Anders dan in Tetlocks eerdere experiment gingen de nieuwe vragen alleen over het komende jaar. "Verder vooruitkijken staat gelijk aan gokken. Daar is geen winst te behalen."

Wat bleek? Een groep van zo'n tweeduizend individuele deelnemers maakte keer op keer betere inschattingen dan de andere deelnemers, als apen die opeens heel vaak in de roos gooien. Dom geluk? Nee, bleek uit statistische tests. Als alle voorspellingen waren gebaseerd op toeval, dan zou de kans op een score zoals die werd behaald door de supervoorspellers lager zijn dan één op de honderd miljoen. "De vraag is: kun je de actualiteit behandelen als een pokerspel, waarbij je een kans op een bepaalde hand kunt inschatten?", legt Tetlock uit. "Velen denken van niet, maar de supervoorspellers laten zien dat het wél mogelijk is." Zij deden inschattingen die gemiddeld 60 procent nauwkeuriger waren dan die van de modale deelnemer. Sterker (en pijnlijker) nog: ze voorspelden keer op keer een stuk nauwkeuriger dan werknemers van inlichtingendiensten, die over vertrouwelijke informatie beschikten.

Wat maakt van deze 2.000 deelnemers zulke goede voorspellers? Gebruiken ze ingewikkelde statistische modellen? Pluizen ze elke dag de krant uit? Geen van beide. Uit Tetlocks boek rijst het beeld op van verstokte hobbyisten, die de informatie die ze hebben optimaal benutten.

De juiste vragen stellen helpt al een hoop. Welke informatie ken je en wat zegt die over het probleem? Ira Helsloot weet er alles van. De hoogleraar besturen van veiligheid aan de Radboud Universiteit is expert in het inschatten van risico's, zoals toen hem werd gevraagd bij te dragen in een expertdiscussie over de kans dat een boot op station Amsterdam Centraal in zou varen. "In zo'n geval pakte men terecht als uitgangspunt dat het nabije verleden de beste voorspeller is voor de nabije toekomst. De basis is dan het aantal boten dat de afgelopen decennia tegen de Amsterdamse kade is gevaren."

Bij het doortrekken van zulke cijfers naar de toekomst dien je volgens hem rekening te houden met gebeurtenissen die de cijfers kunnen doen veranderen. Zo zagen Helsloot en zijn collega's dat het aantal ongelukken begin jaren negentig ineens drastisch afnam. "Dit kwam door het installeren van een walradar en de invoering van een maximumvaarsnelheid. De cijfers van voor de jaren negentig waren daardoor geen goede basis en de voorspelling moest worden aangepast: elke kilometer kade wordt niet eens in de 300 maar eens in de 600 jaar 'aangevaren'."

Dit is precies de tactiek die ook Tetlocks supervoorspellers toepassen. Tetlock: "Als zij de vraag moeten beantwoorden of een Afrikaanse dictator nog een maand blijft zitten, kijken ze eerst naar de gemiddelde regeerperiode van een dictator. Onrust in het land kan een reden zijn om de kans op een coup naar boven bij te stellen, maar is niet het eerste uitgangspunt."

Wat de supervoorspellers ook gemeen hebben, is dat ze zich niet makkelijk in de luren laten leggen door hun eerste ingevingen. Zoals Tetlock in zijn boek beschrijft, heeft een mens van nature drie standaardantwoorden bij het beantwoorden van een vraag: ja, nee en misschien. Fijn als je in de jungle moet overleven (is dat een leeuw, ja of nee?), maar minder handig als je moet voorspellen of de vogelgriep de komende maand minstens zes slachtoffers zal eisen.

De supervoorspellers hebben zich aangeleerd om niet in ja/nee-termen te denken, maar in kansen: niets is altijd 100 procent zeker, alles is in zekere mate waarschijnlijk. Deze denkmanier creëert ruimte voor tegenargumenten: ja, de vogelgriep is een groot gevaar en kan zeker minstens zes slachtoffers eisen, maar tegelijkertijd reageert de wereld steeds sneller op epidemieën en kan de schade meevallen.

Tetlock: "Op basis van tegengestelde informatie loop je altijd het risico op overschatting of juist onderschatting van een kans. De supervoorspellers luisteren goed naar zichzelf en vinden de balans die het beste resultaat oplevert."

Hoe zit het met de inlichtingendiensten en de tv-experts? Moeten we hun voorspellingen voortaan links laten liggen? "Het probleem is", zegt Tetlock, "dat de meeste voorspellingen te vaag zijn om te meten. 'Dit of dat gaat misschien gebeuren', zegt zo'n deskundige dan, dat kan natuurlijk altijd goed of fout zijn. Om zulke voorspellingen te verbeteren, heb je feedback nodig."

Ook Houston in de Verenigde Staten werden getroffen door Patricia. Beeld AP
Ook Houston in de Verenigde Staten werden getroffen door Patricia.Beeld AP

Nodig: ruimte voor twijfel

En dat is waar de schoen volgens Tetlock wringt. De voorspellingskunst zal zichzelf nooit verbeteren, zolang de uitkomst van prognoses niet wordt gecheckt. Vergelijk het met de medische wetenschap, zegt Tetlock. Tot het moment waarop medici in experimenten met proef- en controlegroepen gingen testen welke behandelingen effectief waren, modderden ze maar wat aan met aderlatingen. Op dezelfde manier zullen inlichtingendiensten nooit betere voorspellingen doen als ze niet systematisch nagaan welke methoden werken voor goede voorspellingen en welke niet. Desondanks moeten we experts niet afdanken, vindt Radboud-hoogleraar Helsloot. "Zij zijn thuis binnen een bepaald onderwerp. Hun eerste ingevingen komen misschien minder rationeel tot stand, maar worden wel gedaan op basis van jarenlange ervaring."

Voor hij de uitzonderlijke prestaties van de supervoorspellers gelooft, wil Helsloot graag een wetenschappelijke publicatie van Tetlock zien over zijn toernooien. "In het boek staat het leuk beschreven, maar er missen belangrijke getallen. Hoe consistent waren de supervoorspellers bijvoorbeeld?"

Ook waarschuwt Helsloot dat helemaal nauwkeurige voorspellingen sowieso niet mogelijk zijn. "Echt onverwachte gebeurtenissen, zonder precedenten, zijn per definitie onvoorspelbaar." Tetlock beaamt dat volledige zekerheid niet mogelijk is, maar benadrukt het nut van een relatieve verbetering van onze inschattingskracht. Als de Amerikaanse inlichtingendiensten net iets meer ruimte voor twijfel hadden gelaten, dan hadden ze wellicht bedacht dat er ook een optie was dat Saddam geen verborgen kernkoppen had. Iets meer denken als een supervoorspeller had dan het verschil kunnen maken tussen wel of geen invasie in Irak.

Patricia houdt enigszins haar manieren

Patricia gaat de geschiedenis in als de zwaarste orkaan ooit gemeten met windsnelheden tot 400 kilometer per uur. Logisch dus dat ze in Mexico het allerergste verwachtten toen Patricia daar dit weekend aan land ging. Maar eens boven land zwakte Patricia af tot een tropische storm. In combinatie met het waarschuwings- en evacuatiesysteem vielen hierdoor geen slachtoffers.

Dat de orkaan aan land kwam in dunbevolkt gebied hielp ook om de schade te beperken. Maar ook in haar afgezwakte vorm liet Patricia een spoor van ravage achter. Vooral de deelstaten Nayarit, Colima en Jalisco werden zwaar getroffen door het stormweer en de bijhorende zware regenval.

President Enrique Pena Nieto had het na zijn bezoek aan het rampgebied over minstens 3.500 verwoeste huizen. Ook een paar duizend hectare landbouwoppervlakte had zwaar te lijden onder de rukwinden.

Patricia veroorzaakte ook problemen in de Amerikaanse staat Texas, daar ontstonden overstromingen door de overvloedige regenval.

Meer over

Nu belangrijker dan ooit: steun kwaliteitsjournalistiek.

Neem een abonnement op De Morgen


Op alle artikelen, foto's en video's op demorgen.be rust auteursrecht. Deeplinken kan, maar dan zonder dat onze content in een nieuw frame op uw website verschijnt. Graag enkel de titel van onze website en de titel van het artikel vermelden in de link. Indien u teksten, foto's of video's op een andere manier wenst over te nemen, mail dan naar info@demorgen.be.
DPG Media nv – Mediaplein 1, 2018 Antwerpen – RPR Antwerpen nr. 0432.306.234