Dinsdag 20/10/2020

AnalysePeilingen VS

Biden of toch weer Trump: klopt de voorspelling van de Amerikaanse peilingbureaus ditmaal wél?

Een verslagen Clinton-aanhanger op de voor haar desastreus verlopen verkiezingsavond.Beeld Getty

De winst van Donald Trump in 2016 kwam als verrassing, nadat de peilingen Hillary Clinton aanwezen als winnaar. Ditmaal ligt Joe Biden flink voor. Kunnen we de voorspellingen nu wél vertrouwen?

Bekijk: waarom dit geen verkiezingen zoals de andere zijn

“Hillary Clinton heeft 91 procent kans om te winnen”, kopte The New York Times op de ochtend van de Amerikaanse presidentsverkiezingen in 2016. “Zelfs een grote fout in de peilingen zal niet meer genoeg zijn voor een overwinning van Trump”, stelde het bijgaande bericht vol zelfvertrouwen.

Oeps. Toen Trump tóch won, verloren media en verkiezingsstatistici over de hele wereld zich in uitgebreide zelfanalyse. “Hoe data ons in de steek lieten bij het voorspellen van een verkiezing“, “Kunnen de media weer bijkomen van deze verkiezing?“ De koppen waren glashelder: de voorspellingen hadden er vreselijk naast gezeten. 

Spoel door naar nu. Aan de vooravond van de volgende presidentsverkiezingen in de Verenigde Staten, loopt Trump opnieuw achter in de peilingen. Weekblad The Economist noemt het in zijn voorspelling “heel waarschijnlijk” dat Joe Biden de komende verkiezing wint. Hij heeft een kans van grofweg 6 op 7. Fivethirtyeight van datajournalist Nate Silver is iets voorzichtiger, maar noemt Biden eveneens ‘favoriet’ voor de winst, met een nog altijd overtuigende winkans van 77 op 100.

Herhaalt de geschiedenis zich? Winst voor Trump is op basis van de voorspellingen niet uitgesloten, maar dat was vier jaar terug ook al het geval, schrijft Silver in een analyse. “We denken dat ons model het goed heeft gedaan in 2016. Hoewel het Hillary Clinton als favoriet noemde, kreeg Donald Trump zo’n 30 procent kans op winst.”

Dat klinkt misschien niet als veel, maar is het wel, zegt verkiezingsstatisticus Tom Louwerse (Universiteit Leiden), in Nederland onder meer bekend van de Peilingwijzer. “Als dat de kansen zijn op winst bij de loterij, ga ik morgen een lot kopen”, zegt hij.

Beeld Getty

Complexer

Verkiezingen voorspellen in de Verenigde Staten is complex. Daar werkt men met het zogeheten kiesmannensysteem, waarbij elke deelstaat – Texas, Californië, Florida, enzovoort – een vooraf vastgestelde hoeveelheid kiesmannen levert. Daarbij geldt een ‘winner takes all’-principe. Wie een staat wint, ook al is dat met één stem verschil, krijgt álle kiesmannen van die staat. Wie uiteindelijk landelijk de meerderheid van alle kiesmannen wint (in totaal zijn er 538), wordt de volgende president.

Dat kan leiden tot uitslagen die in België ondenkbaar zijn. Zo won Clinton in 2016 niet het presidentschap, maar had ze wél meer stemmen. Terwijl zij met overmacht won in dichtbevolkte staten als Californië, harkte Trump met kleinere marges uiteindelijk meer kiesmannen binnen. In zo’n systeem zeggen landelijke peilingen dus lang niet alles, peilingen in deelstaten zijn belangrijker. 

Bij de uiteindelijke uitslag zaten de peilingen er op landelijk niveau ook in 2016 slechts 1,1 procent naast. De winst van Clinton in de ‘popular vote’ werd zowel in de meeste peilingen als door modelleurs als FiveThirtyEight – die net als de Peilingwijzer van Louwerse afzonderlijke peilingen bundelen – correct voorspeld. Op staatsniveau ging het echter mis. ‘Met name in het Midwesten, in staten als Michigan en Wisconsin, verliep de stemming anders dan vooraf voorspeld.’ 

Beeld Getty

Volgens Louwerse gingen veel modelleurs destijds ten onterechte ervan uit dat peilingen in staten onafhankelijk zijn van elkaar. ‘In staten die dicht bij elkaar liggen en een soortgelijke bevolkingsopbouw kennen, lijkt de uitkomst op elkaar. Als je in één zo’n staat een peilingsfout hebt, is de kans groot dat je er ook in andere staten naast zit’, zegt hij. 

Dat werkt verkeerde voorspellingen in de hand. Ga ervan uit dat peilingsfouten onafhankelijk zijn, en het scenario dat Trump het in meerdere staten beter doet dan in de peilingen, is nogal extreem – alsof je meerdere keren achter elkaar 6 moet gooien met een dobbelsteen. ‘Maar als de afwijkingen in staten samenhangen, is zo’n scenario veel beter denkbaar’, zegt Louwerse. 

FiveThirtyEight hield in 2016 al rekening met wat in vakjargon ‘gecorreleerde peilingsfouten’ heet, wat deels het verschil met andere voorspellingen kan verklaren. Nu hebben ook andere modelleurs dat meegenomen in hun modellen. 

Dat wil niet zeggen dat voorspellingen voortaan altijd kloppen. Wie het huidige Economist-model toepast op de verkiezing van 2016, krijgt als uitkomst bijvoorbeeld nog steeds dat Clinton meer kans heeft om te winnen dan Trump. ‘Maar de modellen houden meer rekening met het feit dat Trump of Biden het in een reeks staten beter zou kunnen doen dan verwacht. Ze houden dus rekening met een breder scala aan mogelijke uitkomsten’, zegt Louwerse. 

Ook de losse peilingen hebben een verbeterslag gemaakt. Zo zijn peilers bijvoorbeeld beter gaan kijken naar onder meer het opleidingsniveau en het stemgedrag bij vorige verkiezingen van de mensen die ze benaderen voor hun onderzoek. Stel dat 30 procent van degenen die ze voor zo’n peiling spreken in 2016 op Trump stemde, terwijl hij in die staat toen 40 procent van de stemmen behaalde, dan is de bevraagde groep niet representatief. ‘Daar kun je dan nog deels voor corrigeren’, zegt Louwerse.

Beeld Getty

Bovendien, zegt hij, is iedereen voorzichtiger geworden. ‘Als je ziet hoe ver Biden al voor ligt in de peilingen en hoe relatief laag modelleurs als The Economist en FiveThirtyEight zijn kansen toch nog inschatten.’

Eén reden voor die toegenomen voorzichtigheid is dat de verkiezingen van 2020 weleens historisch onvoorspelbaar kunnen verlopen. Zo is het de eerste keer dat kiezers hun stem moeten uitbrengen tijdens een wereldwijde pandemie – iets dat stemmen lastiger maakt, al zijn er met opties om vroeg te stemmen (in sommige staten kun je nu al naar de stembus) en stemmen per post wel alternatieven mogelijk. 

Desondanks noopte de pandemie – en de politieke onrust – FiveThirtyEight ertoe ‘extra onzekerheid’ in hun model te stoppen. Daarbij is het de vraag of ze niet doorschieten. Hun model doet zijn voorspelling door de verkiezing duizenden keren te simuleren en te turven wie wint. ‘Door de grote onzekerheid die het model meeneemt, krijgt die simulatie nu soms wel gekke uitslagen’, zegt Louwerse. ‘Dan wint Biden bijvoorbeeld ineens New Jersey, maar verliest veel democratischer staten als Californië. Dat is niet realistisch.’

Beeld Getty

Academischer

Elk voorspellingsmodel begint met dezelfde ingrediënten. Ten eerste de beschikbare peilingen, zowel nationaal als per staat. Daarbij komen de uitkomsten van de vorige verkiezingen en belangrijke factoren, waarvan de belangrijkste de toestand van de economie en de waarderingscijfers van de zittende president zijn. Beide zijn historisch gezien belangrijke voorspellers van de uiteindelijke uitslag. 

Op die gegevens laat een modelleur vervolgens een statistische trukendoos los, die per model totaal andere elementen kan bevatten. FiveThirtyEight maakt bijvoorbeeld goede sier met hun uitgebreide database met beoordelingen van peilingsbureaus, cijfers die vertellen hoe goed de peilingen van die bureaus in het verleden presteerden. Peilingen van goede peilers wegen (veel) zwaarder dan die van slechte.

‘Het model van The Economist is wat academischer’, zegt Louwerse. Het wordt gemaakt door twee wetenschappers, baseert zich op inzichten uit vaktijdschriften en maakt de broncode van hun model openbaar zodat iedereen met kennis van zaken erin kan duiken. FiveThirtyEight doet dat niet. ‘Silver heeft wel een heel begrijpelijke publiekstoelichting geschreven, maar de exacte details blijven geheim. Zijn benadering is bovendien wat meer ad hoc, al weet hij alles steeds goed te onderbouwen.’

Volgens Louwerse is het vooraf onmogelijk te beoordelen wiens model beter is. ‘Je kunt wel testen op oude verkiezingen en zien welk model dan het best presteert, maar zeker bij deze verkiezing is het maar de vraag hoeveel dat nu echt zegt.’

Dit is immers pas de tweede verkiezing met Trump. Een kandidaat die, volgens vriend en vijand, niet bepaald voldoet aan het standaardplaatje van een politicus. ‘Trump is een populist, iemand die kiezers nog altijd beschouwen als outsider’, zegt Louwerse. ‘In hoeverre gaat voor hem dan op wat voor vorige zittende presidenten opging?’ Een model dat is getraind op oude verkiezingen, zit er dan misschien eerder naast.

Beeld Getty

Ongrondwettelijke capriolen

En dan is er ook nog eens alles dat je níét kunt voorspellen. Of zoals Silver schrijft in een disclaimer bij de uitleg van zijn voorspelling: ‘Ons model voorspelt de stemmen op verkiezingsdag. We gaan uit van redelijke pogingen om stemgerechtigde burgers te laten stemmen en om alle legaal uitgebrachte stemmen te tellen. Ons model houdt geen rekening met ongrondwettelijke capriolen van Trump of van anderen, zoals pogingen om stemmen per post niet te laten tellen.’ 

Dat zo’n toevoeging nodig is, noemt Louwerse een zorgwekkende ontwikkeling. Volgens hem verlopen de verkiezingen in de VS steeds minder via een neutrale standaard. ‘Denk alleen al aan de pogingen van vooral Republikeinen om zo veel mogelijk stemmen te weren – al zeggen ze zelf natuurlijk dat ze vooral fraude willen tegengaan’, zegt hij. Ook de Democraten zijn niet altijd even netjes. ‘Ze lijken zich er wel iets meer voor te schamen’, zegt Louwerse. En zo komt volgens hem in de VS de objectiviteit van de verkiezingen inmiddels in het geding. 

Die onzekerheid over een eerlijk verloop zal de komende weken nog als een spook rond de aanstaande verkiezingen blijven zweven. En dat maakt zelfs met keurige statistiek voorspelde uitslagen minder betrouwbaar. Louwerse: ‘Als mensen in peilingen zeggen te zullen stemmen is nu veel meer dan in het verleden de vraag: doen ze dat ook echt? En zo ja: wordt die stem eerlijk geteld? De garanties daarop staan nu onder druk.’

Onzekerheid communiceren

Een van de belangrijkste fouten die de voorspellers in 2016 hebben gemaakt, is volgens politicoloog Tom Louwerse (Universiteit Leiden) dat ze te veel pretendeerden dat hun voorspelling een zekerheid was. Daarin zijn ze deze verkiezingscyclus voorzichtiger geworden, ziet hij. ‘Modelleurs benadrukken nu dat zelfs bij een winkans van 70 procent voor Biden, Trump alsnog een reële kans maakt’, zegt hij.

Dat zie je bijvoorbeeld aan de pagina waarop website FiveThirtyEight zijn voorspelling aan de lezer voorschotelt. Die toont op de achtergrond een breed scala aan kaartjes van de VS, waarin deelstaten roodgekleurd zijn (winst voor de Republikeinen van Trump) of blauw (winst voor de Democraten van Biden). Die kaartjes lopen van bijna helemaal blauw tot bijna helemaal rood en zijn stuk voor stuk mogelijke uitkomsten die uit het model zijn komen rollen. ‘Het is alsof ze willen zeggen: kijk, mensen, er is echt van alles mogelijk’, zegt Louwerse. 

Daarnaast hebben de sites in hun overzichten de percentages grotendeels in de ban gedaan. Een goede keus, meent statisticus Casper Albers (Rijksuniversiteit Groningen). ‘Als je ‘tien op de honderd’ zegt, is dat voor veel mensen duidelijker dan 10 procent’, zegt hij, ‘dat is keer op keer gebleken uit communicatieonderzoek.’

Albers vergelijkt het met een weersvoorspelling. ‘Een bekende anekdote stelt dat Amerikaanse weermannen de kans op zon of regen altijd zo rond de 50 procent schatten’, zegt hij. ‘Wanneer je 10 procent kans op regen afgeeft, klinkt dat voor veel mensen namelijk als ‘het blijft droog’. En dan zijn ze vervolgens boos als het tóch regent.’

Ondanks de voorsprong van Biden in de peilingen, moet je Trump daarom zeker niet uitvlakken. Of zoals Nate Silver op FiveThirtyEight schrijft: ‘Kandidaten die volgens ons model een winkans hebben van 30 procent, blijken hun verkiezingen ook echt in zo’n 30 procent van de gevallen te winnen.’ Dat kan ook best twee keer achter elkaar voorkomen.

Beeld Getty

Hoe peilingen hun nut kunnen bewijzen

Ondanks de grote onzekerheid rond de volgende presidentsverkiezing, zijn de peilingen ook nu van maatschappelijke waarde. Twee voorbeelden.

1. Fraude opsporen

Peilingen kunnen fraude aan het licht brengen. ‘Een kandidaat die zichzelf als winnaar uitroept in een staat waar hij een kans van 0,4 procent had om te winnen, moet bijvoorbeeld met meer argwaan worden bekeken dan iemand die 40 procent kans had’, schrijft datajournalist Nate Silver. 

2. Het risico van stemmen per post

‘Het zou weleens een vreemde verkiezingsnacht kunnen worden’, stelde FiveThirtyEight-journalist Nathaniel Rakich in een veelbesproken blogbericht. De reden: Biden-stemmers zijn veel meer dan Trump-stemmers van plan om per post te stemmen, zo bleek in augustus uit een peiling van NBC News. 

‘Dat heeft serieuze implicaties voor, nou ja... de democratie’, schreef Rakich. ‘Trump zou de stemmen per post als frauduleus kunnen bestempelen en daarmee het vertrouwen in de uitslag kunnen beschadigen.’ Omdat stemmen per post langer duren om te tellen, zou Trump bovendien de winst kunnen claimen op basis van onvolledige resultaten. ‘Het kan nog dagen duren voordat Biden de leiding in de getelde stemmen overneemt.’

Dit zijn de vier belangrijkste spelers op de Amerikaanse markt voor verkiezingsstatistiek

1. FiveThirtyEight
Statistische voorspelling door datajournalist Nate Silver en collega’s. Gaf Trump vorige keer meer kans dan veel andere voorspellers. Doet ook onder meer voorspellingen voor de race om controle in de Amerikaanse Senaat, die zich tegelijk met de presidentsverkiezingen afspeelt.

2. The Economist
Voorspellingsmodel door politicologen Andre Gelman en Merlin Heidemanns, dat vooral zwaar leunt op bewezen academische statistische methoden. Broncode van hun model is publiekelijk beschikbaar.

3. RealClearPolitics
Biedt een simpele middeling van alle peilingen, zonder complex achterliggend model. Is daardoor gevoeliger voor politiek gekleurde peilingen. Wordt desondanks door media vaak aangehaald in hun verslaggeving.

4. PollyVote
Middelt de voorspellingen van The Economist, FiveThirtyEight en RealClearPolitics. Voegt daar vervolgens andere inzichten aan toe, onder meer uit zogeheten betting markets, een soort politieke aandelenmarkten. Omdat gokkers Trump nog altijd meer kans toedichten dan de peilingen, geeft PollyVote Trump ook iets meer winkans dan de concurrentie.

Meer over

Nu belangrijker dan ooit: steun kwaliteitsjournalistiek.

Neem een abonnement op De Morgen


Op alle artikelen, foto's en video's op demorgen.be rust auteursrecht. Deeplinken kan, maar dan zonder dat onze content in een nieuw frame op uw website verschijnt. Graag enkel de titel van onze website en de titel van het artikel vermelden in de link. Indien u teksten, foto's of video's op een andere manier wenst over te nemen, mail dan naar info@demorgen.be.
DPG Media nv – Mediaplein 1, 2018 Antwerpen – RPR Antwerpen nr. 0432.306.234