De peilingen waren niet het probleem – dat waren wij

"Dit artikel is zo fucking idioot en onverantwoordelijk." Dat is hoe peilinggoeroe Nate Silver een woede-uitbarsting van veertien tweets tegen journalist Ryan Grim van de Huffington Post begon in het begin van november, in het weekend voor de Amerikaanse verkiezingen.

Hillary Clinton stond drie tot vier percentagepunten voor in de peilingen, en Grim had een stuk geschreven waarin hij Silver aanviel op zijn bewering dat Donald Trump nog steeds kon winnen. "Het is niet makkelijk om hier te zitten en je te vertellen dat Clinton een kans van 98 procent heeft om te winnen," schreef Grim. "Alles in ons schreeuwt dat het leven veel te onzeker is, dat zo zeker zijn gewoon een fantasie is. Maar het is wel wat de cijfers ons vertellen."

O, Grim toch.

Natuurlijk won Hillary Clinton de presidentsverkiezingen niet, en hoewel Silver niet had gezegd dat Trump zou winnen, kwam hij wel dichterbij de werkelijkheid dan Grim en de meeste anderen. Maar nog belangrijker zijn de vragen die hun gekibbel oproept. Waarom zagen twee mensen dezelfde cijfers zo anders? Klopten de getallen niet? Zijn peilingen totaal nutteloos geworden?

De enige manier om zeker te weten hoe mensen gaan stemmen in verkiezingen, is om verkiezingen te houden. Verder is je enige optie om de straat op te gaan en mensen te vragen op wie ze van plan zijn te stemmen. Als je genoeg mensen vraagt, en die mensen een accurate afspiegeling van de maatschappij zijn – de juiste verhouding mannen en vrouwen, oude en jonge mensen, etcetera – dan zou je een antwoord moeten krijgen dat minder dan twee tot drie percentagepunten van de uiteindelijke uitslag ligt.

Dit is waar Nate Silver en Ryan Grim het over oneens waren. Tijdens de verkiezingscampagne werden er honderden peilingen gehouden. Naar Grims idee zouden kleine foutjes daarin behoorlijk willekeurig zijn, en elkaar opheffen. "Voordat de peilingen niet kloppen," schreef hij, "zouden ze er stuk voor stuk drie punten naast moeten zitten in dezelfde richting — je kan niet van foutieve peilingen spreken als eentje er drie percentagepunten naast zit."

Het argument van Nate Silver was dat de fouten mogelijk niet willekeurig zijn. Hij kon zich allerlei situaties voorstellen waarin alle peilingen er in dezelfde richting naast zouden zitten. Alle grote peilingsbedrijven gebruiken tenslotte vergelijkbare technieken. Ze hebben vergelijkbare problemen waarmee ze moeten omgaan. Bepaalde groepen kiezers kunnen moeilijker te bereiken zijn dan andere, bijvoorbeeld, vooral als ze anti-establishment Trumpsupporters of Brexitstemmers zijn die instituten en experts wantrouwen.

En dat is precies wat er de vorige keer gebeurde. Obama deed het ongeveer twee tot drie punten beter dan de peilingen voorspelden in 2012. Grim gaf dit zelfs toe in zijn stuk, wat zijn idee van "98 procent zekerheid" nog belachelijker maakte. In combinatie met het feit dat Trump niet de meerderheid van de kiezersstemmen hoefde te halen om het Kiescollege bij de ballen te grijpen, had het niet zo'n grote verrassing moeten zijn dat hij won.

Onmiddellijk na de overwinning van Trump begonnen mensen te praten over hoe de peilingen het wéér helemaal mis hadden. Dat is totale bullshit. Hillary Clinton won de kiezersstemmen met twee punten. De peilingen voorspelden dat ze zou winnen met drie of vier punten. Dat is een foutmarge van één of twee punten, wat ongeveer is wat je zou verwachten van een solide peiling. Het probleem was niet dat de peilingen ernaast zaten; het probleem was dat de experts – inclusief ikzelf – zichzelf voor de gek hielden over de kansen van Trump en er veel te veel aan ophingen.

Hetzelfde geldt voor de meeste peilingen in het Verenigd Koninkrijk. Het is nu hip om te beweren dat peilingen niks betekenen – vooral als je bijvoorbeeld een Corbyn-supporter bent die ziet dat de Tory's tien punten voorstaan. De realiteit is dat peilers de Engelse verkiezingen van 1997, 2001, 2005 en 2010 correct voorspelden, en het redelijk deden met lastige eenmalige referenda over Schotse onafhankelijkheid en stemhervormingen. YouGov wist allebei de overwinningen van Jeremy Corbyn te voorspellen, en die van Cameron in de laatste leidersverkiezingen van de Tory-partij. Zelfs de grote missers waren niet zo groot als mensen beweren. De peilingen zaten er nog steeds maar een paar punten naast in het EU-referendum, maar die punten waren bepalend met zo'n krappe marge. De peilingen zaten er ongeveer zeven punten naast toen ze er niet in slaagden om de overwinning van de Tory-partij in 2015 te voorspellen, maar voorspelden wel het uiteenvallen van de Lib Dems, de opkomst van de SNP in Schotland en de opkomst van UKIP – drie unieke gebeurtenissen in de moderne Britse geschiedenis.

Peilingen zijn verleidelijk. We willen niet wachten op de uitslagen, vooral als er dingen als een Brexit of de toekomst van de Amerikaanse democratie op het spel staan. Maar onze behoefte aan kennis, gecombineerd met experts die hun publiek willen geven wat ze willen, zorgt ervoor dat mensen beweringen doen over peilingen die gewoon geen hout snijden. Piepkleine willekeurige bewegingen in individuele peilingen worden naar buiten gebracht alsof ze echte veranderingen in de publieke opinie laten zien.

Het beste dat je kunt doen? Lees ze gewoon niet meer. Hou op met het monster te voeden. Negeer de dagelijkse updates, en als je echt wilt weten hoe het ervoor staat, kijk dan naar sites die je heel veel peilingen over een langere periode laten zien. Vraag jezelf af of dingen echt zeker zijn, of dat jij alleen maar wilt dat ze dat zijn. En als het erom spant, wees dan bereid om het angstaanjagendste antwoord van allemaal te accepteren; het enige antwoord dat geen enkele zichzelf respecterende politiek expert je wilt geven: "We weten het niet echt."