CPB-analyse helemaal niet zo onzeker als critici beweren

CPB-analyse helemaal niet zo onzeker als critici beweren image
3 jun 2010
Critici binnen en buiten de politiek hebben vaak hun mond vol dat de CPB-analyses van de verkiezingsprogramma’s in hoge mate onzeker zijn en daarmee is de discussie rond de CPB berekeningen in hoge mate een schimmenspel. De Tilburgse econoom Graafland stelt echter dat de CPB-analyses niet zo onzeker zijn als critici beweren en dat het CPB haar licht niet onder de korenmaat moet stellen.

Circus van CPB-berekeningen

Afgelopen weken bracht het CPB haar analyse van de verkiezingsprogramma’s van de politieke partijen uit. Na verschijning ervan waren er weer de gebruikelijke reacties. Enerzijds de politieke partijen, die de CPB-analyse aangrepen als bewijs voor de kwaliteit van hun voorstellen. Aan de andere kant de economen, die de onzekerheden en de manco’s van zo’n analyse benadrukten.

Onzekerheid troef?

Sommige commentatoren gingen zelfs zo ver de CPB-analyse direct naar de prullenbak te verwijzen, omdat het verleden maar al te vaak bewezen heeft dat het CPB verkeerde voorspellingen van de economie geeft. Inderdaad, niet ontkend kan worden dat de uitkomsten met de nodige onzekerheid zijn omgeven. Ook CPB directeur Coen Teulings gaf dat ruiterlijk toe. Maar niemand stelde de vervolgvraag, die cruciaal is om te beoordelen hoe schadelijk die onzekerheid nu eigenlijk is voor de waarde van de economische analyse van het CPB. En die vraag luidt: Hoe onzeker is de CPB-analyse dan?

Omdat het CPB geen onzekerheidsanalyse doet op de verkiezingsprogramma’s, zal Coen Teulings op deze vraag het antwoord schuldig moeten blijven. En dat zou wel een beetje pijnlijk worden. Want wat moeten wij bijvoorbeeld met de uitkomst dat het VVD-programma naar verwachting tot 400.000 meer banen leidt, als het CPB geeneens weet hoe groot de kans is dat deze verwachting uitkomt. Terwijl alleen het antwoord daarop uitmaakt of de CPB analyse naar de prullenbak moet worden verwezen. Hoe groot is bijvoorbeeld de kans dat dit werkgelegenheidseffect tussen 350.000 en 450.000 ligt? Is het 25% of minder, dan kan de CPB analyse inderdaad de prullenbak in. Is het 75% of meer, dan zou ik dan niet doen. En als het 50% is: tsja... Het probleem is dat wij die kans niet weten. En het CPB ook niet. Coen Teulings zou misschien zeggen: ik denk dat het meer dan 50% is, maar ook die schatting is dus onzeker.

Maar waarom doet het CPB dan geen onzekerheidsanalyse?

Uit mijn eigen tijd bij het CPB en ervaring met doorrekening van de verkiezingsprogramma’s weet ik dat zo’n analyse niet alleen erg complex wordt, maar ook de tijdsdruk zo hoog is dat een goede systematische onzekerheidsanalyse niet mogelijk is. Bovendien, zo zou Coen Teulings ook terecht tegen kunnen werpen, als het CPB ook nog eens waarschijnlijkheden zou publiceren, zal de kiezer (en ook de journalist en verschillende commentatoren) al helemaal niet meer begrijpen wat de cijfers voorstellen. Het lijkt op het verhaal van de dronkaard die in het donker zijn sleutel verloor en toen onder de lantaarnpaal naar zijn sleutel ging zoeken omdat er daar tenminste enig licht was.

Een onzekerheidsanalyse van CPB-modelberekeningen

Maar toch, het CPB zou op zijn minst voor zichzelf een oordeel moeten vormen van de mate van onzekerheid waarmee haar analyse van de verkiezingsprogramma’s behept is. Interessant is nu dat er in het verleden wel degelijk eens onderzoek hiernaar is gedaan is. Onderzoek dat overigens niet door het CPB zelf gedaan is, maar door de Universiteit van Tilburg, en dat blijkbaar zo in de vergetelheid is geraakt dat ook CPB-directeur Coen Teulings niet van het bestaan daarvan afweet. Het betreft een onderzoek naar de CPB analyse van de verkiezingen in 1998 met behulp van zogenaamde Monte Carlo-analyse op de uitkomsten van een van de CPB-modellen. Met deze Monte Carlo-analyse kan men onderzoeken hoe groot de onzekerheid in de modeluitkomsten is die voortkomt uit de onzekerheid in de geschatte parameters van het model.

En wat blijkt? De kans dat de volgorde van effectiviteit van de verschillende verkiezingsprogramma’s (van PvdA, CDA, VVD, D66 en GroenLinks toentertijd) om de werkloosheid te reduceren anders zou uitvallen was… minder dan 1%. En voor het effect op de koopkracht was dat slechts 7%. De belangrijkste reden is dat bij andere parameterwaarden in het model alle schattingen dezelfde kant op bewegen: dus wanneer als gevolg van andere parameterwaarden in het model het werkloosheidseffect van het programma van de PvdA omlaag gaat, geldt dat ook voor de werkloosheidseffecten van het programma’s van de andere partijen.

Al met al bleken de uitkomsten van de analyse dus verrassend robuust, veel meer dan ik zelf vooraf verwacht had toen ik dit samen met Joris Knoben en Marcel Kerkhofs onderzocht. Derhalve raad ik de kiezers en commentatoren aan om de CPB-analyse niet al te lichtzinnig naar de prullenbak te verwijzen. Natuurlijk zijn daarmee niet alle onzekerheden in beeld gebracht, maar wel een van de belangrijkste. Als Coen Teulings meer wil weten welke onzekerheden overblijven en binnen het CPB initiatieven ontwikkelt om de onzekerheden van de doorrekening verder in kaart te brengen, leze hij het artikel in het Tijdschrift voor Economie en Management (2006) er maar eens op na alsook het uitvoerige boek Economic Assessment of Election Programmes. Does it Make Sense? (2003). Dan is hij al vast voorbereid als een journalist wel die lastige maar cruciale vraag stelt hoe groot de mate van onzekerheid in de CPB analyse nu eigenlijk is.

* Dit artikel is eerder verschenen in Brabants Dagblad

Referenties:

Knoben, J., Graafland, J.J., & Kerkhofs, M.J.M. (2005). Evaluation of Dutch election programs: The impact of parameter uncertainty. Tijdschrift voor Economie en Management, 51(1), 47-72.

Graafland, J.J., & Ros, A.P. (Eds.). (2003). Economic Assessment of Election Programmes. Dordrecht: Kluwer Academic Publishers.

Te citeren als

Johan Graafland, “CPB-analyse helemaal niet zo onzeker als critici beweren”, Me Judice, 3 juni 2010.

Copyright

De titel en eerste zinnen van dit artikel mogen zonder toestemming worden overgenomen met de bronvermelding Me Judice en, indien online, een link naar het artikel. Volledige overname is slechts beperkt toegestaan. Voor meer informatie, zie onze copyright richtlijnen.

Afbeelding

Ontvang updates via e-mail