De buitenwacht: Weet wat je meet

De buitenwacht: Weet wat je meet image
Afbeelding ‘"Measure a thousand times, cut once"’ van Sonny Abesamis (CC BY 2.0)
Economen en beleidsmakers gebruiken gedachteloos macro-economische cijfers. In deze reeks van de buitenwacht waarin wetenschappers uit andere disciplines aankijken tegen gebruiken in de economie neemt politicoloog Daniel Mügge de honneurs waar en bespreekt hij hoe verraderlijk statistische begrippen kunnen zijn en dat er vaak politieke keuzes of waardeoordelen schuil gaan achter dagelijkse begrippen als nationaal product, inflatie of investeringen. Wie deze begrippen op waarde wil schatten en gebruiken dient te allen tijde te weten wat hij of zij meet.

Cijfers zijn overal

Macro-economische analyses barsten van de cijfers. Geen kant van de economie die wij niet met indicatoren in kaart brengen: inflatie, werkgelegenheid, groei, buitenlandse investeringen, overheidsschulden. Data zijn immers essentieel om economische theorieën te testen. Beleidsmakers vertrouwen op spreadsheets of berekeningen van het CPB om onze economie te doorgronden, en politici slaan elkaar met diezelfde data om de oren om hun gelijk te halen. Economische cijfers zijn overal – binnen de economische wetenschap en daarbuiten.

Als zorgvuldige wetenschapper zou je daarom, voordat je je modellen in werking zet, goed moeten weten wat er precies in die datasets zit. Maar weet de gemiddelde econoom hoe de overheidsdiensten of de bancaire sector meegenomen worden in het bruto binnenlands product (bbp) en of dat past bij het theoretische concept dat men gebruikt? Is bekend dat het eigen woningbezit in Europese inflatiecijfers niet wordt meegenomen maar wel in de Amerikaanse? Zitten pensioenbeloftes wel of niet in de staatsschuld, en wat doet dat met de vergelijkbaarheid van schuldenposities in Europa?

Diep in die spreadsheets zitten politieke keuzes

Antwoorden op deze vragen zijn niet alleen belangrijk om heldere definities te maken – dat je weet wat je eigenlijk bedoelt met bijvoorbeeld werkloosheid. Maar het is ook belangrijk om bestaande metingen tegen het licht te houden. Zodra je je verdiept in de meting van centrale economische concepten, ontdek je conceptuele vaagheden, meetkundige dilemma’s, arbitraire conventies en theoretische contradicties. Er bestaan geen ‘overduidelijk juiste’ methodes om begrippen als buitenlandse investeringen of inflatie te meten. Maar wat houden die keuzes in? Wat voor onzichtbare vooroordelen of vooronderstellingen zitten er in die getallen? Wie bepaalt hoe wij onze economie meten, en waarom is dat anders dan in andere landen?

De data die wij gebruiken zijn het product van een politiek proces. Ze zijn niet een ongefilterde opname van een direct toegankelijke werkelijkheid.

Economisch onderzoek kan niet aan deze vragen ontsnappen. De data die wij gebruiken zijn het product van een politiek proces. Ze zijn niet een ongefilterde opname van een direct toegankelijke werkelijkheid. Reflectie op wat die data ons wel of niet vertellen is slecht ontwikkeld. Weinig publicaties staan er echt bij stil, weinig tijdschriften weiden er ruimte aan, en hoorcolleges maken er weinig tijd voor vrij. Om een idee te krijgen hoe vaag de cijfers zijn die in economische analyses gebruikt worden dienen de volgende voorbeelden.

Het begint bij de nationale rekeningen

Een opzienbarend rapport van de Commissie Stiglitz-Sen-Fitoussi uit 2008 beweerde dat er van alles mis was met het bbp: het houdt geen rekening met inefficiënt gebruik van natuurlijke productiefactoren zoals grondstoffen, schone lucht, vissen uit de zee, etc. Het verwaarloost gratis onlinediensten zoals Google Maps (Brynjolfsson and McAfee 2014.). Het onderwaardeert onbetaald werk (Waring 1999.). Het krijgt geen goed grip op de informele economie en schat economische activiteit, vooral in arme landen, daarom gauw verkeerd in – met ernstige gevolgen voor de zeggingskracht van officiële groeicijfers.

De normatieve keuzes die verweven zijn in het meten van het bbp zullen veel economen bekend zijn – sinds het rapport is er een rits boeken verschenen om de geschiedenis van het bbp te ontrafelen (Fioramonti 2013; Coyle 2014; Philipsen 2015; Lepenies 2013.). Aan de ene kant is het verbazingwekkend hoe weinig aandacht die problemen krijgen zodra er analyses of modelberekeningen mee gedraaid worden. Aan de andere kant zijn die normatieve keuzes in principe los te koppelen van meetkundige discussies.Misschien verwaarloost het bbp onbetaald werk binnen huishoudens, maar als het per definitie gaat om goederen en diensten die tegen geld verhandeld worden, is dat geen probleem.

Maar het debat over de meting van economisch groei en productie gaat niet louter over een botsing tussen een holistisch welzijnsbegrip (inclusief geluk, vrede, enzovoort) en een kil economisme. Veel interessanter voor economen zelf zijn de meetproblemen die ontstaan nadat je je concept hebt afgebakend – problemen die helemaal niet zo technisch zijn als ze op het oog lijken (OESO statistici Lequillers en Blades geven gedetailleerd uitleg in het uitstekende Understanding National Accounts [2006]).

Laten we het hier nog een voorbeeld geven. Om de jaarlijkse verandering in de goederen- en dienstenproductie in de privésector te meten, kijken wij naar transactieprijzen en de ontwikkeling van het prijsniveau. Maar wat te doen met overheidsdiensten die geen marktprijs hebben, denk vooral aan onderwijs en zorg – die in 2015 meetelden voor bijna 20 percent van het bbp?

Volgens de mondiale conventie voor nationale rekeningen, vastgelegd in het System of National Accounts, wordt de waarde van publieke dienstverlening gelijkgezet met haar kosten. Maar doet dat recht aan wat onderwijs en zorg toevoegen aan de samenleving? Zou de waarde door positieve externaliteiten niet veel groter kunnen zijn? Of juist minder, door inefficiënte dienstverlening? Wie het weet, mag het zeggen. De conventie is even handig als arbitrair. En zij verwaarloost de enorme verandering in openbare dienstverlening gedurende de afgelopen twee decennia, toen geprobeerd is de geleverde waarde per bestede euro te verhogen. Als die efficiëntieslag eenmaal gemaakt is, vind je deze in ieder geval niet terug in het bbp.

Dit soort kwesties raken de analyses van de Nederlandse economische ontwikkeling in het hart. Als wij het effect van openbare investeringen op economische groei willen berekenen, missen wij dan niet tal van essentiële effecten vanwege de beperkte reikwijdte van het bbp? Zelfs als het ons alleen te doen is om “economische groei”, en niet iets vaags als geluk, is enorme voorzichtigheid geboden bij het gebruik van het bbp. Afhankelijk van wat wij precies in ons hoofd hebben, zou het kunnen passen – of ook niet. Detailkennis en reflectie van hoe die cijfers tot stand komen is hoe dan ook aan de orde.

Inflatie is niet minder problematisch

Het bbp wordt vaak naar voren geschoven als hét boegbeeld van een vermeend doorgeschoten economisme. Begrijpelijk, gezien zijn prominente plek in het indicatorenpantheon. Maar het is zeker niet de enige indicator die ingewikkelder is dan een simpele kolom vol cijfers doet vermoeden.

Inflatie bijvoorbeeld speelt een centrale rol op veel beleidsterreinen – monetair beleid, indexatie van lonen en pensioenen, of denk alleen maar aan de berekeningen en het micro-management van de koopkracht van verschillende bevolkingsgroepen. Sinds de koopkrachtstatistieken zijn geïntroduceerd in de tweede helft van de negentiende eeuw wordt gestreden om de juiste definitie en meting van inflatie (Stapleford 2009.). Zelfs nu heeft Nederland twee officiële inflatiegraadmeters, de consumentenprijsindex en de geharmoniseerde consumentenprijsindex. Beide indices kunnen weleens een halve percentpunt uit elkaar liggen. Maar wie van ons kent het verschil? (Paul Johnson, directeur van het Britse Institute for Fiscal Studies, geeft in dit rapport voor de Britse overheid uit 2015 een heldere inleiding in de problemen die komen kijken bij het meten van inflatie.)

Net als bij het bbp vinden wij wel internationale conventies voor de inflatiemeting, maar helaas geen wetenschappelijke consensus. Wederom een voorbeeld ter illustratie: de vage scheidslijn tussen prijsaanpassing en verandering in kwaliteit. De kern van de vraag is of twee producten in dezelfde categorie in prijs verschillen of in kwaliteit: is koffie van Starbucks voor drie euro beter dan de koffie uit een automaat voor een euro, of gewoon duurder? Is een chique spijkerbroek van 350 euro zeven keer beter dan een van 50 euro, of gewoon zeven keer zo duur?

Dit zijn extreme voorbeelden, maar statistici moeten dit soort inschattingen kunnen maken als producten door de tijd heen evolueren. Heeft de komst van Starbucks de koffie duurder of beter gemaakt? En is een digitale camera, gekocht via bol.com, goedkoper dan een digitale camera in de winkel? Of koop je gewoon een minder product, omdat je online geen persoonlijk advies erbij krijgt? Het klinkt als een technische vraag, maar zij is essentieel als we willen inschatten of het internet ons leven goedkoper heeft gemaakt of gewoon schraler.

En zo gaat het door…

Zodra je inzoomt, kom je dit soort meetdilemma’s bij nagenoeg elke indicator tegen. Neem je bijvoorbeeld in de overheidsschulden overheidsbedrijven wel of niet mee? Kan je schulden afzetten tegen overheidsbezittingen en zo ja, welke? Hoe waardeer je die? Afhankelijk van de antwoorden op deze vragen, krijg je compleet verschillende inschattingen van openbare schulden. Volgens het IMF lag de overheidsschuld van Canada in 2010 dan ergens tussen 38 percent en 104 percent van het bbp – het is maar net hoe je het meet.

Of neem buitenlandse investeringen (foreign direct investment of FDI). Die worden bijgehouden volgens het Balance of Payments Manual, eveneens beheerd door het IMF. Dat handboek staat landen verschillende methodes toe om die investeringen te berekenen. Twee Denen hebben eens uitgeprobeerd hoe veel het uitmaakt welke van die methodes je pakt. Het antwoord: heel veel. De waarde van FDI dat Denemarken is binnengekomen varieert dan tussen pakweg 50 percent van het bbp en 340 percent (Damgaard and Elkjaer 2014.). Aan de cijfers in een willekeurige spreadsheet over buitenlandse investeringen zie je niet welke methode een land heeft toegepast. Kortom, het zou goed kunnen dat je appels en peren aan het vergelijken bent.

Problemen worden erger, niet beter – dus doe er iets mee

Dit soort problemen zouden niet zo erg zijn als wij mochten hopen dat die langzamerhand opgelost worden. Maar daar lijkt het niet op. In tegendeel. Mondialisering heeft volgens de United Nations Economic Mission for Europe tal van nieuwe problemen voor de nationale boekhouding opgeworpen. En de veranderende levens- en consumptiestijlen brengen de match tussen officiële economische graadmeters en onze sociale werkelijkheid steeds meer in gevaar. Eind van de zomer schatte de Bank of Japan dat het Japanse bbp in 2014 niet met 0.9 percent was gedaald, zoals officieel vermeld werd, maar misschien wel met 2.4 percent was gestegen.

Statistici, bij het Centraal Bureau voor de Statistiek (CBS) net als elders in de wereld, weten vaak precies wat de beperkingen zijn van macro-economische indicatoren. Maar niemand die het echt wil weten. De econoom ziet in de statisticus toch gauw een boekhouder – een beroep dat (helaas) zelden veel ontzag oproept.

Het punt is niet dat er per se iets mis is met macro-economische cijfers. Economen reflecteren alleen zelden op de mogelijke vooronderstellingen en vooroordelen in hun datasets. In spreadsheets dienen de ingebouwde keuzes en hun analytische gevolgen benoemd te worden, niet weggemoffeld. Sterker nog, voor zover de meetproblemen een bias introduceren in economische analyses is gedetailleerde kennis over de definitie en meting van een bepaalde indicator onmisbaar om tot houdbare conclusies te komen. Een kritische bespiegeling over economische data dient dus een centrale plek te krijgen zowel in de wetenschappelijke praktijk als in het economieonderwijs. Of samengevat als een bumperstickertekst: "Weet wat je meet."

Referenties:

Brynjolfsson, Erik, and Andrew McAfee. 2014. The Second Machine Age. New York: W.W. Norton.

Coyle, Diane. 2014. GDP. A Brief but Affectionate History. Princeton: Princeton University Press.

Damgaard, Jannick, and Thomas Elkjaer. 2014. Foreign Direct Investment and the External Wealth of Nations: How Important Is Valuation? Review of Income and Wealth .

Fioramonti, Lorenzo. 2013. Gross Domestic Problem. The Politics behind the World’s Most Powerful Number. London: Zed Books.

Lepenies, Philipp. 2013. Die Macht der einen Zahl: eine politische Geschichte des Bruttoinlandsprodukts. Suhrkamp Verlag.

Philipsen, Dirk. 2015. The Little Big Number. How GDP came to rule the world and what to do about it. Princeton: Princeton University Press.

Stapleford, Thomas. 2009. The Cost of Living in America: A Political History of Economic Statistics, 1880-2000. Cambridge: Cambridge University Press.

Waring, Marilyn Joy. 1999. Counting for Nothing: What Men Value and What Women are Worth. Toronto: University of Toronto Press.

Te citeren als

Daniel Mügge, “De buitenwacht: Weet wat je meet”, Me Judice, 1 november 2016.

Copyright

De titel en eerste zinnen van dit artikel mogen zonder toestemming worden overgenomen met de bronvermelding Me Judice en, indien online, een link naar het artikel. Volledige overname is slechts beperkt toegestaan. Voor meer informatie, zie onze copyright richtlijnen.

Afbeelding
Afbeelding ‘"Measure a thousand times, cut once"’ van Sonny Abesamis (CC BY 2.0)

Ontvang updates via e-mail