Maak CBS hofleverancier van nette steekproeven voor wetenschappelijk onderzoek

Het fundament van sociaal-wetenschappelijk onderzoek

Wat grote en krachtige deeltjesversnellers betekenen voor fysici en indrukwekkende telescopen voor astronomen, zijn data-infrastructuren voor sociale wetenschappers. Het belang van kwalitatief hoogstaande data-infrastructuren voor sociaal-wetenschappelijk onderzoek wordt vaak genoeg niet onderkend. Dataverzamelaars genieten minder aandacht en respect dan de onderzoekers die met de onderzoeksvragen op de proppen komen en die uiteindelijk de analyse uitvoeren en daarover rapporteren. Maar hoe geweldig de onderzoeksvragen ook geformuleerd zijn, als deze niet goed worden vertaald naar een deugdelijke vragenlijst dan zitten er scheuren, zo niet flinke gaten, in het fundament. Datzelfde geldt voor de analyse en rapportage. Ook die kunnen staan als een huis, maar niet lang, als het gebouwd is op drijfzand.

Onderzoek zinloos zonder goede steekproef

Een belangrijk en groeiend probleem is de moeilijkheid een goede steekproef te trekken. Er zijn grofweg twee soorten steekproeven: kanssteekproeven en niet-kanssteekproeven. Alleen bij kanssteekproeven is het mogelijk uitspraken te doen over de nauwkeurigheid van de resultaten. Bij niet-kanssteekproeven is er weinig tot geen inzicht in deze nauwkeurigheid. Dat neemt niet weg dat bijvoorbeeld quota-steekproeven nuttig kunnen zijn om in experimentele situaties verbanden te ontdekken.

Kwalijk wordt het als op basis van niet-kanssteekproeven zogenaamde nauwkeurige uitspraken over de Nederlandse bevolking worden gedaan. Bekende voorbeelden daarvan zijn het internetonderzoek 21minuten.nl van McKinsey en De Publieke Zaak en peil.nl van Maurice de Hond. Dit zijn enquêtes die evengoed achterwege kunnen blijven. De onderzoeker heeft met zichzelf aangemelde respondenten geen enkele controle over de steekproef.

Doen wij het als wetenschappers dan zo veel beter? In geval van uitspraken over de Nederlandse bevolking proberen we in ieder geval te vertrekken vanuit een kanssteekproef. Er is dan geen sprake van zelfselectie en de onderzoeker heeft inzicht in de nauwkeurigheid van de verkregen resultaten.

Steekproefkader

Een groot probleem bij het trekken van een nette kanssteekproef is het ontbreken van een goed steekproefkader. Telefoonregisters zijn niet goed bruikbaar. Een groot deel van de Nederlandse bevolking beschikt alleen nog maar over een mobiele in plaats van vaste aansluiting (CBS, 2008). Registers met complete vertegenwoordiging van mobiele nummers of e-mailadressen zijn er (nog) niet. Het best beschikbare kader voor een volksvertegenwoordiging is de Gemeentelijke Basis Administratie (GBA). Het is frustrerend dat het GBA niet of slecht toegankelijk is voor wetenschappers. Ieder initiatief om het GBA beter toegankelijk te maken, moet dan ook breed worden ondersteund.

CBS als hofleverancier

Feitelijk verschaffen we onszelf bij data verzamelen onnodig werk. We zijn genoodzaakt om omslachtige procedures te volgen, allerlei correcties toe te passen en de meest woeste econometrische modellen en technieken te ontwikkelen om de fouten in het steekproefkader te herstellen. Of er in ieder geval rekening mee te houden. En het kan zo veel eenvoudiger. Waarom wordt het Centraal Bureau voor de Statistiek (CBS) niet gewoon hofleverancier van nette steekproeven voor wetenschappelijk, maatschappelijk en beleidsrelevant onderzoek? Wellicht staat hier de Wet GBA in de weg, maar die kan worden aangepast.

Het is in ieders belang dat het datamateriaal waarop beleid wordt gevoerd, deugt. Uiteraard zijn er de nodige privacyaspecten verbonden aan het (beperkt) openstellen van populatieregisters, maar daar zijn prima afspraken over te maken zodat de regelgeving kan worden aangepast. Zodra alle moeite voor het verkrijgen van een goede kanssteekproef overbodig wordt, komt er genoeg budget vrij voor het CBS. Het onderzoek kost minder geld, met een betere kwaliteit!

Als drie miljard voor de Large Hadron Collider niet te veel is

Data-infrastructuren verdienen serieuze aandacht in termen van kwaliteit, maar ook beschikbare financiële middelen. Daar schort het nogal eens aan. De gammawetenschappen leggen het vaak genoeg af tegen de bètawetenschappen. Een deeltjesversneller en telescoop spreken veel meer tot de verbeelding en klinken innovatiever dan data.

Gelukkig zien subsidieverstrekkers op nationaal, maar ook internationaal niveau, steeds meer de noodzaak en het belang in van goede data-infrastructuren. Naast subsidieverstrekkers moeten ook de toegepaste onderzoekers zich meer en meer realiseren dat wat zo eenvoudig lijkt niet zo maar uit de lucht komt vallen. Men moet zich ervan bewust zijn dat een goed fundament voor een empirisch onderzoeksproject of beleidsanalyse essentieel is en daar ook in aandacht en waardering naar handelen.

* Deze bijdrage is gebaseerd op de inaugurele rede van de auteur bij aanvaarding van het ambt van hoogleraar ‘Econometrie en Dataverzameling’ op 16 oktober 2009, getiteld: “Dan vráág je gewoon om problemen! Zonder goede survey data, geen goed onderzoek.”

Referentie:

CBS (2008). De digitale economie 2008. CBS: Den Haag/Heerlen.