Durf te meten: Hoe evalueren we het Nederlandse innovatiebeleid?

Onderwerp:
Durf te meten: Hoe evalueren we het Nederlandse innovatiebeleid?  image

Afbeelding ‘Bouw van montagehal SIF Group’ van Frans Berkelaar (CC BY 2.0).

Discussies over de werking van het innovatiebeleid zijn nogal eens gebaseerd op veronderstellingen en ontberen vaak een blik op de feiten. Theo Roelandt en Henry van der Wiel laten zien dat door een vernieuwde evaluatiepraktijk nu aanzienlijk meer bekend is over de effecten van het Nederlandse innovatiebeleid dan zo’n vijf jaar geleden. Naar internationale maatstaven gemeten worden kwalitatief hoogwaardige evaluaties uitgevoerd. Hoewel er flinke vooruitgang is geboekt, is de ingezette richting naar meer “evidence based”-beleid zeker nog niet voltooid.

De erfenis van Jules Theeuwes

Zo’n zes jaar geleden stelde de Algemene Rekenkamer vast dat over de effecten van het Nederlandse innovatiebeleid in de periode 2003-2010 maar weinig bekend was. En daar moest verandering in komen, zo vonden ook de Tweede Kamer en de Minister van Economische Zaken. Het was de aanleiding voor de instelling van een commissie met Nederlandse evaluatie-experts onder leiding van wijlen professor Jules Theeuwes (de Commissie Theeuwes). Het rapport 'Durf te meten' van deze commissie gaf concrete aanbevelingen over hoe, met gebruikmaking van moderne evaluatietechnieken, dit beleid en dan vooral de financiële instrumenten daarvan, beter konden worden geëvalueerd. Dit artikel beschrijft de uitvoering van die aanbevelingen sinds de kabinetsreactie op dat rapport en maakt de balans op na vijf jaar ervaring met de vernieuwde evaluatiepraktijk.

De huidige evaluatiepraktijk op EZ

Evaluaties worden tegenwoordig zo veel mogelijk uitgevoerd overeenkomstig de aanbevolen werkwijze van de Commissie Theeuwes. Deze zogenaamde Theeuwes-aanpak betekent concreet dat - zo veel als technisch mogelijk is - gecontroleerd wordt voor selectiviteit door econometrische methoden toe te passen waarbij gebruik wordt gemaakt van controlegroepen. [1] Wanneer deze aanpak om methodologische redenen niet mogelijk blijkt wordt er gekeken naar andere manieren om de werking van beleid zo goed mogelijk in beeld te brengen. Interviews en enquêtes, waar veel evaluaties zich voorheen toe beperkten, maken ook nu nog regelmatig deel uit van de evaluaties als aanvulling op de kwantitatieve werkwijze. Zij bieden immers aanvullende informatie over ervaringen en percepties van bedrijven en kunnen statistische samenhangen duiden. Uiteindelijk gaat het er bij beleidsevaluaties om empirisch inzichtelijk te maken wat de omvang en aard van de effecten zijn en of die er ook zouden geweest zonder overheidsbemoeienis en de inzet van belastinggeld.

Investeren in data

De kwaliteit van een beleidsevaluatie valt of staat met de kwaliteit van de beschikbare data. Het uitvoeren van goede evaluaties vereist eerst en vooral kwalitatief hoogwaardige (micro)data met individuele bedrijfsgegevens, die zonder een gerichte inspanning en data-ontwikkelingswerk vaak niet voorhanden zijn. Al in een vroegtijdig stadium moeten inspanningen worden gedaan om de juiste informatie rond de toekenning van beleidsmiddelen bij te houden en moet worden bekeken in welke mate de daaruit voortkomende data op individueel bedrijfsniveau gekoppeld kunnen worden aan andere gegevensbronnen. In het verleden schortte het hier nogal eens aan. De afgelopen jaren is daarom fors geïnvesteerd in het verbeteren van de data-infrastructuur op dit terrein. Dat is onder meer gebeurd door het intelligent koppelen van (micro-)data van het CBS aan de registratiegegevens van de Rijksdienst voor Ondernemend Nederland (RVO.nl), die de meeste financiële beleidsinstrumenten uitvoert, en aan die van de Belastingdienst. Recentelijk wordt standaard voor de start van de evaluatie en voor de aanbesteding van evaluatieonderzoek een verkenning van de beschikbare data uitgevoerd. Belangrijk facet hierbij is te bezien of het aantal bedrijven dat in de analyse kan worden betrokken voldoende groot is om statistisch betrouwbare uitkomsten te kunnen verkrijgen.

Sinds 2013 kent EZ ook een “Beleidskwaliteit en Evaluatie Commissie” (BEC), waarin naast vertegenwoordigers van EZ ook externe evaluatiedeskundigen (CPB, PBL, hoogleraren) zitting hebben. De BEC adviseert in de voorbereidingsfase van een evaluatie over het beste “evaluatiedesign”, gegeven de werking van het instrument en de beschikbare onderzoekdata. Dat heeft er aan bijgedragen dat in het prille begin van een evaluatieontwerp gebruik kan worden gemaakt van de adviezen van evaluatie-deskundigen over de beste manier van evalueren, binnen de technische grenzen en datamogelijkheden.

De balans na vijf jaar Theeuwes

De onderstaande tabel 1 geeft een samenvattend overzicht van de beschikbare evaluaties van het Bedrijvenbeleid en de mate waarin daar de Theeuwes-aanpak is toegepast. Een uitgebreide overzichtstabel met meer detailgegevens over de evaluaties staat onderaan dit artikel. In de afgelopen vijf jaar zijn er in totaal 25 studies uitgevoerd; waarvan 21 evaluatiestudies en vier studies gericht op de verbetering van de beleidsmonitoring of de voorbereiding van latere evaluaties.

Tabel 1:Samenvattend overzicht evaluaties Bedrijvenbeleid



Doeltreffend
Niet doeltreffend
Monitoring Voortgang
Effect niet vast te
stellen
Theeuwes toegepast
WBSO,Innovatiekrediet,
Bewijs van Goede Dienst,
Innovatiebox,BMKB,Micro
financiering, STW, MIT
SIS
N.v.t.
Bedrijfsoverdracht,
Eureka/Eurostars
Theeuwes niet toepasbaar,
alternatieve methode
Tussenevaluatie
TKI-toeslag, Topsectoren-
aanpak
GSF
TO2
Fiscale
Ondernemerschaps
-regelingen
Louter enquêtes en
overig
Garantie ondernemers-
financiering, groei-
versneller, Regionale
Ontwikkelmaatschappijen,
TechnoPartner

Mid-term Green Deals,
programma Biobased,
mid-term valorisatie-
programma
Syntens
Netherlands Space
Office

 

Enkele observaties bij de uitgevoerde evaluatiestudies:

  • Bij een redelijk aantal evaluaties is een Theeuwes-aanpak gerealiseerd (zo’n 40%); Bij een tweetal evaluaties hiervan (Bedrijfsoverdracht en Eureka/Eurostars) kon het effect niet worden vastgesteld, waarbij de laatste evaluatie vastliep op de beperkingen van de beschikbare data.
  • Er is ook een aantal evaluaties uitgevoerd waarbij alternatieve evaluatiemethoden zijn gebruikt (o.a. Kosten-Batenanalyse en systeemevaluatie). Bij de twee meest recente evaluaties die in 2017 zijn uitgevoerd, die van de instellingen voor Toegepast Onderzoek (TO2) en die van de topsectorenaanpak, bleek de Theeuwes-systematiek vanwege het karakter van de beleidsinterventie niet toepasbaar. Hier is voor een alternatieve werkwijze gekozen (respectievelijk een audit van de TO2-instellingen en een nieuw ontwikkelde kwalitatieve evaluatiemethode voor de topsectorenaanpak).
  • Enkele, veelal wat oudere, evaluaties zijn nog op de traditionele manier (met alleen enquêtes) uitgevoerd. Een belangrijke reden hiervoor is dat bij de start van het instrument nog geen of onvoldoende rekening is en kon worden gehouden met de datavereisten voor een goede “Theeuwes”-evaluatie (zoals TechnoPartner, Syntens en ROMs).

Een belangrijke les is dat de “Theeuwes”-aanpak, mits de benodigde microdata aanwezig zijn, goed bruikbaar is voor de evaluatie van financiële interventies met een “single agent”-karakter (één interventie, één gebruiker; één helder omschreven doel). De Theeuwes-aanpak bleek echter niet goed toepasbaar bij instituutsevaluaties, netwerk- en systeemevaluaties en voor de evaluatie van publiek-private-samenwerking.

Weten beleidsmakers nu meer?

“Heeft geld voor innovatie zin? Politici weten het niet”. Dat was de kop van een artikel dat 23 juni jl. in het Financieele Dagblad verscheen. Het FD-artikel doet verslag van een internationale conferentie over uitkomsten en kwaliteit van evaluatieonderzoek op het terrein van innovatie en ondernemerschap. Het artikel stelt dat betrouwbare studies naar het effect van innovatiebeleid internationaal zeldzaam zijn. Uit het aangehaalde onderzoek van het Britse consortium “What Works Centre for Local Economic Growth” blijkt namelijk dat slechts 3,7% van de onderzochte Engelstalige internationale studies op het terrein van innovatie en ondernemerschap betrouwbare conclusies oplevert. Om deze studies op hun kwaliteit te beoordelen gebruikte het consortium de zogenaamde “Maryland Scientific Methods Scale” (SMS). De SMS is in feite een internationale variant van de Theeuwes-aanpak. Studies die werken volgens de Theeuwes-aanpak worden daarbij als deugdelijk beoordeeld. Met een Theeuwes-aandeel van 40 procent zijn deugdelijke evaluatiestudies op het terrein van innovatie in Nederland dus aanzienlijk minder zeldzaam dan in andere landen. Bovendien, zoals de tabel voor Nederland ook illustreert, betekent het niet voldoen aan de SMS-standaard niet automatisch dat de uitgevoerde evaluatie niet deugdelijk is. In de Nederlandse situatie bleken er vaak methodologische of technische achtergronden te zijn waardoor de Theeuwes en daarmee de SMS-standaard niet relevant of niet toepasbaar is gebleken, terwijl er wel deugdelijke alternatieve methoden zijn benut om de effecten van het beleid te betrouwbaar te kunnen bepalen (Kosten-Batenanalyse, systeemevaluatie, simulatiemodel).

De implementatie van de aanbevelingen van de Commissie Theeuwes heeft een aanzienlijke verbetering gebracht in de evaluatiepraktijk van het bedrijvenbeleid in Nederland. Naar internationale maatstaven gemeten worden kwalitatief hoogwaardige evaluaties uitgevoerd en bevindt Nederland zich internationaal in de voorhoede (zie OECD, 2014 en Dialogic, 2015). Daarom weten we nu ook meer over de effecten van het Nederlandse innovatiebeleid dan zo’n vijf jaar geleden. Zoals de samenvattende en uitgebreide tabellen ook laten zien zijn de kerninstrumenten van het innovatiebeleid effectief gebleken, maar tegelijkertijd bleken sommige instrumenten maar weinig resultaten te boeken en behoefden deze aanpassing of afschaffing. In die zin is de ontwikkeling van het innovatiebeleid ook meer “evidence based” geworden. Maar de ingezette richting is zeker nog niet voltooid.

Vervolgstappen: Beleidsexperimenten

Een volgende stap is onder meer het meer benutten van beleidsexperimenten, zoals ook bepleit in het laatste nieuwjaarsartikel in ESB van Maarten Camps (2017). Recentelijk is gestart met de uitvoering van kleinschalige beleidsexperimenten waarbij in opzet wordt gewerkt met zogenoemde. “randomised control trials”. Dat gebeurt op het terrein van niet-technologische innovatie, sociale innovatie, nieuwe verdienmodellen en diensteninnovaties. Dit alles met als doel kleinschalig uit te testen welke interventie effectief bijdraagt aan de innovatieprestaties van bedrijven door deelnemers te vergelijken met niet-deelnemers. Als de resultaten bekend zijn (eind 2017) kan vervolgens worden bezien welke rol de overheid zou kunnen vervullen om de interventies, waarvan empirisch is aangetoond dat ze effectief zijn, breder uit te rollen en om te zetten in nieuw beleid.

Maar ook met bestaand beleid wordt geëxperimenteerd om te bezien hoe dit beleid door toepassing van gedragseconomische inzichten effectiever kan worden uitgevoerd. Door het bij EZ opgerichte “Behavioural Insights Team (BIT EZ)” is de afgelopen jaren een serie experimenten uitgevoerd met het toepassen van gedragsinzichten in beleid, zoals op het terrein van het verminderen van voedselverspilling en het verminderen van uitstelgedrag van boeren bij het aanleveren van gegevens aan RVO.nl. Bij veel van de experimenten bleek het mogelijk om met een kleine ingreep een groot effect te bereiken. Deze werkwijze wordt inmiddels ook toegepast binnen het bedrijvenbeleid, zoals bij de uitvoering van de WBSO, bij het gebruik van “standard business reporting” ter reductie van administratieve lasten voor bedrijven en op het terrein van bewustwording in het MKB van de risico’s en maatregelen van “cyber security”. De resultaten hiervan komen eveneens in de loop van 2017 beschikbaar.

Conclusie

De ervaringen tot dusver leren dat de huidige kwantitatieve evaluatietechnieken zoals aanbevolen door de commissie Theeuwes zeer waardevol zijn gebleken maar niet altijd soelaas bieden. Zo bleek de Theeuwes-aanpak niet goed toepasbaar bij instituutsevaluaties, netwerk- en systeemevaluaties en voor de evaluatie van publiek-private-samenwerking. Hier was de Commissie Theeuwes zich in haar eindrapport ook van bewust. Voor dergelijke evaluaties, waarvan de methodiekontwikkeling ook internationaal nog in de kinderschoenen staat, dienen dus nieuwe wegen te worden bewandeld. Die handschoen is opgepakt bij de evaluatie van de topsectorenaanpak. Hiervoor is een nieuwe kwalitatieve evaluatiemethodiek ontwikkeld en toegepast met bruikbare bevindingen over de effecten van dit soort beleidsinitiatieven. Vooral op dit terrein is, in Nederland maar ook internationaal, de komende jaren nog veel ontwikkelingswerk te doen. Het is een uitdaging om hier, net zoals dat is gebeurd op het terrein van de “single agent”-beleidsinstrumenten, een nieuwe kwaliteitsstandaard te ontwikkelen als aanvulling op de erfenis van de Commissie Theeuwes.

Voetnoten:


[1] Hierbij worden onder andere de volgende technieken gehanteerd als ‘regression discontinuity’, ‘difference-in-difference’, ‘propensity score matching’ en ‘instrumentele variabelen’.

Referenties:

Camps, M. 2017, Durf te leren, Economisch Statistische Berichten

Dialogic. 2015, Innoveren en ondernemen met beleid. Analytische achtergrondstudie van de beieidsdoorlichting artikel 12 (innovatie) en 13 (ondernemingsklimaat),, Ministerie van Economische Zaken, Den Haag.

Eindwerkgroep Effectmeting, 2012, Durf te meten, Den Haag.

OECD, 2014, OECD Reviews of Innovation Policy: Netherlands 2014,  OECD, Paris.

Bijlage:overzicht van geëvalueerde innovatieprojecten Bedrijvenbeleid

Welke
Wanneer
Wie
Theeuwes Toegepast?
Methode
Alternatief
Uitkomst
1. Wet Bevordering Speur- &
Ontwikkelingswerk (WBSO)
2011-2012
Panteia
Pre-Theeuwes
4
Econometrische
Analyse & surveys
Doeltreffend & doelmatig.
Bang for the buck >1
2. Technopartner
December 2012
Technopolis
Nee
Nvt
Enquête
Indicaties voor additionaliteit
3. Syntens
Mei 2013
Dialogic
Nee
Nvt
Enquête + diepte-
interviews
Tevreden klanten. Syntens
ondergebracht bij KvK.
4. Innovatiekrediet en
Uitdagerskrediet
Augustus 2013
APE
Ja
6
Nvt
Doeltreffend & doelmatig.
Bang for the buck = 1,82
5. Bewijs van Goede Dienst
Juni 2013
Lexonova advies en onderzoek
Pre-Theeuwes
6
Nvt
Kwaliteit dienstverlening in
deelnemende gemeenten
significant hoger dan in niet-deelnemende gemeenten
6. Netherlands Space
Office (NSO)
November 2013
Ecorys
Nee
Nvt
interviews
NSO slaagt in zijn missie
volgens betrokkenen.
7. Mid Term Green
Deals
Oktober 2013
Kwink groep
Nee
Nvt
Enquête + diepte
interviews; geen
evaluatie
Monitoring voortgang
8. Programma Bio-
Based Economy
Mei 2014
RvO
NSOB
Nee
Nvt
Monitor
Geen evaluatie
Monitoring voortgang
9. Eureka Eurostars
September 2014
Panteia
Ja
2
Enquête
Variërende en vaak niet-
significante uitkomsten.
Positief oordeel uit de
enquêtes
10. Subsidieregeling
Innovatieve Scheepsbouw
November 2014
Dialogic
Nee
Nvt
KBA, Theeuwes kwalitatief
Nauwelijks additionaliteit.
Subsidie gestopt
11. Mid Term Valorisatie-
programma
November 2014
Panteia
Nee
Nvt
Interviews + advies voor
kwantitatieve eindevaluatie
Monitoring voortgang en
voorbereiding evaluatie in 2017.
12 Garantie Ondernemings
financiering
December 2014
Berenschot
Nee
Nvt
Herbeoordeling toegekende
dossiers + toegekende
financiering ondanks geen GO
De bancaire doelgroep wordt  goed bereikt en geïnterviewde  ondernemers zijn positief over
de regeling en het effect op
hun werkgelegenheid.
13. Bedrijfsoverdracht
(fiscaal)
December 2014
SEO
Nee
Nvt
Simulatiemodel
Louter theoretische effecten in beeld gebracht.
14. Groeiversneller
2015
Technopolis
Nee
Nvt
Enquête
Indicaties dat deelnemende
ondernemers beter lijken te
presteren dan niet-deelnemende
ondernemers
15. Innovatiebox(evaluatie
in opdracht van FIN, met sterke betrokkenheid van B&I)
November 2015
Dialogic
Ja
3
Enquête + diepte-interviews
Doelmatig & doeltreffend.
16. BMKB
November 2015
CPB
Ja
5

Indicaties van voldoende
doeltreffendheid.
Doelmatigheid kon niet vastgesteld
17. Microfinanciering
Maart/April 2016
SEO
Ja
5

Doelmatig en doeltreffend
18. Regionale
Ontwikkel-
maatschappijen

Ecorys
Nee, vanwege
gebrekkige data
Nvt
Interviews stakeholders
Positief oordeel over de door de
ROMs uitgevoerde taken.
19. Tussentijdse evaluatie
TKI-toeslagregeling
2016
Dialogic
Nee
Nvt
Netwerkanalyse,
deskresearch & survey
Doelmatig en doeltreffend
20. Fiscale ondernemers
regelingen
2017
SEO
Nee
Nvt
Systematische data-analyse
Doelmatigheid en doeltreffendheid
niet vast te stellen.Kwalitatieve
indicaties voor beperkte
doeltreffendheid zelfstandigenaftrek
21. Technologiestichting
STW
2017
Technopolis
Ja
2-3

Significant positief verband tussen toekenning subsidie en
onderzoekoutput.
22. MKB
Innovatiestimulering
Topsectoren (MIT)
2017
Technopolis
Ja
3

Additionaliteit bij haalbaarheids
projecten en R&D-samen-
werkingsprojecten. Geen significante invloed op
S&O-uitgaven van kennisvouchers.
23. Garantieregeling
Scheepsbouw-
financiering
2017
SEO
Nee, te weinig
waarnemingen
Nvt
KBA, interviews
en desk research
Niet doeltreffend en afgeschaft
24. Instituten voor
Toegepast Onderzoek
(TO2)
2017
Dialogic
Technopolis
Nee, niet mogelijk
Nvt
Audit
Kwalitatief hoogwaardig en
maatschappelijk relevant
onderzoek
25. Topsectorenaanpak
2017
Dialogic
Nee, niet mogelijk
Nvt
Nieuw ontwikkelde
kwalitatieve
methode
voor systeemevaluatie
Doelmatig en doeltreffend in tot
stand brengen van publiek-private
onderzoek-samenwerking en
versterken innovatiesysteem
Noot: Nummers methode: 1=Sociaal experiment via loting; 2=Regression discontinuity; 3= difference in differences; 4=Instrumentele variabele, 5= propensity score matching, 6= overig

Te citeren als

Theo Roelandt, Henry van der Wiel, “Durf te meten: Hoe evalueren we het Nederlandse innovatiebeleid? ”, Me Judice, 11 september 2017.

Copyright

De titel en eerste zinnen van dit artikel mogen zonder toestemming worden overgenomen met de bronvermelding Me Judice en, indien online, een link naar het artikel. Volledige overname is slechts beperkt toegestaan. Voor meer informatie, zie onze copyright richtlijnen.

Afbeelding

Afbeelding ‘Bouw van montagehal SIF Group’ van Frans Berkelaar (CC BY 2.0).

Links

Ontvang updates via e-mail