Durf te meten: Hoe evalueren we het Nederlandse innovatiebeleid?

De erfenis van Jules Theeuwes

Zo’n zes jaar geleden stelde de Algemene Rekenkamer vast dat over de effecten van het Nederlandse innovatiebeleid in de periode 2003-2010 maar weinig bekend was. En daar moest verandering in komen, zo vonden ook de Tweede Kamer en de Minister van Economische Zaken. Het was de aanleiding voor de instelling van een commissie met Nederlandse evaluatie-experts onder leiding van wijlen professor Jules Theeuwes (de Commissie Theeuwes). Het rapport 'Durf te meten' van deze commissie gaf concrete aanbevelingen over hoe, met gebruikmaking van moderne evaluatietechnieken, dit beleid en dan vooral de financiële instrumenten daarvan, beter konden worden geëvalueerd. Dit artikel beschrijft de uitvoering van die aanbevelingen sinds de kabinetsreactie op dat rapport en maakt de balans op na vijf jaar ervaring met de vernieuwde evaluatiepraktijk.

De huidige evaluatiepraktijk op EZ

Evaluaties worden tegenwoordig zo veel mogelijk uitgevoerd overeenkomstig de aanbevolen werkwijze van de Commissie Theeuwes. Deze zogenaamde Theeuwes-aanpak betekent concreet dat - zo veel als technisch mogelijk is - gecontroleerd wordt voor selectiviteit door econometrische methoden toe te passen waarbij gebruik wordt gemaakt van controlegroepen. [1] Wanneer deze aanpak om methodologische redenen niet mogelijk blijkt wordt er gekeken naar andere manieren om de werking van beleid zo goed mogelijk in beeld te brengen. Interviews en enquêtes, waar veel evaluaties zich voorheen toe beperkten, maken ook nu nog regelmatig deel uit van de evaluaties als aanvulling op de kwantitatieve werkwijze. Zij bieden immers aanvullende informatie over ervaringen en percepties van bedrijven en kunnen statistische samenhangen duiden. Uiteindelijk gaat het er bij beleidsevaluaties om empirisch inzichtelijk te maken wat de omvang en aard van de effecten zijn en of die er ook zouden geweest zonder overheidsbemoeienis en de inzet van belastinggeld.

Investeren in data

De kwaliteit van een beleidsevaluatie valt of staat met de kwaliteit van de beschikbare data. Het uitvoeren van goede evaluaties vereist eerst en vooral kwalitatief hoogwaardige (micro)data met individuele bedrijfsgegevens, die zonder een gerichte inspanning en data-ontwikkelingswerk vaak niet voorhanden zijn. Al in een vroegtijdig stadium moeten inspanningen worden gedaan om de juiste informatie rond de toekenning van beleidsmiddelen bij te houden en moet worden bekeken in welke mate de daaruit voortkomende data op individueel bedrijfsniveau gekoppeld kunnen worden aan andere gegevensbronnen. In het verleden schortte het hier nogal eens aan. De afgelopen jaren is daarom fors geïnvesteerd in het verbeteren van de data-infrastructuur op dit terrein. Dat is onder meer gebeurd door het intelligent koppelen van (micro-)data van het CBS aan de registratiegegevens van de Rijksdienst voor Ondernemend Nederland (RVO.nl), die de meeste financiële beleidsinstrumenten uitvoert, en aan die van de Belastingdienst. Recentelijk wordt standaard voor de start van de evaluatie en voor de aanbesteding van evaluatieonderzoek een verkenning van de beschikbare data uitgevoerd. Belangrijk facet hierbij is te bezien of het aantal bedrijven dat in de analyse kan worden betrokken voldoende groot is om statistisch betrouwbare uitkomsten te kunnen verkrijgen.

Sinds 2013 kent EZ ook een “Beleidskwaliteit en Evaluatie Commissie” (BEC), waarin naast vertegenwoordigers van EZ ook externe evaluatiedeskundigen (CPB, PBL, hoogleraren) zitting hebben. De BEC adviseert in de voorbereidingsfase van een evaluatie over het beste “evaluatiedesign”, gegeven de werking van het instrument en de beschikbare onderzoekdata. Dat heeft er aan bijgedragen dat in het prille begin van een evaluatieontwerp gebruik kan worden gemaakt van de adviezen van evaluatie-deskundigen over de beste manier van evalueren, binnen de technische grenzen en datamogelijkheden.

De balans na vijf jaar Theeuwes

De onderstaande tabel 1 geeft een samenvattend overzicht van de beschikbare evaluaties van het Bedrijvenbeleid en de mate waarin daar de Theeuwes-aanpak is toegepast. Een uitgebreide overzichtstabel met meer detailgegevens over de evaluaties staat onderaan dit artikel. In de afgelopen vijf jaar zijn er in totaal 25 studies uitgevoerd; waarvan 21 evaluatiestudies en vier studies gericht op de verbetering van de beleidsmonitoring of de voorbereiding van latere evaluaties.

Tabel 1:Samenvattend overzicht evaluaties Bedrijvenbeleid

Enkele observaties bij de uitgevoerde evaluatiestudies:

• Bij een redelijk aantal evaluaties is een Theeuwes-aanpak gerealiseerd (zo’n 40%); Bij een tweetal evaluaties hiervan (Bedrijfsoverdracht en Eureka/Eurostars) kon het effect niet worden vastgesteld, waarbij de laatste evaluatie vastliep op de beperkingen van de beschikbare data.
• Er is ook een aantal evaluaties uitgevoerd waarbij alternatieve evaluatiemethoden zijn gebruikt (o.a. Kosten-Batenanalyse en systeemevaluatie). Bij de twee meest recente evaluaties die in 2017 zijn uitgevoerd, die van de instellingen voor Toegepast Onderzoek (TO2) en die van de topsectorenaanpak, bleek de Theeuwes-systematiek vanwege het karakter van de beleidsinterventie niet toepasbaar. Hier is voor een alternatieve werkwijze gekozen (respectievelijk een audit van de TO2-instellingen en een nieuw ontwikkelde kwalitatieve evaluatiemethode voor de topsectorenaanpak).
• Enkele, veelal wat oudere, evaluaties zijn nog op de traditionele manier (met alleen enquêtes) uitgevoerd. Een belangrijke reden hiervoor is dat bij de start van het instrument nog geen of onvoldoende rekening is en kon worden gehouden met de datavereisten voor een goede “Theeuwes”-evaluatie (zoals TechnoPartner, Syntens en ROMs).

Een belangrijke les is dat de “Theeuwes”-aanpak, mits de benodigde microdata aanwezig zijn, goed bruikbaar is voor de evaluatie van financiële interventies met een “single agent”-karakter (één interventie, één gebruiker; één helder omschreven doel). De Theeuwes-aanpak bleek echter niet goed toepasbaar bij instituutsevaluaties, netwerk- en systeemevaluaties en voor de evaluatie van publiek-private-samenwerking.

Weten beleidsmakers nu meer?

“Heeft geld voor innovatie zin? Politici weten het niet”. Dat was de kop van een artikel dat 23 juni jl. in het Financieele Dagblad verscheen. Het FD-artikel doet verslag van een internationale conferentie over uitkomsten en kwaliteit van evaluatieonderzoek op het terrein van innovatie en ondernemerschap. Het artikel stelt dat betrouwbare studies naar het effect van innovatiebeleid internationaal zeldzaam zijn. Uit het aangehaalde onderzoek van het Britse consortium “What Works Centre for Local Economic Growth” blijkt namelijk dat slechts 3,7% van de onderzochte Engelstalige internationale studies op het terrein van innovatie en ondernemerschap betrouwbare conclusies oplevert. Om deze studies op hun kwaliteit te beoordelen gebruikte het consortium de zogenaamde “Maryland Scientific Methods Scale” (SMS). De SMS is in feite een internationale variant van de Theeuwes-aanpak. Studies die werken volgens de Theeuwes-aanpak worden daarbij als deugdelijk beoordeeld. Met een Theeuwes-aandeel van 40 procent zijn deugdelijke evaluatiestudies op het terrein van innovatie in Nederland dus aanzienlijk minder zeldzaam dan in andere landen. Bovendien, zoals de tabel voor Nederland ook illustreert, betekent het niet voldoen aan de SMS-standaard niet automatisch dat de uitgevoerde evaluatie niet deugdelijk is. In de Nederlandse situatie bleken er vaak methodologische of technische achtergronden te zijn waardoor de Theeuwes en daarmee de SMS-standaard niet relevant of niet toepasbaar is gebleken, terwijl er wel deugdelijke alternatieve methoden zijn benut om de effecten van het beleid te betrouwbaar te kunnen bepalen (Kosten-Batenanalyse, systeemevaluatie, simulatiemodel).

De implementatie van de aanbevelingen van de Commissie Theeuwes heeft een aanzienlijke verbetering gebracht in de evaluatiepraktijk van het bedrijvenbeleid in Nederland. Naar internationale maatstaven gemeten worden kwalitatief hoogwaardige evaluaties uitgevoerd en bevindt Nederland zich internationaal in de voorhoede (zie OECD, 2014 en Dialogic, 2015). Daarom weten we nu ook meer over de effecten van het Nederlandse innovatiebeleid dan zo’n vijf jaar geleden. Zoals de samenvattende en uitgebreide tabellen ook laten zien zijn de kerninstrumenten van het innovatiebeleid effectief gebleken, maar tegelijkertijd bleken sommige instrumenten maar weinig resultaten te boeken en behoefden deze aanpassing of afschaffing. In die zin is de ontwikkeling van het innovatiebeleid ook meer “evidence based” geworden. Maar de ingezette richting is zeker nog niet voltooid.

Vervolgstappen: Beleidsexperimenten

Een volgende stap is onder meer het meer benutten van beleidsexperimenten, zoals ook bepleit in het laatste nieuwjaarsartikel in ESB van Maarten Camps (2017). Recentelijk is gestart met de uitvoering van kleinschalige beleidsexperimenten waarbij in opzet wordt gewerkt met zogenoemde. “randomised control trials”. Dat gebeurt op het terrein van niet-technologische innovatie, sociale innovatie, nieuwe verdienmodellen en diensteninnovaties. Dit alles met als doel kleinschalig uit te testen welke interventie effectief bijdraagt aan de innovatieprestaties van bedrijven door deelnemers te vergelijken met niet-deelnemers. Als de resultaten bekend zijn (eind 2017) kan vervolgens worden bezien welke rol de overheid zou kunnen vervullen om de interventies, waarvan empirisch is aangetoond dat ze effectief zijn, breder uit te rollen en om te zetten in nieuw beleid.

Maar ook met bestaand beleid wordt geëxperimenteerd om te bezien hoe dit beleid door toepassing van gedragseconomische inzichten effectiever kan worden uitgevoerd. Door het bij EZ opgerichte “Behavioural Insights Team (BIT EZ)” is de afgelopen jaren een serie experimenten uitgevoerd met het toepassen van gedragsinzichten in beleid, zoals op het terrein van het verminderen van voedselverspilling en het verminderen van uitstelgedrag van boeren bij het aanleveren van gegevens aan RVO.nl. Bij veel van de experimenten bleek het mogelijk om met een kleine ingreep een groot effect te bereiken. Deze werkwijze wordt inmiddels ook toegepast binnen het bedrijvenbeleid, zoals bij de uitvoering van de WBSO, bij het gebruik van “standard business reporting” ter reductie van administratieve lasten voor bedrijven en op het terrein van bewustwording in het MKB van de risico’s en maatregelen van “cyber security”. De resultaten hiervan komen eveneens in de loop van 2017 beschikbaar.

Conclusie

De ervaringen tot dusver leren dat de huidige kwantitatieve evaluatietechnieken zoals aanbevolen door de commissie Theeuwes zeer waardevol zijn gebleken maar niet altijd soelaas bieden. Zo bleek de Theeuwes-aanpak niet goed toepasbaar bij instituutsevaluaties, netwerk- en systeemevaluaties en voor de evaluatie van publiek-private-samenwerking. Hier was de Commissie Theeuwes zich in haar eindrapport ook van bewust. Voor dergelijke evaluaties, waarvan de methodiekontwikkeling ook internationaal nog in de kinderschoenen staat, dienen dus nieuwe wegen te worden bewandeld. Die handschoen is opgepakt bij de evaluatie van de topsectorenaanpak. Hiervoor is een nieuwe kwalitatieve evaluatiemethodiek ontwikkeld en toegepast met bruikbare bevindingen over de effecten van dit soort beleidsinitiatieven. Vooral op dit terrein is, in Nederland maar ook internationaal, de komende jaren nog veel ontwikkelingswerk te doen. Het is een uitdaging om hier, net zoals dat is gebeurd op het terrein van de “single agent”-beleidsinstrumenten, een nieuwe kwaliteitsstandaard te ontwikkelen als aanvulling op de erfenis van de Commissie Theeuwes.

Voetnoten:

Referenties:

Camps, M. 2017, Durf te leren, Economisch Statistische Berichten. 

Dialogic. 2015, Innoveren en ondernemen met beleid. Analytische achtergrondstudie van de beieidsdoorlichting artikel 12 (innovatie) en 13 (ondernemingsklimaat),, Ministerie van Economische Zaken, Den Haag.

Eindwerkgroep Effectmeting, 2012, Durf te meten, Den Haag.

OECD, 2014, OECD Reviews of Innovation Policy: Netherlands 2014,  OECD, Paris.

Bijlage:overzicht van geëvalueerde innovatieprojecten Bedrijvenbeleid