Naar een gebalanceerde evaluatie van het Rijksoverheidsbeleid

Evaluatie beleid Rijksoverheid

De Regeling Periodiek Evaluatieonderzoek [1] (RPE) geeft aan waaraan onderzoek naar de doeltreffendheid en doelmatigheid van het beleid van de Rijksoverheid moet voldoen. De regeling is slechts twee pagina’s lang, de toelichting zes pagina’s. De uitwerking is op onderdelen zo onduidelijk dat eenduidige interpretatie niet goed mogelijk is. Deze onduidelijkheid heeft betrekking op het belang van effecten anders dan op de doelstellingen van beleid en de voor het oordeel over doelmatigheid relevante kosten.

Eén consequentie hiervan is dat bij de uitvoering van onderzoek telkens weer een interpretatie van deze begrippen moet worden vastgesteld, door opdrachtgevers, uitvoerders en/of begeleiders van het onderzoek. Dit is een inefficiëntie die door een herformulering van de RPE makkelijk kan worden voorkomen. Een bijkomend risico is dat er tussen onderzoeken verschillen ontstaan in interpretaties van doeltreffendheid en doelmatigheid, waardoor het beleid van de Rijksoverheid niet op consistente wijze wordt geëvalueerd. Dit risico doet zich bijvoorbeeld voor als het ene onderzoek effecten op kosten van burgers en bedrijven onder doelmatigheid schaart, terwijl een ander onderzoek dit als onderdeel van doeltreffendheid interpreteert. Of wanneer het ene onderzoek naast effecten op beleidsdoelen evenveel aandacht besteedt aan effecten anders dan op beleidsdoelen, terwijl een ander onderzoek hieraan geen gelijkwaardige aandacht besteedt.

Doeltreffend beleid

De voorschriften in de RPE met betrekking tot doeltreffendheid zijn op zich duidelijk geformuleerd. Doeltreffendheid is gedefinieerd als “de mate waarin de beleidsdoelstelling dankzij de inzet van de onderzochte beleidsinstrumenten wordt gerealiseerd” (artikel 1). De focus ligt daarmee op de causale relatie tussen beleid en beleidsdoelen. De toelichting laat hierover niets aan duidelijkheid te wensen over: “Bij de doeltreffendheid van beleid gaat het om de mate waarin het beleid bijdraagt aan het behalen van de beoogde maatschappelijke doelstelling. Het gaat dus om het effect van de ingezette beleidsinstrumenten op de doelstelling(en) van het beleid”.

Beleid van de overheid heeft evenwel ook effecten op economie en maatschappij die niet deel uitmaken van de oorspronkelijke doelstellingen van het beleid. Artikel 3 stelt dan ook dat “de effecten van het gevoerde beleid” onderdeel zijn van een beleidsdoorlichting. De toelichting stelt verder: “De centrale vraag in het onderzoek is in hoeverre het beleid bijdraagt aan het met dat beleid beoogde doel, dan wel in hoeverre er (gewenste of ongewenste) neveneffecten optreden”. De term “neveneffecten” wordt geïntroduceerd voor de effecten anders dan op de beleidsdoelstellingen. Deze neveneffecten zijn onderdeel van de centrale vraag van elk onderzoek naar de doeltreffendheid en doelmatigheid van het beleid. De toelichting stelt verder: “Het belangrijkste onderdeel van evaluatieonderzoek is het vaststellen van de effecten van het gevoerde beleid. Door de effecten van het beleid af te zetten tegen de doelstelling van het beleid kan een uitspraak worden gedaan over de mate waarin het beleid doeltreffend is geweest”. Kortom: alle effecten dienen te worden vastgesteld, ook neveneffecten, en confrontatie met de doelstelling geeft aan hoe doeltreffend het beleid is geweest. De toelichting geeft daarom ook als onderzoeksvraag bij een beleidsdoorlichting: “Hoe doeltreffend is het beleid geweest? Zijn er positieve en/of negatieve neveneffecten?”

Doelmatig beleid

De onduidelijkheid in de RPE betreft vooral de tweede component van het onderzoek, namelijk de doelmatigheid. Deze is gedefinieerd als: “de relatie tussen de effecten van het beleid en de kosten van het beleid” (artikel 1). Volgens de toelichting:

“Doelmatigheid betreft de relatie tussen de effecten van het beleid (op het beleidsdoel en eventuele neveneffecten) en de kosten van het beleid (beleidsuitgaven en overige kosten binnen en buiten het departement). Beleid is doelmatig als het gewenste beleidseffect tegen zo min mogelijk kosten en ongewenste neveneffecten wordt bereikt.”

Laten we dit citaat eens afpellen. De eerste zin stelt dat doelmatigheid de relatie betreft tussen enerzijds alle effecten van het beleid (effecten op het beleidsdoel en neveneffecten) en anderzijds de kosten van het beleid. De tweede zin stelt het gewenste beleidseffect tegenover kosten en ongewenste neveneffecten. Dit leidt tot onduidelijkheden en een onevenwichtige analyse. De laatste formulering betrekt ongewenste neveneffecten bij de kosten en negeert gewenste neveneffecten.

De toelichting stelt verder:

“Doelmatigheid betreft de relatie tussen de effecten van het beleid (op het beleidsdoel en overige baten) en de kosten van het beleid (de beleidsuitgaven en overige kosten binnen en buiten het departement). Beleid is doelmatig als het gewenste beleidseffect tegen zo min mogelijk kosten wordt bereikt. [...] Onderzoek naar de doelmatigheid van beleid vergelijkt de verhouding tussen de effecten en kosten van verschillende beleidsalternatieven (was hetzelfde effect met alternatief beleid ook met lagere kosten te bereiken, of bereikt andersoortig beleid misschien meer met dezelfde middelen).”

De eerste zin in bovenstaand citaat introduceert een derde variatie op het doelmatigheidsthema. Aangenomen dat de term “overige baten” hetzelfde betekent als “gewenste neveneffecten”, worden nu de effecten op het beleidsdoel plus de gewenste neveneffecten gezet tegenover de kosten. De ongewenste neveneffecten zijn uit de relatie verdwenen. Om de verwarring compleet te maken stelt de tweede zin in het bovenstaande citaat dat doelmatigheid de relatie betreft tussen het gewenste beleidseffect en kosten, waarbij neveneffecten in het geheel niet meer voorkomen in deze relatie.[2]

Kortom, in de RPE worden vier doelmatigheidsvisies gegeven:

1. Doelmatigheid betreft de relatie tussen alle effecten van het beleid en de kosten van het beleid.
2. Doelmatigheid betreft de relatie tussen enerzijds het gewenste beleidseffect en anderzijds kosten en ongewenste neveneffecten.
3. Doelmatigheid betreft de relatie tussen enerzijds de effecten op het beleidsdoel en de gewenste neveneffecten en anderzijds de kosten.
4. Doelmatigheid betreft de relatie tussen het gewenste beleidseffect en kosten.

Kosten volgens de RPE

Op basis van de RPE is het dus niet duidelijk hoe neveneffecten dienen te worden behandeld en hoe doelmatigheid moet worden onderzocht. Daar komt nog bij dat de RPE onduidelijk is over welke kosten relevant zijn bij het beoordelen van de doelmatigheid. De toelichting op artikel 1 noemt beleidsuitgaven en overige kosten binnen en buiten het departement als kosten van het beleid. De overige kosten worden daarbij evenwel niet nader afgebakend. De toelichting op de beleidsdoorlichting noemt uitgaven of kosten op andere beleidsterreinen en andere begrotingen, en ook kosten voor andere partijen zoals burgers en het bedrijfsleven, maar deze worden niet in relatie gebracht met doelmatigheid. Een duidelijke, consistente herformulering van de RPE vereist een helder onderscheid tussen de fase van de beleidsvoorbereiding en –uitvoering enerzijds en de effecten van het uitgevoerde beleid anderzijds. Als kosten van het beleid kunnen dan alle in de beleidsvoorbereiding en –uitvoering opgeofferde middelen worden opgevoerd. Kosten voor burgers en bedrijfsleven vallen daar niet onder: dat zijn effecten van het beleid [3].

Een duidelijke en consistente RPE

Een duidelijke en consistente RPE ontstaat als doeltreffendheid van het beleid wordt verbreed tot “de effecten van de inzet van de onderzochte beleidsinstrumenten op de beleidsdoelstelling en de neveneffecten van de inzet van de onderzochte beleidsinstrumenten”, zodat duidelijk is dat een onderzoek naar de doeltreffendheid álle effecten (ook gewenste en ongewenste neveneffecten) omvat [4]. Een oordeel over de doeltreffendheid van het beleid weegt dan de effecten op het beleidsdoel en de gewenste en ongewenste neveneffecten mee. De kostenkant van doelmatigheid kan worden beperkt tot alle in de beleidsvoorbereiding en –uitvoering opgeofferde middelen. Het oordeel over doelmatigheid hangt dan af van het oordeel over doeltreffenheid, gerelateerd aan de opgeofferde middelen.

Figuur 1 brengt in kaart hoe zo’n evenwichtige analyse kan plaatsvinden. In de figuur hangt het oordeel over doeltreffendheid af van de mate waarin het beleid effect heeft gehad op de geformuleerde beleidsdoelstelling, en van de omvang van gerealiseerde gewenste en ongewenste neveneffecten. De doelmatigheid hangt per definitie positief af van de doeltreffendheid: het betreft de relatie tussen doeltreffendheid en kosten (van de voor het beleid opgeofferde middelen). Weinig doeltreffend beleid kan toch positief scoren op doelmatigheid, als hiervoor ook weinig kosten zijn gemaakt.

Figuur 1: Een consistente herformulering van doeltreffendheid, kosten en doelmatigheid in de Regeling Periodiek Evaluatieonderzoek

Bovenstaande figuur bevat drie samenhangende verduidelijkingen ten opzichte van de RPE. Ten eerste is het belang van neveneffecten duidelijk: deze spelen in de eerste plaats een rol in de beoordeling van doeltreffendheid. Ten tweede is duidelijk dat doelmatigheid gaat over de relatie tussen doeltreffendheid en kosten, waarbij de neveneffecten al bij de doeltreffendheid zijn beoordeeld. Ten derde gaat het bij de kosten om alle in de beleidsvoorbereiding en –uitvoering opgeofferde middelen. De RPE daarentegen zet gewenste en ongewenste neveneffecten nu nog op verschillende plekken neer bij de passages over doelmatigheid, waardoor het belang van neveneffecten onduidelijk wordt en de interpretatie van doelmatigheid te veel ruis bevat. Ook is de RPE niet helder over de kosten die moeten worden meegenomen in oordelen over de doelmatigheid van beleid.

Conclusie

De RPE is gebaat bij een herformulering die duidelijkheid verschaft bij het onderzoek naar doeltreffendheid en doelmatigheid. Dit voorkomt discussies bij elk nieuw onderzoek en bevordert consistentie tussen onderzoeken. Concreet kan doeltreffendheid worden geformuleerd als de effecten van de inzet van de onderzochte beleidsinstrumenten op de beleidsdoelstelling plus de neveneffecten van die beleidsinstrumenten en kan doelmatigheid worden betrokken op de relatie tussen doeltreffendheid en de in de beleidsvoorbereiding en –uitvoering opgeofferde middelen.

Voetnoten: