Platform Vlieghinder Regio Castricum
 

Vierde advies: Reactie op ‘onderzoeksagenda effectiviteit’

 |
 Geplaatst door: webbeheer 
 |
 Bekeken: 527 
|
 Procescommissie evaluatie Schipholbeleid 
Vierde advies: Reactie op ‘onderzoeksagenda effectiviteit’

Ministerie van Verkeer en Waterstaat

|          |Vierde advies             |              |
|          |              |        |              |
|                        |        |              |
|Aan de staatssecretaris van Verkeer |        |Datum           |
|en Waterstaat,                |        |              |
|Mevrouw drs. M.H. Schultz van     |        |              |
|Haegen-Maas Geesteranus         |        |              |
|Postbus 90771                 |        |              |
|2509 LT DEN HAAG             |        |              |
|                        |        |              |
|Aan de staatssecretaris van       |        |              |
|Volkshuisvesting, Ruimtelijke     |        |              |
|Ordening en Milieubeheer,        |        |              |
|De heer drs. P.L.B.A. van Geel     |        |              |
|Postbus 20951                 |        |              |
|2500 EZ DEN HAAG               |        |              |
|                        |        |7 juni 2005       |
|                        |        |Onderwerp       |
|                        |        |Evaluatie       |
|                        |        |Schipholbeleid,    |
|                        |        |onderzoeksagenda   |
|                        |        |Ons kenmerk       |
|                        |        |Procescie. 005 -  |
|                        |        |juni 2005       |
|                        |        |              |
|                        |        |              |
|                        |        |              |

Geachte mevrouw Schultz van Haegen, geachte heer Van Geel,

Hierbij reageert de Procescommissie Schiphol op de ‘onderzoeksagenda effectiviteit’, die in maart 2005 is uitgebracht.

Deze brief heeft alleen betrekking op de onderzoeksagenda zelf, over de uitvoering van de onderzoeksagenda zullen wij u afzonderlijk berichten.

De onderzoeken van de onderzoeksagenda zijn op dit moment grotendeels aanbesteed of worden dat binnenkort. De meeste onderzoeken zijn inmiddels gestart. De uitvoering van de onderzoeksagenda effectiviteit is daarmee in gang gezet. Dientengevolge moeten we accepteren dat het commentaar van de Procescommissie niet of slechts gedeeltelijk zal kunnen leiden tot een aanpassing van de agenda.

Omvang en tijdsdruk van het onderzoek

De onderzoeksagenda bestrijkt, voor zover nu te overzien, het brede spectrum van het Schipholdossier, voor het grootste deel in detail. Dit is positief te waarderen, want hoe rijker de uitkomsten van de evaluatie zijn en hoe beter ze de vele beelden in en over het Schipholbeleid weergeven, des te meer kunnen de betrokkenen hun ervaringen aan de uitkomsten toetsen.

Tegelijkertijd is het totaal aantal vragen dat in korte tijd moet worden onderzocht bijzonder groot. Het is de vraag of al deze onderzoeksvragen überhaupt in zo korte tijd kunnen worden beantwoord op een manier die wetenschappelijk verantwoord is en bovendien voor gedragen kennis zorgt. De Procescommissie schat in dat de planning van onderdelen van de onderzoeksagenda zo krap is (sommige onderzoeken zouden al in juni en juli moeten worden afgerond), dat deze, ook gelet op de aankomende zomerperiode, niet gehaald kan worden. Dit kan consequenties hebben voor de uitvoering van de evaluatie in zijn geheel.

Het is daarnaast de vraag of de verkregen informatie niet zo omvangrijk en gedetailleerd zal zijn, dat het moeilijk wordt om straks door de bomen het bos te zien en om alle betrokkenen het vertrouwen te geven dat op zorgvuldige wijze onderzoek is gedaan en dat dit onderzoek een goede basis is voor verder beleid.

Totstandkoming onderzoeksagenda

Het is niet duidelijk hoe de onderzoeksagenda tot stand is gekomen. Bij het opstellen van de onderzoeksagenda zijn de verschillende artikelen uit de Wet en de besluiten getoetst. Daarbij is aangegeven welke artikelen wel en welke artikelen niet zijn opgenomen in de onderzoeksagenda. Wie bij deze toetsing (en selectie van relevante artikelen) was betrokken, hoe dit proces is verlopen en welke motivering ten grondslag heeft gelegen aan het besluit om bepaalde artikelen wel en andere niet in de onderzoeksagenda op te nemen, is niet duidelijk.

Het wordt uit de onderzoeksagenda niet inzichtelijk hoe is gekomen tot de formulering van onderzoeksvragen en tot een nadere operationalisatie per beleidsinstrument, evenmin is helder welke uitgangspunten en methoden voor het onderzoek zullen worden gebruikt. Die verdere uitwerkingen worden waarschijnlijk allemaal gemaakt door en in overleg met de opdrachtnemers die het onderzoek zullen gaan uitvoeren; het is begrijpelijk dat dit alles niet reeds in de onderzoeksagenda geheel is uitgeschreven. Maar de vraag is dan wie daarbij in de begeleiding van het onderzoek een rol zullen spelen, of ook andere stakeholders dan de ministeries V&W en VROM daarin betrokken zijn.

Vermijdt rapportenguerrilla

Als de uitkomsten van het onderzoek gedragen en geaccepteerd worden door alle betrokken partijen, hoeft dit alles geen probleem te zijn. Visies, probleempercepties en ideeën over benodigde kennis om de werking van het Schipholbeleid goed te kunnen evalueren lopen echter uiteen. Dientengevolge zullen de opvattingen over vragen die wel en niet gesteld moeten worden uiteenlopen, en zo ook de opvattingen over te hanteren methoden en uitgangspunten. Daarom is het van belang aandacht te hebben voor verschillende visies van stakeholders in de nadere operationalisatie en uitvoering van het onderzoeksprogramma. Indien dat niet gebeurt, zullen de uitkomsten van het onderzoek straks ter discussie staan en/of geen bijdrage kunnen hebben aan het debat over effectiviteit van gevoerd beleid en kenmerken van toekomstig beleid. Een ‘rapportenguerrilla’ is weinig dienstig in het Schipholdossier.

Het is daarom van belang dat partijen elkaar niet alleen spreken over de uitkomsten van onderzoek en van de evaluatie, maar dat ze vooral ook met elkaar spreken voorafgaand aan en tijdens de uitvoering van het onderzoek. Zij kunnen zo in een interactief proces in meerdere mate overeenstemming pogen te bereiken over de uitgangspunten, vragen en methoden die bij dat onderzoek worden gehanteerd. Ook is het op deze wijze mogelijk om misverstanden, onzorgvuldigheden en onjuistheden pro-actief uit de weg te ruimen. Dat kan het vertrouwen in de uitkomsten van het onderzoek ten goede komen.

Toekomstgerichtheid

Wij zien in de wijze waarop de onderzoeksagenda is uitgewerkt de kenmerken van een klassieke, ex post effectrapportage, die voor een groot deel berust op het vergelijken van gestelde en gerealiseerde doelen vanuit één perspectief. De focus van het onderzoek is daarmee tamelijk statisch en er komen overwegend onderwerpen aan de orde die vanuit het perspectief van de rijksoverheid worden belicht. Zo bestaat bijvoorbeeld het risico dat belevingsgerichte elementen buiten beeld verdwijnen als alleen volgens de klassieke methode van doelbereiking wordt geëvalueerd. In een zo complex dossier als het onderhavige, waarin zoveel partijen met verschillende belangen en percepties een rol spelen, kan het een valkuil zijn om te trachten ‘objectiverend’ de effectiviteit van het beleid te meten. Het gevaar bestaat namelijk dat onbedoelde effecten van beleid stelselmatig buiten beeld vallen en partijen na uitkomst van het evaluatieproces nog verder van elkaar afstaan en elkaar met nog meer wantrouwen bejegenen dan voorheen.

Daarnaast ligt in de onderzoeksagenda de nadruk op ‘terugblikken’, hoewel ten aanzien van sommige onderwerpen (bijvoorbeeld de internationale vergelijking) in de onderzoeksagenda nadrukkelijk aan de toekomst wordt gerefereerd. De procescommissie vraagt zich af of dit een vruchtbare basis biedt voor het doen van voorstellen voor toekomstig beleid. Onderzoek moet er op gericht zijn ofwel bouwstenen aan te dragen voor zinvol debat en verantwoorde keuzes ofwel die ficties, mythen en onjuiste voorstellingen van zaken te ontkrachten die de kwaliteit van debat en besluitvorming nadelig beïnvloeden. Dat betekent ook dat de uit het onderzoek voortkomende kennis zo geordend en inzichtelijk gemaakt moet worden dat daarmee een zinvol debat gevoerd kan worden. Het lijkt de Procescommissie dienstig nu reeds na te denken over de wijze van ordening en presentatie van de onderzoeksresultaten.

Ontbreken van kritische vragen

Tot slot constateert de Procescommissie dat in de onderzoeksagenda kritische, lastige vragen ontbreken, terwijl het stellen daarvan de kwaliteit van de evaluatie ten goede zou kunnen komen.

Voorbeelden van dergelijke vragen:

Wat zijn de onbedoelde en onvoorziene effecten van het Schipholbeleid?

Hoe is de dubbelrol van V&W als beleidsmaker en handhaver/toezichthouder in de praktijk uitgepakt?

Welke meetvarianten zijn in de laatste jaren voorgesteld, hoe is met die voorstellen omgegaan, wat waren de overwegingen om ze niet in te voeren en hoe verhouden zich deze overwegingen tot de ambitie om te komen tot een nieuw stelsel van regulering van de luchthaven (waarvan meten onderdeel uitkomt)?

Wat is de toegevoegde waarde van verschillende passagiers categorieën voor Nederland is, hoe kan op die verschillende categorieën worden gestuurd en hoe kan daarbij toegevoegde waarde van de verschillende categorieën worden beïnvloed?

Bovenstaande vragen vormen geen uitputtend overzicht, maar geven aan welke type vragen in een breder kader dan de klassieke ex post effectrapportage gesteld kunnen worden.

Hoogachtend,

Procescommissie evaluatie Schipholbeleid,

Prof dr Wim Derksen,
Voorzitter


Reacties op dit bericht