Eerste advies: reactie op het Plan van Aanpak d.d. november 2004 voor de evaluatie van het Schipholb

Ministerie van Verkeer en Waterstaat

Procescommissie Evaluatie Schipholbeleid

Eerste Advies

Aan de staatssecretaris van Verkeer en Waterstaat, Datum Mevrouw drs. M.H. Schultz van Haegen-Maas Geesteranus 11 mei 2005 Postbus 90771 Onderwerp 2509 LT DEN HAAG Plan van aanpak evaluatie Schipholbeleid Ons kenmerk Procescie. 002 - mei 2005

Geachte mevrouw Schultz van Haegen,

Hierbij geeft de Procescommissie Evaluatie Schipholbeleid (verder te noemen Procescommissie) haar reactie op het Plan van Aanpak d.d. november 2004 voor de evaluatie van het Schipholbeleid. Deze brief bestaat uit de volgende onderdelen. Eerst lichten we kort de instelling en taken van de Procescommis- sie toe. Vervolgens schetsen we onze visie op de context van de evaluatie. Daarna vragen wij uw aandacht voor enkele aspecten die in de visie van de Procescommissie moeten worden benadrukt om de objectiviteit en zorgvul- digheid van het evaluatieproces te waarborgen. Tenslotte geven wij een beoordeling van het Plan van Aanpak. INSTELLING EN TAAK PROCESCOMMISSIE
De Procescommissie Schiphol werd op 8 maart 2005 geïnstalleerd onder voorzitterschap van de heer J.C. Blan- kert. De Procescommissie heeft tot taak:

1. Toe te zien op en borg te staan voor de onafhankelijkheid en objectiviteit van het proces van de evaluatie van het Schipholbeleid, en

2. Te dienen als aanspreekpunt voor natuurlijke en rechtspersonen, alsmede voor bestuursorganen, organi- saties, belangenverenigingen of ­ organisaties met vragen over de onafhankelijkheid en objectiviteit, als bedoeld in onderdeel 1.

Het toezicht en de borging van onafhankelijkheid en objectiviteit heeft betrekking op de drie onderdelen die het evaluatieproces omvat, te weten:

—-

Procescommissie Evaluatie Schipholbeleid

1. Toetsing of de beoogde bescherming van de omgeving daadwerkelijk is gerealiseerd conform de motie Baarda c.s.

2. Onderzoek naar de effectiviteit van het nieuwe beleid.
3. Oproepen, beoordelen en verwerken van voorstellen voor mogelijke verbetering van het beleid.

Na de overname van het voorzitterschap door ondergetekende per 26 maart 2005 (Staatscourant 24 maart 2005) heeft op 25 april 2005 een (tweede) vergadering van de Procescommissie plaatsgevonden. Inmiddels is het secre- tariaat van de Procescommissie ingevuld. Gezocht wordt nog naar de invulling van twee openstaande vacatures voor leden van de Procescommissie.
Al met al kampt de Procescommissie met een vertraagde start. Die is veroorzaakt doordat de procescommissie pas laat is ingesteld en vervolgens versterkt door de wisseling van voorzitter. Het Plan van Aanpak is in november 2004 verschenen en reeds in uitvoering gegaan. Onderzoeken zijn of worden uitgezet en aanbesteed. De evaluatie is volop in gang. Daarmee dreigt het gevaar dat de werkzaamheden van de Procescommissie achter de feiten zullen aanlopen. Ook bestaat de kans dat proactieve toetsing van de evaluatie niet meer mogelijk is.
De Procescommissie is direct en voortvarend gestart met de werkzaamheden om de ontstane achterstanden in te lopen. Zij hoopt door een versnelde opstart binnenkort `op schema’ te zijn, zodat zij niet alleen reactief, maar ook pro-actief de onafhankelijkheid en objectiviteit van de Schipholevaluatie kan toetsen en borgen. De Procescom- missie spreekt daarbij de verwachting uit dat haar informatievoorziening, in afwijking van de tijdgeest, niet alleen vraaggestuurd zal zijn, maar in belangrijke mate aanbodgestuurd. CONTEXT VAN DE EVALUATIE
Het publieke debat over Schiphol en het Schipholbeleid kent een lange geschiedenis. Zoals diverse malen gecon- stateerd, is rond het Schipholdossier een grote mate van wantrouwen tussen alle betrokkenen gegroeid. Ook het beeld over de betrouwbaarheid van de overheid heeft de afgelopen periode onmiskenbaar schade opgelopen. Het onderling wantrouwen ­ ook jegens de overheid en de politiek ­ legt een ernstig beslag op het Schipholdos- sier. Als gevolg daarvan overheerst bij velen reeds bij voorbaat scepsis over de uitkomsten van de evaluatie. De Procescommissie ziet het als haar opdracht ertoe bij te dragen dat het wantrouwen weer binnen de grenzen van het gezonde wantrouwen wordt gebracht en te voorkomen dat de evaluatie al bij voorbaat door betrokkenen wordt gediskwalificeerd.
De evaluatie van het Schipholbeleid bergt grote risico’s in zich. In de eerste plaats kennen de partijen in het Schipholdebat zeer uiteenlopende percepties, afwegingen en zienswijzen die zij nogal eens als enig mogelijke proberen te presenteren. Pogingen de percepties, afwegingen en zienswijzen met onderzoek te staven hebben van tijd tot tijd geleid tot `rapportenoorlogen’, waarin de verschillende partijen hun eigen onderzoek laten doen, uit- gaande van onderzoeksvragen, uitgangspunten, normen en methoden, die zij zelf acceptabel vinden, maar die lang niet altijd gedragen worden door anderen. Gevolg is dat de uitkomsten van dergelijk onderzoek ook niet door an- deren worden gedragen. Het onderzoek ondersteunt niet de dialoog, maar maakt eerder dat partijen verder uit el- kaar komen te staan.

—-

Procescommissie Evaluatie Schipholbeleid

In de tweede plaats hoeven geobjectiveerde ­ meer generieke en/of rekenkundige ­ conclusies van de evaluatie niet overeen te komen met de individuele ervaringen van betrokken partijen. De Procescommissie is zich er echter ook terdege van bewust dat deze individuele ervaringen van betrokken partijen, mits voorzien van een adequate onderbouwing, objectieve slotsommen kunnen herbergen. Gedurende de evaluatie zal dit nadrukkelijk de aandacht hebben van de Procescommissie.
In de derde plaats kent de materie een hoge moeilijkheidsgraad. Het debat en de onderzoeken dragen een hoog technisch en bijwijlen technocratisch karakter en zijn niet altijd voor iedereen makkelijk toegankelijk en begrijpe- lijk. De neiging tot detaillering, waardoor het zicht op het grote geheel verloren dreigt te gaan, is groot. De materie is complex en niet in de laatste plaats zijn de eisen die in het Schipholbeleid zijn vervat tegenstrijdig. Omdat de staatssecretaris van Verkeer en Waterstaat eindverantwoordelijk is voor beleid, proces en planning en daar ook op moet kunnen worden afgerekend door het parlement, is gekozen de verantwoordelijkheid voor de uitvoering van de evaluatie ook bij de staatssecretaris te leggen. Deze argumentatie laat onverlet dat Achilleshiel van de evaluatie is dat de partij die de afgelopen jaren primair verantwoordelijk was voor het beleid nu ook de centrale verantwoordelijkheid heeft bij de evaluatie. De vraag kan naar voren komen of Verkeer en Waterstaat, door betrokken te zijn bij alle stappen van het evaluatieproces, de facto niet ook een grote en wellicht beslissende invloed heeft op de uitkomsten van de evaluatie.
De Procescommissie wenst dit punt reeds nu naar voren te brengen omdat het bij het Ministerie grote verantwoor- delijkheid legt om de evaluatie objectief en zorgvuldig te laten plaatsvinden en grote terughoudendheid oplegt voor zozeer de neiging zou bestaan dat achterwege te laten. Uiteraard legt dit punt bij de Procescommissie extra verantwoordelijkheid en zorg om objectiviteit en zorgvuldigheid van de evaluatie te borgen. Het Plan van Aanpak zoals dat nu voorligt is in diverse ronden onderwerp van bespreking in de Eerste en de Tweede Kamer geweest. Dat heeft tot uitgebreide correspondentie tussen Kamers en bewindslieden en tot diverse aanpassingen en verbeteringen van het concept geleid. Belangrijk voor de Procescommissie is dat over het Plan van Aanpak breed gedeelde overeenstemming in beide Kamers bestaat, zoals onlangs nog bevestigd in het Alge- meen Overleg van de Vaste Commissie voor Verkeer en Waterstaat van de Tweede Kamer van 28 april jl. De Procescommissie beschouwt het Plan van Aanpak, alsmede de begeleidende correspondentie tussen bewindslie- den en Kamers dan ook als uitgangspunt voor haar werkzaamheden. Uitgaande van haar taakomschrijving heeft de Procescommissie ook oog en oor voor afwijkende opvattingen van andere stakeholders aangaande de aanpak.

BORGING VAN OBJECTIVITEIT EN ZORGVULDIGHEID
Tegen deze achtergrond vraagt de Procescommissie uw aandacht voor enkele aspecten die bij de evaluatie van het Schipholbeleid moeten worden benadrukt om de objectiviteit en zorgvuldigheid van de evaluatie te waarborgen. Ten eerste wil de Procescommissie een kanttekening plaatsen bij het begrip `objectiviteit’ zoals dat in het Plan van Aanpak naar voren komt. De belangrijkste taak van de Procescommissie bestaat er uit te borgen dat de evaluatie niet vertekend wordt doordat op enigerlei wijze specifieke dragers van belangen onevenredige invloed op het re- sultaat van de evaluatie kunnen uitoefenen. Op basis van een in die zin objectieve evaluatie kunnen vervolgens regering en parlement hun belangafweging maken. Om die reden zal de Procescommissie naast objectiviteit en zorgvuldigheid ook toetsen op de fairness van het evaluatieproces.
—-

Procescommissie Evaluatie Schipholbeleid

Ten tweede is in de evaluatie van groot belang dat partijen elkaar niet alleen spreken over de uitkomsten van on- derzoek en van de evaluatie, maar dat ze vooral ook met elkaar spreken voorafgaand aan en tijdens de uitvoering van het onderzoek. Zij kunnen zo in een interactief proces in meerdere mate overeenstemming pogen te bereiken over de uitgangspunten, vragen en methoden die bij dat onderzoek worden gehanteerd. Ook is het op deze wijze mogelijk om misverstanden, onzorgvuldigheden en onjuistheden pro-actief uit de weg te ruimen. Dat kan het ver- trouwen in de uitkomsten van het onderzoek ten goede komen. Ten derde kan men bij de evaluatie beter te veel aspecten in de beschouwing betrekken dan te weinig. Naast gede- tailleerde onderzoekingen verdient het aanbeveling ook meer algemene generieke beschouwingen in de evaluatie te betrekken. Hoe rijker de uitkomsten van de evaluatie zijn en hoe beter ze de vele beelden in en over het Schip- holbeleid weergeven, des te meer kunnen de betrokkenen hun ervaringen aan de uitkomsten toetsen. Dit geldt voor alle onderdelen van de evaluatie. De Procescommissie is dan ook voornemens te toetsen of de evaluatieon- derzoeken het brede en gedetailleerde spectrum van het Schipholdossier bestrijken. Ten vierde acht de Procescommissie het goed om bij de evaluatie nadrukkelijk de perceptie van geluidsbelasting als beleving van hinder mee te nemen. Technische verhandelingen over geluidsbelasting en over `rekenen en me- ten’ en Lden en Kosteneenheden voeren de boventoon, maar beleving is voor velen die in het debat betrokken zijn, de realiteit waarmee men te maken heeft. De geluidsbeleving is de afgelopen jaren een belangrijke bron van conflicten en daaruit voortvloeiend wantrouwen geweest, niet alleen omdat het geproduceerde geluid niet werke- lijk wordt gemeten, maar wordt berekend, maar ook omdat een deel van het geproduceerde geluid buiten be- schouwing wordt gelaten. Het is goed daar ook in de evaluatie nadrukkelijk rekening mee te houden, niet als een nevenonderwerp, maar als een van de centrale thema’s van de evaluatie. Tenslotte dient de evaluator bij de effectiviteittoetsing ervoor te waken zich uitsluitend te beperken tot een vorm van klassieke effectrapportage. In een zo complex dossier als het onderhavige, waarin zoveel partijen met ver- schillende belangen en percepties een rol spelen, kan het een valkuil zijn om te trachten `objectiverend’ de effecti- viteit van het beleid te meten. Het gevaar bestaat namelijk dat onbedoelde effecten van beleid stelselmatig buiten beeld vallen en partijen na uitkomst van het evaluatieproces nog verder van elkaar afstaan en elkaar met nog meer wantrouwen bejegenen dan voorheen. Om die reden beveelt de Procescommissie aan het evaluatieproces breed te houden en de kennis, ervaring en denkbeelden van alle betrokkenen bij het evaluatieproces een rol te laten spelen. De Procescommissie wil in dezen een rol spelen mede vanwege haar taakstelling van klankbord.

AANDACHTSPUNTEN EVALUATIE
In meer specifieke reactie op het Plan van Aanpak ziet de Procescommissie de volgende aandachtspunten voor het evaluatieproces.
Algemeen
De Procescommissie is van oordeel dat de inspanningen van de bewindslieden om bij de start veel inbreng van maatschappelijke partijen toe te laten en mee te nemen in het onderzoek zeer positief te waarderen zijn. Het is belangrijk deze partijen ook actief en tijdig bij de uitvoering te betrekken, niet alleen bij de onderzoeksagenda en het bepalen van de aanpak van onderzoeken, maar ook bij de verdere uitvoering.
—-

Procescommissie Evaluatie Schipholbeleid

Wat dat betreft vindt de Procescommissie het Plan van Aanpak karig. Bij de start van onderdelen van de evalua- tie kunnen maatschappelijke partijen ideeën aandragen, maar over de betrokkenheid van stakeholders in het ver- volgproces worden geen uitspraken gedaan.

Uitvoering motie-Baarda
De essentie van de motie-Baarda is een vergelijking van de bescherming die het oude (PKB 1995) normenstelsel voor milieu in de meest brede zin (inclusief geluid en veiligheid) bood, met de bescherming die het nieuwe nor- menstelsel voor milieu (Schipholwet en bijbehorende besluiten) biedt. Die vergelijking is zeer ingewikkeld, omdat het om heel verschillende stelsels gaat en omdat er vele maten zijn om de bescherming, die van de beide stelsels uitgaat, in kaart te brengen. Reeds op voorhand is discussie ontstaan over de interpretatie van de uitvoering van de motie-Baarda. Bij de toetsing van objectiviteit en zorgvuldigheid van de uitvoering van de motie-Baarda zal de Procescommissie daarom bezien of de operationalisering in letter en geest voldoet aan de motie-Baarda en de verwachtingen die door politiek verantwoordelijken in de Kamer en daarbuiten zijn gewekt.
De toetsing van de operationalisatie van de motie-Baarda op objectiviteit, zorgvuldigheid en fairness is onderwerp van het volgende advies van de Procescommissie.

Effectiviteitsonderzoek
De Procescommissie acht het van belang dat het brede spectrum van maatschappelijke stakeholders niet alleen betrokken is bij het opstellen en vaststellen van de onderzoeksagenda, maar ook betrokken blijft bij de uitvoering van het effectiviteitsonderzoek. In de uitvoering van het onderzoek worden voortdurend keuzes gemaakt (formule- ring onderzoeksvragen, keuze onderzoeksmethoden, keuze uitgangspunten), die allen de uitkomsten van het on- derzoek beïnvloeden. Gedragen onderzoeksresultaten en vertrouwen in onderzoeksresultaten ontstaan alleen als men over die keuzes in gesprek blijft.
De Procescommissie adviseert daarom niet alleen de uitkomsten van het onderzoek als onderwerp van gesprek te kiezen, maar nu vormen van betrokkenheid van stakeholders te organiseren.

Verbetervoorstellen
De Procescommissie zal nog adviseren over het beoordelingskader voor de verbetervoorstellen. De Procescommissie zal met name aandacht hebben voor de `ontvankelijkheid’ van het projectbureau en voor de `adequaatheid’ van de beantwoording. Indieners moeten de mogelijkheid hebben hun verbetervoorstel te komen toelichten. Indieners moeten indien gewenst ondersteuning krijgen om de te verwachten effecten van hun verbe- tervoorstel in kaart te brengen en te onderbouwen. Zo kan worden voorkomen dat `sterkere’ partijen onevenredige invloed kunnen uitoefenen doordat hun voorstellen beter (kwantitatief) zijn onderbouwd. Belangrijk is ook te waarborgen dat `onwelgezinde’ voorstellen of voorstellen die buiten de geëigende denkkaders vallen, serieus worden behandeld. Tenslotte moet voorkomen worden dat verbetervoorstellen, buiten de procedure om, na de sluitingstermijn worden ingediend.

—-

Procescommissie Evaluatie Schipholbeleid

De Procescommissie hoopt met deze reactie op het Plan van Aanpak bij te dragen aan de objectiviteit, zorgvuldig- heid en fairness van het evaluatieproces. Tevens hoopt de Procescommissie een indruk te hebben gegeven van haar taakopvatting met betrekking tot het evaluatieproces. Wij zijn graag bereid onze voorstellen en opmerkingen, zoals hierboven gedaan, nader toe te lichten.

Hoogachtend,

Procescommissie evaluatie Schipholbeleid,

Prof. Dr. W. Derksen,
Voorzitter