NWO-instituten bereiden zich voor op SEP-evaluatie

Geen rapportcijfers meer

Waarom doet NWO-I deze evaluaties* elke zes jaar?
Spijker legt uit dat de belangrijkste overtuiging is dat een instituut er beter van wordt. Het doel is dat ieder instituut, zowel terug- als vooruitblikkend, zicht krijgt op de beste koers. Ten opzichte van eerdere SEP-evaluaties is deze evaluatie veranderd: in het verleden werden instituten beoordeeld met cijfers voor onder andere onderzoekskwaliteit en relevantie, maar daar is men in Nederland van afgestapt. Spijker: "De rapportcijfers zorgden voor een te sterke focus op het halen van het hoogste cijfer. Elk instituut wordt nu op zijn eigen merites beoordeeld, volgens criteria die in het protocol staan, en ontvangt kritische en nuttige feedback".
*Het SEP-protocol is een richtlijn voor de evaluatie die niet alleen voor de NWO-instituten, maar ook voor alle universiteiten wordt gebruikt. Kijk voor meer informatie op de NWO-website.

Veel lijstjes opleveren

De weg naar het finale oordeel van de commissie is niet eenvoudig. "De voorbereiding is een enorme bak werk", zegt Spijker. "De Instituten moeten heel veel informatie opleveren, alsmede statistieken, die met een bibliometrische analyse geduid worden. Denk bijvoorbeeld aan outputgegevens, zoals publicaties. De analyses kwamen onder veel tijdsdruk tot stand. Alle geanalyseerde data vormden input voor de zelfevaluatie. Die moest elk instituut uiterlijk afgelopen juli samenstellen, om de evaluatiecommissie voldoende tijd voor het inlezen te bieden. Alle lof dus voor de Instituten dat zij dit voor elkaar hebben gebokst."

Elk een eigen commissie

Spijker legt uit dat elk instituut zijn eigen internationale commissie van zes mensen ontvangt. Voor de samenstelling doen de instituten zelf voordrachten, van voornamelijk wetenschappers, maar soms ook van vertegenwoordigers van het bedrijfsleven of mensen met een maatschappelijke functie. Als criteria voor deelname aan de commissie gelden dat er geen belangenverstrengeling met het instituut mag zijn en dat een lid geacht wordt zicht te hebben op het bredere wetenschappelijke veld waarin het instituut actief is. Vervolgens is ervaring op specifieke vlakken gewenst, zoals kennis van Open Science of PhD-trainingen. Een instituut doet een voordracht van commissieleden naar het bestuur van NWO-I, en in goed overleg komt de commissie tot stand.

Zelfevaluatierapport

Op de site-visit bereidt de commissie zich voor met het zelfevaluatierapport van de instituten. In dat rapport staat een terugblik op de afgelopen zes jaar, de instituutsstrategie en een reflectie op wat de commissie bij de vorige evaluatie adviseerde. Ook zet elk instituut de strategie voor de komende periode van zes jaar uiteen.
Spijker: "De Instituten kijken goed in de spiegel en zijn kritisch op hun eigen functioneren. Alle negen zelfevaluatierapporten zijn goedgekeurd door het bestuur van NWO-I. Elke commissie wordt gevraagd te reflecteren op drie onderwerpen: onderzoekskwaliteit, maatschappelijke relevantie en levensvatbaarheid. Daaraan voegde het NWO-I bestuur vier andere thema's toe".

De onderwerpen van de SEP-evaluatie: 1) Onderzoekskwaliteit: wetenschappelijke relevantie van het onderzoek, academische reputatie en leiderschap binnen het vakgebied. De plaats in het (inter)nationale onderzoekslandschap. 2) Maatschappelijke relevantie, in termen van impact, publieke betrokkenheid en opname van het onderzoek in economische, sociale, culturele, educatieve of relevante andere termen. 3) Levensvatbaarheid: de mate waarin de doelen de komende zes jaar wetenschappelijk en maatschappelijk relevant blijven. Doelstellingen, strategie en de vooruitziendheid van het leiderschap, inclusief management en de middelen. De nationale rol.  4.1) Open Science: openheid naar derden. Open Access en FAIR data- en softwarebeleid. 4.2) Promovendibeleid en Opleiding: begeleiding en training van promovendi. 4.3) Academische cultuur: openheid, (sociale) veiligheid en diversiteit & Inclusiviteit van de onderzoeksomgeving. Beleid voor onderzoeksintegriteit.  4.4) Personeelsbeleid: talentmanagement, wervingsbeleid en training en ontwikkeling. Alle facetten van het instituut De site-visits vormen het hoogtepunt van de evaluatie. Gedurende twee à drie dagen - dat bepaalt ieder instituut afzonderlijk - krijgt de commissie alle facetten van het instituut te zien. Spijker: "Vanzelfsprekend bereiden de instituten zich hier goed op voor, om zo aantrekkelijk mogelijk voor de dag te komen. Iedere medewerker is erbij betrokken. Er ontstaat een buzz alsof de koning op bezoek komt. Elke onderzoeksgroep komt aan bod. Met wie de commissie spreekt, verschilt per instituut. De commissie hecht aan informele gesprekken met een brede doorsnede van de medewerkers, waarmee ze zich een beeld van de cultuur vormt. Het doel is een eerlijk verhaal".

Instituut	Site-visit
NIOZ	13 en 14 september 2023
ASTRON	3 tot 6 oktober 2023
SRON	5 en 6 oktober 2023
CWI	1 tot 3 november 2023
ARCNL	8 tot 10 november 2023
Nikhef	20 tot 22 november 2023
DIFFER	22 tot 23 november 2023
NSCR	29 en 30 november 2023
AMOLF	11 en 12 december 2023

Positief-kritisch

Voor de coördinatie en begeleiding van de site-visits en de productie van het rapport van de commissies heeft NWO-I Academion ingeschakeld, een bureau dat gespecialiseerd is in begeleiding van dergelijke evaluaties. Collega's van Spijkers afdeling Bestuursondersteuning & Strategie zorgen voor de verbinding naar NWO-I. Spijker: "Soms komen er vragen op, bijvoorbeeld over NWO-I-beleid, die de externe deskundigen niet kunnen beantwoorden". De commissie maakt al tijdens de site-visit een voorlopig rapport op en op de laatste dag worden de bevindingen gedeeld, vaak met het hele instituut. Die bevindingen zijn volgens Spijker altijd opbouwend. Als alle rapporten klaar zijn, formuleert het bestuur zijn reactie.

Vaak kleine veranderingen

In hoeverre zorgen de bevindingen van de commissie voor koerswijzigingen? Spijker zegt dat de commissies bestaan uit van nature kritische wetenschappers, die altijd bevindingen hebben die een instituut nog scherper krijgen. Soms adviseert een commissie in te zetten op een richting met groeipotentie en kan dat net het duwtje zijn voor het invullen van een openstaande tenure-trackpositie op dit thema.
Spijker: "Instituten concluderen soms op basis van de uitkomsten van de evaluatie dat een beetje verleggen van de koers een goede keuze is. Deze kritische zelfreflectie is een belangrijk onderdeel van het evaluatieproces. Vaker zetten de adviezen aan tot kleinere veranderingen, altijd vanuit de wetenschappelijke context. Ook komt het voor dat na een evaluatie nieuwe samenwerkingen ontstaan door input van de commissie". Spijker kijkt uit naar de evaluaties: "Ze zijn een belangrijk hoogtepunt voor heel NWO-I".

Rosemarie Aben (strategisch adviseur en directielid Nikhef) over de SEP-evaluatie

Evaluatie werpt veel vruchten af
Na haar promotie bij Nikhef in 2015 ging Rosemarie Aben elders werken. Op 1 maart kwam ze bij het instituut terug als strategisch adviseur en tevens directielid. De eerste belangrijke opdracht was helder: zorg dat er een nieuw strategisch plan en een zelfevaluatie volgens de SEP-criteria komt. Aben: "Natuurlijk deden we dit samen met de wetenschappers en andere collega's. We keken naar resultaten op de doelen die in de vorige strategie zijn geformuleerd. Dan zie je echt hoeveel voortgang er in zes jaar tijd is geboekt. Op onze agenda voor de site-visit krijgen onderwerpen als 'hoe ga je om met Open Science en hoe begeleiden we onze promovendi' zeker een plek, maar we verwachten dat de commissie zich vooral zal richten op de strategie naar de toekomst toe: in welke experimenten willen we participeren en hoe doet Nikhef dat dan? En hoe gaat het instituut om met de risico's van kortlopende funding, die we niet zelf in de hand hebben?"
Aben vertelt dat een besluit over de locatie voor de Einstein Telescope waarschijnlijk in 2026 genomen wordt. De scenario's bij de verschillende opties - wel of niet Zuid-Limburg - staan in de strategie. Ze denkt dat de commissie daar verder op in zal gaan. Aben is positief over de uitkomst van het evaluatieproces: "Het dwingt je tot nadenken en - los van het bezoek - werpt het veel vruchten af. Ik vind de site-visit evengoed spannend. De commissie bestaat uit gerenommeerde wetenschappers die kritische vragen niet schuwen, maar dat is ook goed." Nikhef voegde zelf nog 'duurzaamheid' als onderwerp aan de zelfevaluatie en strategie toe. Aben: "We vinden dat heel belangrijk en hebben een sustainability taskforce. Tijdens mijn promotietraject vloog iedereen naar CERN en nu pakken de collega's de trein".  

Jessica Dempsey (directeur ASTRON) over de SEP-evaluatie

Evaluatie zorgt voor boost naar de toekomst
"Ik heb heel veel geleerd over ASTRON en ik geniet van het evaluatieproces." Aan het woord is Jessica Dempsey, sinds een jaar directeur van het instituut in Dwingeloo. ASTRON schreef - net als alle andere instituten - een zelfevaluatie ter voorbereiding van het bezoek van de evaluatiecommissie. Voor de terugblik moest Dempsey afgaan op de informatie van de collega's: "Hun historische geheugen was onmisbaar in dit hele proces en het was heel waardevol hierop te kunnen vertrouwen. De evaluatie is bij uitstek een gezamenlijk, bottom-up proces. We hadden de beoordeling per onderwerp toegewezen aan leden van het midden- en hoger management. Zij bespraken dit met hun teams, om ervoor te zorgen dat alle relevante ervaringen aan bod kwamen. Iedereen werd op die manier eigenaar van de beoordeling". De zelfevaluatie was voor Dempsey de ideale manier om snel inzicht te krijgen in wat het instituut de afgelopen zes jaar heeft bereikt, om vervolgens met alle informatie de weg voorwaarts te kunnen bepalen.
In oktober komt de gedroomde commissie bij ASTRON op bezoek: "Het is een prachtig panel, met een geweldig portfolio van wetenschappelijke en technologische ervaring en skills".
De commissieleden gaan spreken met iedereen op elk niveau in de organisatie: "More conversations and less presentations".
Dempsey hoopt dat de commissie de ambitie en de prestaties van ASTRON herkent en ziet dat vaardigheden van de medewerkers overeenkomen met deze ambitie. Ze verwacht dat de leden met constructieve suggesties voor versterking komen. Dempsey denkt dat de evaluatie elke ASTRON-medewerker een boost van het vertrouwen naar de toekomst zal geven: "Academici, onderzoekers, maar ook collega's in de ondersteuning hebben soms de neiging niet te beseffen hoe goed hun werk is. Dan is het mooi dat die prestaties 'teruggekaatst' worden door externen. We gaan dat absoluut vieren".

Tekst: Anita van Stel

Nieuwsbrief Inside NWO-I, september 2023.
Op de NWO-I-website vind je het archief van de nieuwsbrief Inside NWO-I.