Tien jaar geleden nam de directeur van de Stichting Technische Wetenschappen (STW), dr Le Pair, afscheid. De STW had via haar aanpak naar mijn mening een staat van dienst: gedegen onderzoek, het risico niet mijdend met oog voor de technische en maatschappelijke toepassingsmogelijkheden. Bij de evaluatie na tien jaar, er was toen 8 miljoen euro ‘uitgezet’, bleek 50% van de projecten te leiden tot aanwijsbare producten en waren 6 octrooien verkregen. In diezelfde tijd startte het ministerie van VWS het preventieprogramma. Zouden hier de projecten ook 50% bruikbare producten opleveren, was een voor de hand liggende vraag. Inmiddels zijn we 3 preventieprogramma’s, ook tien jaar, 250 miljoen euro en ruim 500 projecten verder. Zijn er, dank zij die programma’s, 250 producten beschikbaar die de Nederlandse burgers waren tegen ziekte en ongemak? Het antwoord is onbekend.
De STW leverde een prestatie van formaat en toch liet de directeur zich bij zijn afscheid negatief uit over de commissies, die het STW werk evalueerden, meer precies over ‘visitatiecommissies’ en ‘onderzoeksmanagement’. De wijze waarop visitaties tot hun oordelen over de kwaliteit van het onderzoek komen is discutabel, maar – ik heb daar in ander verband over gesproken – velen wetenschappers zwijgen uit eigenbelang. Zo is het gebruik van de citatie indices minder robuust dan wordt verondersteld. Deze zijn voor technisch-wetenschappelijke projecten ook minder relevant. Het gaat bij die projecten om de ontwikkeling van producten of processen, niet om publiceren. Geldt dat ook voor de gezondheidszorgprojecten? Waarschijnlijk wel. Maar uitvoering van stimuleringsprogramma’s is routine geworden evenals de evaluaties ervan. Visitatierapporten leiden een eigen leven. Beoordelingen omvatten de ‘maatschappelijke relevantie’ van de aanvrage, maar die is amper relevant bij de keuze. De vraag ‘wat heeft het onderzoek opgeleverd?’ wordt beantwoord met ‘het is vaak geciteerd’. Ook wetenschappers praten elkaar graag na.
Colleges van Bestuur van onderzoeksinstellingen zeggen, dat ze keuzes (moeten) maken en doen/kunnen dat op basis van visitaties. Doch de vraag is, die ook Le Pair zich tien jaar geleden stelde, zijn daar die visitaties inderdaad voor nodig. Visitaties leiden tot politieke oordelen, niet tot wetenschappelijke of praktische. Hij had een punt toen hij zei: ‘Professor x staat met een cijfer 2 van de visitatiecommissie de volgende een examen af te nemen’. Ook over het gebruik van de data voor de berekening van citatie indices is een en ander op te merken evenals op de wijze, waarop deze – soms terecht, soms ten onrecht – door het onderzoeksmanagement worden ‘opgeschoond’. De discrepantie in uitkomsten met niet geschoonde en geschoonde data is groot en de uitkomst voorspelbaar: altijd beter voor de manager, die de opschoning noodzakelijk achtte.
Inmiddels staan enkele van deze routines ter discussie. Enkele groepen hebben voorzichtig geprobeerd naast de wetenschappelijke relevantie (de citatie) de maatschappelijke impact van de uitkomsten van onderzoek vast te leggen. Na 5 jaar staat het nog in de kinderschoenen.
Er zijn nieuwe mores. De doelgroep (patiënten, jeugd, mensen met verstandelijke beperkingen) dient bij de programmering betrokken te worden. Feitelijk betekent dat bij de verdeling van het geld, omdat een programma grotendeels vast ligt bij de besluitvorming tot instelling van een programmacommissie. De belangrijkste keuzes zijn elders al gemaakt.
Maar toch, de doelgroep doet mee bij de beoordeling van aanvragen voor projecten en innovaties. Het valt nog niet mee daar mensen voor te vinden en – als ze zijn gevonden – moeten ze ‘getraind’ worden om die projecten te beoordelen. Hen wordt geleerd hoe ze er wat van moeten vinden. Vanaf dat moment is hun stem niet meer representatief voor de doelgroep. Komen we dergelijke uitbreidingen op bestaande routines verder? Ik vrees van niet. Het blijft meer van hetzelfde.
De basis vraag bij iedere beoordeling dient te zijn: wat levert het op? Daar moet je verstandige mensen een antwoord op laten geven. Verstandige mensen zijn niet de wetenschappers onderling of andere concurrenten. Zij hebben een dubbele agenda: Het levert voldoende op als het ver genoeg van hun eigen hobby ligt (geld voor wetenschap/ontwikkeling moet blijven) en niets op als het er dicht bij ligt (dit geld is beter aan mij besteed). Verstandige mensen zijn zij, die de wetenschap kennen, maar niet (meer) beoefenen, zij, die onderwerp van studie zijn (er uiteindelijk beter of slechter van worden), en zij, die in de praktijk strak met de resultaten moeten werken. Laat onderzoekers deze 3 partijen eens proberen uit te leggen wat hun project voor ieder van die partijen oplevert nu echt oplevert. Twee van de drie zullen het dan vaak niet zien zitten.
