EVALUATIECOMMISSIE NATIONALE RAAD VOOR LANDBOUWKUNDIG ONDERZOEK

Secretariaat: B.J. Blaauboer (VSNU-bureau) Postbus 19270 3501 DG Utrecht tel 030-2363842/825 ; fax 030- 2333540 e-mail: blaauboer@vsnu.nl

Rapport van de Evaluatiecommissie

Inhoud:

1. Inleiding
2. Evaluatie van de taak en de werkwijzen
3. Evaluatie van de producten
4. Evaluatie van de impact
5. Visie op de toekomst
6. Conclusie

   Bijlagen:
   1. Samenstelling van de commissie
   2. Curriculum vitae van leden van de commissie
   3. Opdracht van de evaluatiecommissie NRLO
   4. Effectmeting onder gebruikers
   

1. Inleiding

In 1994 werd door de Minister van Landbouw, Natuurbeheer en Visserij via de Regeling Nationale Raad voor Landbouwkundig Onderzoek een nieuw kader gesteld voor de werkzaamheden van de NRLO. Vanaf dat moment was de NRLO een Sectorraad-Nieuwe Stijl met een welomschreven taak die nader toegelicht werd in een Convenant NRLO, afgesloten tussen de voorzitter van de Raad en de Bestuursraad LNV. De Raad startte de werkzaamheden per 1 januari 1995.

In het convenant was voorzien in een evaluatie van de werkzaamheden van deze Sectorraad na 4 jaar. Een onafhankelijke commissie zal dan de werkwijze, de realisatie van het werkprogramma en de overige resultaten van het werk van de raad beoordelen.

De Evaluatiecommissie NRLO werd in de zomer van 1998 ingesteld door dr H.J.M. van Zon, Directeur-generaal-LNV. Drs J.G.F. Veldhuis (voorzitter College van Bestuur, Universiteit Utrecht) werd verzocht het voorzitterschap op zich te nemen. Overige leden werden: prof dr ir J.L.A. Jansen (directeur Duurzame Technologie, VROM), prof dr J. de Jong (directeur Kennis, Rijkswaterstaat) en prof ir J. Witteveen (oud-directeur TNO Bouw). De VSNU leverde een secretaris (dr B.J. Blaauboer). De taakomschrijving van de commissie en korte c.v.'s van de leden zijn opgenomen in de bijlagen. Het was uitdrukkelijk de bedoeling van alle betrokkenen dat de commissie een kort rapport uitbrengt.

De commissie had de beschikking over het Rapport Zelfevaluatie, opgesteld door de Raad (rapport 98/25). Bovendien kon de commissie beschikken over alle rapporten en verslagen van de Raad. Daarnaast heeft LNV aan het onafhankelijk onderzoekbureau MMG-Environment de opdracht gegeven om een meting te verrichten van de impact van de werkzaamheden van de NRLO. De resultaten hiervan zijn neergelegd in een rapport, waarvan de conclusies als bijlage zijn opgenomen in dit evaluatierapport. Ir O. de Kuijer van dit bureau heeft tweemaal in een commissievergadering een toelichting op deze meting verstrekt.

De commissie heeft 6 maal vergaderd. Tijdens deze vergaderingen besprak de commissie de zelfevaluatie van de Raad en werden de producten geëvalueerd. Tevens werd gesproken met dr H.J.M. van Zon, Directeur-generaal-LNV, met de voorzitter van de Raad, prof dr A. Rörsch en met de directeur, dr ir A.P Verkaik en bureaumedewerker ir N.A. Dijkveld Stol. Bovendien werd gesproken met mw prof dr L. van Vloten-Doting (dir. DKW van LNV) en prof dr ir R. Rabbinge (LUW en tevens lid van het DB van de Raad).

2. Evaluatie van de taak en de werkwijzen van de NRLO

In het Convenant NRLO is een nadere taakomschrijving vastgelegd en op basis hiervan heeft de Raad een werkprogramma opgesteld. De taak was: "het doen van een samenhangend pakket van verkenningen die dienen ter ondersteuning bij het uitzetten van de strategie voor het landbouwkundig onderzoek".

In het werkprogramma worden een viertal kernpunten genoemd.
Deze waren:
1. De keuze voor 5 thema's:
    1) Maatschappelijke en culturele positie van landbouw en natuur in de 21e eeuw
    2) Plattelandsontwikkeling
    3) Afzet-, verwerkings- en productiesystemen in de 21e eeuw
    4) Vis en visserij in de 21e eeuw
    5) Organisatie van innovatie
2. De gerichtheid op verschillend doelgroepen
3. De methodische aanpak
4. Duurzaamheid als leidmotief

In het Convenant was sprake van het doen van verkenningen. Hierbij werd een beschouwingtermijn tot ongeveer het jaar 2010 vastgesteld. De evaluatiecommissie meent dat het stellen van deze grens uiteraard consequenties heeft voor het opstellen van verkenningen en dat het werk van de Raad mede in de context van deze keuze moet worden bezien.

De commissie stelt met genoegen vast dat de Raad in de gekozen werkwijze de taak meeromvattend heeft geïnterpreteerd. Via het opstellen van startnotities en achtergrondstudies (in de vorm van essays en verkennende onderzoekrapporten) en het organiseren van workshops en conferenties kwamen zgn. integratierapporten en een aantal policy rapporten tot stand. Hierbij is samengewerkt met vele belanghebbende groepen (stakeholders) en met andere sectorraden en organisaties, waarbij vruchtbaar gebruik is gemaakt van het ontwikkelde netwerk binnen en buiten de landbouwsector.

De commissie heeft met grote belangstelling kennisgenomen van de door de Raad gevolgde werkwijze. Het heeft geleid tot een groot aantal essays, workshopverslagen en rapporten. De gekozen werkwijze heeft in ieder geval geleid tot het openbreken van het traditionele landbouwcircuit en het in kaart brengen van de belangen(-tegenstellingen). In deze zin is het werk verder gegaan dan het opstellen van alleen verkenningen. De Raad heeft zich gerealiseerd dat dergelijke verkenningen niet werken zonder zich van de belangen rekenschap te geven. Er komt een beeld naar voren van een bewust gekozen systematische werkwijze van de Raad, sterk gericht op innovatie van het onderzoek en van de processen binnen de sector. Deze werkwijze heeft geleid tot een nadere oriëntatie op kennisvraag en -aanbod. Als resultaat van de werkwijze is een vruchtbare interactie ontstaan met onderzoeksinstellingen, andere toekomstverkennende organisaties, het bedrijfsleven en betrokken maatschappelijke organisaties. Deze bewust gekozen open opstelling, met een grote inbreng van "stakeholders" in het werk van de Raad, resulteert enerzijds in een completere, meer geïntegreerde toekomstvisie, anderzijds gaat deze gepaard met onzekerheden die beleidsmatig niet altijd gemakkelijk gehanteerd kunnen worden.

Ook de relaties met het beleid op het door de Raad bestreken terrein zijn gecompliceerd. Enerzijds is het ministerie als opdrachtgever betrokken geweest bij de formulering van de

taak en het scheppen van de randvoorwaarden (financieel en materieel) voor de werkzaamheden van de Raad. Anderzijds zal het beleid ook als afnemer van de producten van de Raad een rol spelen bij de implementatie van de resultaten. De commissie stelt vast, dat het ministerie aan de in de instellingsregeling en het convenant gestelde verplichtingen goed heeft voldaan door voldoende middelen voor de Raad ter beschikking te stellen.

De door de Raad gevolgde werkwijze heeft geresulteerd in een groot aantal noties en inzichten die beleidsconsequenties zullen of kunnen hebben. Het is de commissie niet voldoende duidelijk geworden in welke mate het beleid ook daadwerkelijk deze inzichten heeft verwerkt.

De commissie waardeert de wijze waarop de Raad op originele wijze heeft bijgedragen aan de theorievorming op het gebied van verkenningen en toekomstscenario's. De consistentie van de producten is terug te voeren op het consequent hanteren van het model van interactie tussen de scheppingsdomeinen (kennisgeneratie, technologie- en kundeontwikkeling en innovatie).

3. Evaluatie van de producten van de NRLO

De commissie is onder de indruk van de veelheid en verscheidenheid van de rapporten en verslagen. Een punt van kritiek is de onoverzichtelijkheid in de presentatie. De vormgeving van de rapporten laat niet toe dat een product onmiddellijk te plaatsen is in het gehele proces. Essays, verslagen, programmeringstudies en (integratie)rapporten hebben alle hun eigen functie en dit zou in de vormgeving tot uiting moeten komen. Een overzicht van de activiteiten is wel goed weergegeven in de jaarverslagen van de Raad.

Bij de uitvoering van het werkprogramma is een groot aantal parallelle activiteiten uitgevoerd. Per thema is met behulp van de voor die deelsectoren belangrijke betrokkenen consequent gewerkt aan de ontwikkeling van een toekomstvisie. De Raad heeft echter gedurende de werkperiode niet star vastgehouden aan eenmaal gekozen uitgangspunten; per thema is leerervaring merkbaar. Vooral de integratierapporten geven binnen de thema's een goed beeld van de productie van de Raad.

De commissie is van mening dat de Raad het werkprogramma adequaat heeft uitgevoerd. Alle in het werkprogramma genoemde thema's zijn behandeld en hebben geleid tot integratierapporten en/of policy rapporten, waarin nieuwe kennisvragen worden geformuleerd, innovatie wordt voorgesteld, inzichten worden aangedragen die ook beleidsmatig relevant zijn, en aanzetten voor aanpassing van de organisatie van het onderzoek worden gegeven. De raad heeft zich verzekerd van een netwerk van betrokkenen waarbinnen de producten grote bekendheid is gegeven. De thema's in het werkprogramma leenden zich goed voor het opstellen van een toekomstvisie.

De grote problemen van de agrarische sector zijn goed in beeld gebracht. De commissie constateert wel een grotere aandacht voor de landbouwproductie dan voor de groene ruimte. Er is veel en consistent werk gedaan aan de intensieve veeteelt (incl. de diergezondheidsaspecten) en aan de milieueffecten van de intensieve landbouw in het algemeen. In de beperking die de Raad zich gesteld heeft ten aanzien van de te beschouwen termijn (tot ca. 2010-15) worden pragmatische en werkzame aanpakken aangedragen.

De commissie meent dat de Raad in het algemeen wel is toegekomen aan het in kaart brengen van de belangen, maar dat niet direct oplossingen geboden worden voor problemen "die echt pijn doen" in de sector: de Raad gaat te voorzichtig om met bijv. zaken als overproductie en protectie (prijsgaranties, quotaregelingen, exportsubsidies, e.d.). Dit hangt wellicht samen met de gekozen werkwijze: nadrukkelijk in samenspraak met de "stakeholders". Dit heeft dan geleid tot meer aandacht voor de kwaliteit van de productie en niet in alle thema's tot een analyse van de kwantitatieve aspecten en de achterliggende problemen.

Door de veelheid, (ook vrij veel van hetzelfde) is echter niet goed te overzien wat de samenhang in het werk is. Door de vele parallelle activiteiten en de sectorgewijze benadering is niet een totaalbeeld ontstaan van een samenhangende visie op de toekomst van het onderzoek in de gehele landbouwsector. Dit wordt ook weerspiegeld in de geringe overlap in de deelname aan workshops. Een analyse van deze deelname leert dat veel workshops een specifiek publiek trekken, kennelijk geïnteresseerd in de daar behandelde deelproblemen.

Voorts vindt de commissie dat het doen van een samenhangend pakket van verkenningen zich wat te sterk beperkt tot de landbouwsector in Nederland. Het was beter geweest als juist aan de plaats van het landbouwkundig onderzoek in het gehele Nederlandse kennisbeleid, en ook aan de plaats in een Europese (internationale) context meer aandacht was besteed.

4. Evaluatie van de impact

De resultaten van de studie naar de impact (zie de conclusies van deze studie in bijlage) zowel als de gesprekken met betrokkenen leveren een beeld op van een zeer productieve periode van de Raad. De werkwijze van de Raad heeft, meer dan bij de oude NRLO, geresulteerd in een duidelijke beweging in het veld, gericht op innovatie van de sector. Dit geldt niet alleen voor het onderzoek in het Wageningse (LUW plus DLO), maar heeft ook de positie van andere betrokkenen, inclusief delen van het agrarische bedrijfsleven, veranderd. Het werk van de Raad is in meerderheid ervaren als zeer stimulerend bij het opstellen van een nieuwe gemeenschappelijke visie met anderen. Vooral bij het opzetten van een langtermijn strategie vond men de producten van de Raad van groot nut.

De waardering voor het werk van de Raad was het grootst in de hoek van de onderzoeksinstellingen, die de resultaten van de Raad ook gebruiken als input voor de onderzoeksagenda. De waardering was minder onder de geïnterviewden uit het practisch/technisch georiënteerde deel van de sector, met name in de hoek van de visserij en de veehouderij.

De commissie constateert dat de implementatie van de adviezen niet expliciet tot het taakveld van de Raad behoorde. Veel geïnterviewden verwachtten dit echter wel van de Raad. De Raad geeft zelf ook aan dat met dit probleem is geworsteld.

Een ander probleem is de afstemming van de activiteiten met het beleid en de uitvoering. Er lijkt soms geen goede afstemming te zijn tussen enerzijds de Raad ("verkenning, beleidsadvisering") en het ministerie ("beleidsvaststelling en -uitvoering"). Uiteraard hebben beide instanties hun eigen taak en verantwoordelijkheid. Voor de buitenwereld lijkt soms de taak van de Raad "nog eens dunnetjes te worden overgedaan" door het ministerie.

5. Visie op de toekomst van de NRLO

In de opdracht van de evaluatiecommissie was aanvankelijk niet begrepen dat ook een uitspraak zou worden gedaan over de toekomst van de Raad. Bij de installatie van de commissie door de heer Van Zon (voormalig Directeur-generaal LNV) werd echter duidelijk dat opmerkingen hierover welkom waren. De commissie heeft ermee ingestemd ook hieraan aandacht te besteden.

De commissie meent dat ook in de toekomst zeker plaats is voor een sectorraad als de NRLO. Een dergelijk orgaan vervult een belangrijke rol in het voortgaande proces van innovatie van onderwijs, opleiding en onderzoek in de sector. Een gezaghebbende, onafhankelijke instantie, die alle betrokkenen (beleid, onderzoeksinstellingen, belangengroeperingen) kritisch kan blijven bestoken met analyses die leiden tot innovatie van de gehele landbouwsector, is permanent nodig. Voortbouwend op het vele nuttige werk van de huidige Raad zou het, met het oog op de gewenste samenhang met het algemene Nederlandse kennisbeleid, nuttig zijn om de samenstelling van een Raad en ook de opdracht nog eens goed tegen het licht te houden.

De commissie beveelt aan om een slagvaardige, kwalitatief hoogwaardige Raad een nieuwe periode te laten ingaan. Indien zo'n Raad ondersteund wordt door een goed bureau met een adequaat budget, dan kan de omvang van de nieuwe Raad kleiner zijn. Om de onafhankelijkheid te waarborgen zou de afstand tot de overheid tot uitdrukking moeten komen door het hebben van waarnemers in de Raad, geen vertegenwoordigers. Ook moeten enkele leden gezocht worden buiten de landbouwsector.

Het proces van het opstellen van verkenningen is geen continu proces en zal pas over een aantal jaren herhaling behoeven. Toch zijn er een aantal aspecten van het huidige werk die nog nadere uitwerking vergen. Als onderwerpen voor studie in een Raad nieuwe stijl noemt de commissie diverse onderwerpen die al aandacht hebben gekregen, maar waarop "nog stevig doorgezet zal moeten worden":

• de intensieve veehouderij (m.n. de diervriendelijkheid);
• de milieueffecten van de intensieve landbouw;
• de protectie van groepen producenten, in samenhang met overproductie;
• het gebruik van de groene ruimte.

In de taak zou zeker ook opgenomen moeten worden:

• de afstemming van het onderzoek in de landbouwsector met het Nederlandse en Europese kennisbeleid;
• het positioneren van de landbouw in Nederland in een Europese context, mede gezien de op handen zijnde uitbreiding van de EU;
• de inbedding van de resultaten in een consistent landbouwinnovatiebeleid;
• non-food productie in de landbouw;
• het onderhouden en uitbreiden van het opgebouwde netwerk van "stakeholders";
• onderzoek naar de functies van de landbouw(sectoren) en van de groene ruimte op de langere termijn;
• signaleren van belangrijke technologische doorbraken met invloed op de sector.

6. Conclusie

De evaluatiecommissie heeft grote waardering voor het vele werk van de NRLO. Het werkprogramma is uitgevoerd en heeft geleid tot vernieuwingen in het landbouwkundig onderzoek. Hierbij zijn theoretische kaders opgesteld, is goed samengewerkt met andere toekomstverkennende instanties, is consequent een stramien van werkwijzen gehanteerd en zijn vele nuttige producten gemaakt. Er is een uitgebreid netwerk van deskundigen en "stakeholders" opgebouwd.

Er blijft ook in de toekomst behoefte aan voortzetting van dit type werk. Enkele aspecten voor de toekomst heeft de commissie hiervoor reeds beschreven. De commissie beveelt aan om de samenstelling van de Raad en ook de taak zodanig te formuleren dat een gezaghebbende, slagvaardige Raad ook voor de komende periode kan optreden als een organisatie die de innovatie in de sector verder kan aanscherpen en verdiepen.

Bijlage 1. Samenstelling van de commissie

Voorzitter:
Drs J.G.F. Veldhuis (voorzitter College van Bestuur, Universiteit Utrecht).

Leden:
Prof dr ir J.L.A. Jansen (directeur Duurzame Technologie, VROM),
Prof dr J de Jong (directeur Kennis, Rijkswaterstaat),
Prof ir J. Witteveen (oud-directeur TNO Bouw).

Secretaris:
Dr B.J. Blaauboer (programmacoördinator onderzoekbeoordelingen VSNU)

Bijlage 2. Curriculum vitae van leden van de commissie

J.G.F. Veldhuis (1938) studeerde geschiedenis te Utrecht en Minnesota (VS). Na werkzaam te zijn geweest bij het Ministerie van Buitenlandse Zaken, de Rijksuniversiteit Leiden (o.a. als Secretaris van het College van Bestuur), kwam hij in 1974 bij het Ministerie van Onderwijs en Wetenschappen, eerst als plv. Secretaris-generaal, later als Directeur-generaal Diensten Onderwijs en Inspectie en Inspecteur-generaal van het Onderwijs. Sinds 1986 is hij voorzitter van het College van Bestuur van de Universiteit Utrecht. Daarnaast had en heeft hij vele bestuurlijke functies in nationale en internationale organen, voornamelijk in de sectoren onderwijs, onderzoek, cultuur en de gezondheidszorg. Hem werd door de Universiteit van Florida (VS) een eredoctoraat verleend. Hij is Chevalier dans la Légion d'Honneur de la République Française en Officier in de Orde van Oranje Nassau.

J.L.A. Jansen (1934) studeerde scheikunde in Delft, waar hij in 1967 promoveerde. Van 1960 tot 1973 werkte hij als onderzoeker bij Research and Development van AKZO en als hoofd management informatie bij ENKA Glanzstoff, destijds een werkmaatschappij van AKZO. In de periode 1973-81 was hij lid van de Tweede Kamer der Staten Generaal en daarna lid (vice voorzitter) van de Brede Maatschappelijke Discussie Energiebeleid. Vanaf 1984 werkt hij bij het Ministerie van Volksgezondheid, Ruimtelijke Ordening en Milieu, resp. als Inspecteur Volksgezondheid en Milieu, Directeur Afvalstoffenbeleid en Directeur Duurzame Technologie. In 1990 werd hij aan de TUDelft benoemd werd tot hoogleraar Milieutechniek en in 1996 tot voorzitter van de commissie Duurzame Ontwikkeling aldaar. Sinds 1992 is hij voorzitter van de Stichting WEMOS, Gezondheid voor allen in Noord en Zuid. Hij is Officier in de Orde van Oranje Nassau

J. de Jong (1943) studeerde scheikunde in Utrecht, waarna hij van 1966-72 wetenschappelijk medewerker was aan de TUDelft (chemische technologie), waar hij in 1970 promoveerde. Van 1972-85 was hij in dienst van de Rijksdienst voor de IJsselmeerpolders, o.a. als Hoofd sectie Waterkwaliteit Hoofd Wetenschappelijke afdeling. Daarna werkte hij bij het Rijksinstituut voor Integraal Zoetwaterbeheer en Afvalwaterbehandeling van Rijkswaterstaat (RIZA), resp. als Hoofd Hoofdafdeling Algemeen Onderzoek en Hoofdingenieur-directeur. Sinds 1997 is hij Directeur Kennis van de Hoofddirectie van Rijkswaterstaat. Hij werd in 1993 benoemd tot hoogleraar Integraal Waterbeheer aan de TUDelft.

J. Witteveen (1933) studeerde Weg- en Waterbouwkunde aan de HTS in Leeuwarden en vervolgens Civiele Techniek te Delft. Na werkzaamheden bij een ingenieursbureau trad hij in dienst van TNO-Bouw, o.a. als Hoofd afd. Staalconstructies. Na in 1971 tot onderdirecteur benoemd te zijn volgde in 1983 de aanstelling als Hoofddirecteur. Vanaf 1985 was hij tevens hoogleraar toegepaste mechanica aan de TUDelft en vanaf 1994 tot zijn pensionering in 1997 Wetenschappelijk Directeur van de Onderzoekschool Bouw. Prof Witteveen vervulde en vervult nog een groot aantal functies als bestuurder en adviseur in de sectoren bouw en technische wetenschappen. Hij ontving in 1985 de Medaille van de European Convention for Constructional Steelwork. Hij is Honorary Member van de Conseil International du Bâtiment en Officier in de Orde van Oranje Nassau.

B.J. Blaauboer studeerde biologie te Utrecht, waar hij ook als wetenschappelijk medewerker in de toxicologie werkzaam was bij de Faculteit Diergeneeskunde en waar hij promoveerde in 1978. Na een post-doc jaar in Engeland werkte hij bij het Research Instituut Toxicologie in Utrecht, als Universitair Hoofddocent Toxicologie, voornamelijk op het terrein van de toepassing van celcultures als alternatief voor dierproeven. Op dit terrein gaf hij leiding aan een tiental promotiestudies en vervult hij in nationaal en internationaal verband een aantal bestuurs- en adviesfuncties. Sinds 1997 is hij tijdelijk werkzaam bij de Vereniging van Universiteiten (VSNU), o.a. als programmacoördinator voor de onderzoekbeoordelingen.

Bijlage 3. Opdracht van de evaluatiecommissie NRLO

"In het tussen NRLO en Bestuursraad destijds overeengekomen convenant is onder meer vastgelegd dat in september 1998 de werkzaamheden van de Raad zullen worden geëvalueerd. Het rapport zal opgemaakt worden door een onafhankelijke visitatiecommissie. De opdracht aan deze commissie is, zich een oordeel te vormen over de wijze waarop uitvoering is gegeven aan het tussen Bestuursraad en NRLO overeengekomen werkprogramma voor de periode 1995-1997. Centrale vraag is of de destijds beoogde resultaten zijn bereikt en of de Raad daarbij op de meest doelmatige en doeltreffende wijze te werk is gegaan. Meer concreet gaat het dan om antwoorden op de volgende vragen:
1. de eerste vraag is of de in 1995 overeengekomen werkzaamheden door de NRLO daadwerkelijk gerealiseerd zijn binnen het overeengekomen budget en personeelsformatie;
2. belangrijkste oogmerk van convenant en werkprogramma was het bewerkstelligen van vernieuwing van het "landbouwkundig" onderzoek. Dit langs de weg van een breed gedragen proces van toekomstverkenningen. Vraag is dus wat de impact van de NRLO is geweest op de toekomstgerichtheid van onderzoekers en beleidsmakers. De toegevoegde waarde van de NRLO, de kwaliteit van de producten van de Raad en de interactie met gebruikers zijn hier de kernbegrippen voor de evaluatie;
3. in aanvulling op het voorgaande is voorts relevant in hoeverre de NRLO er in geslaagd is andere toekomstverkennende organisaties te betrekken bij het uitvoering geven aan het overeengekomen werkprogramma. Belangrijkste vraag is of de NRLO synergetisch heeft samengewerkt met organisaties als de WRR, OCV, AWT, RMNO, LNV/BSB, de afdelingen van DWK, IKC's, LEI-DLO, TNO-STB, etc.;
4. een verdere vraag is of de NRLO zorg heeft gedragen voor de ontwikkeling van geschikte werkmethodes en technieken, alsmede voor de opbouw van relevante expertise voor het doen van toekomstverkenningen;
5. ook is relevant in hoeverre LNV - in het bijzonder Bestuursraad en DWK - actief hebben bevorderd dat de NRLO de toebedachte rol kon vervullen;
6. aansluitend bij het voorgaande punt is tot slot relevant in hoeverre LNV - en het bijzonder Bestuursraad en DWK - de in het kader van het convenant overeengekomen verplichtingen zijn nagekomen, teneinde een adequate uitwerking door de NRLO mogelijk te maken.

Ter zake met name de punten 1 en 3 kan naast het convenant en het werkprogramma ook de notitie "Functie en rol van NRLO en Inspectie in het kennisbeleid" de visitatiecommissie als houvast dienen. Het betreft hier een notitie van de directie Wetenschap en Kennisoverdracht over de positie en rol van de NRLO (en Inspectie) in het kennisbeleid.

De visitatiecommissie zal zich niet uitspreken over een eventuele verlenging van het mandaat van de NRLO noch over de modaliteiten daarvan. In het convenant tussen NRLO en Bestuursraad is vastgelegd dat van NRLO-zijde een gedocumenteerd voorstel wordt gedaan voor eventuele voortzetting van de activiteiten, op basis waarvan LNV, in overleg met bij de NRLO betrokkenen, zal beslissen over al dan niet continuering van de NRLO".

Noot van de evaluatiecommissie: Bij de installatie is de wens uitgesproken om af te wijken van het in de laatste alinea van de opdracht gestelde. Zoals uit het rapport blijkt heeft de commissie ingestemd met de verandering in de opdracht.

Bijlage 4. Effectmeting onder gebruikers

Het volledige rapport (in pdf-format) is alleen op deze site beschikbaar. Klik hier om het rapport te downloaden (140 Kb). Om PDF-documenten te bekijken dient u Adobe Acrobat Reader op uw systeem geïnstalleerd te hebben. Dit hulpprogramma is vrij te verkrijgen op website adres:

9. Conclusies

De NRLO kent een zeer brede doelgroep. De door de NRLO onderscheiden doelgroepen bestaan uit mensen en organisaties uit bedrijfsleven, onderzoek, overheid en maatschappelijke organisaties. Verder bestaan er binnen de doelgroepen grote verschillen in:

• het belang van deelname aan de activiteiten van de NRLO (de bruikbaarheid van de te verwachten producten);
• het opleidingsniveau en de verantwoordelijkheden in de eigen organisatie;
• de wijze en mate van betrokkenheid.

Deze grote onderlinge verschillen maken het optreden van eenduidige effecten minder waarschijnlijk. Indien de NRLO aan deze brede range van belangen tegemoet wil (blijven) komen zijn eenduidige effecten ook niet wenselijk.

In de paragraven 9.1 en 9.2 is alleen een onderscheid naar de verschillende doelgroepen gemaakt indien er markante verschillen in effecten zijn waargenomen. Daar waar geen onderscheid is gemaakt geldt de conclusie in grote lijnen voor alle doelgroepen. Paragraaf 9.3 gaat in op (het verschil in) de conclusies per doelgroep.

9.1 Tevredenheid

De conclusies ten aanzien van de tevredenheid van de doelgroepen over het werkprogramma van de NRLO laten zich als volgt samenvatten:

• De respondenten vertonen een grote bereidheid om aan het onderzoek mee te werken (85%). Dit is een indicatie dat de geïnterviewden zich betrokken voelen en een belang hebben bij het werk van de NRLO.
• De respondenten zijn (zeer) positief over de werkwijze van de NRLO om zijn doelstellingen te bereiken. Meer dan 90% vindt de werkwijze geschikt tot zeer geschikt. Mede in het verlengde hiervan is de conclusie gerechtvaardigd dat de meeste respondenten tevreden zijn over de werkwijze van de Raad.
• De belangrijkste redenen waarom de respondenten de werkwijze geschikt vinden is dat alle belanghebbenden kunnen participeren (poldermodel), dat er gebruik wordt gemaakt van een adequate interactieve en iteratieve procesvoering en dat de workshops een bijdrage leveren aan het stimuleren van een maatschappelijke discussie.
• De meeste respondenten zijn tevreden over de producten van de Raad. De respondenten vinden in overgrote meerderheid (85%) de adviezen en voorstellen van de Raad van belang voor de eigen organisatie. Daarnaast zien de respondenten duidelijk meer sterke dan zwakke kanten van de producten. Daarbij moet worden aangetekend dat door de respondenten meermalen is opgemerkt dat ze de kwaliteit van de producten sterk vinden wisselen.
• De mening over het voortzetten van de NRLO lijkt een goede graadmeter voor de tevredenheid door de respondenten over het werk van de Raad. Bijna 70% van de respondenten vindt dat (een organisatie zoals) de NRLO moet blijven voortbestaan.
• De respondenten vinden voortzetting van de NRLO nuttig omdat enerzijds de realisatie van de uitgebrachte adviezen vanuit de Raad nog nadere ondersteuning behoeft. Anderzijds verdienen de door de Raad in gang gezette of gestimuleerde processen en gevormde netwerken een krachtige ondersteuning. Ook daarin kan de Raad een belangrijke rol vervullen.
• Daarnaast blijft er volgens de geïnterviewden behoefte aan het kritisch volgen van de huidige ontwikkelingen (reflectie), het uitwisseling van opvattingen en ervaringen en de vorming van nieuwe gedeelde visies en netwerken. Dat betekent dat er blijvend behoefte is aan een organisatie die tot doel heeft om doelgroepen bij elkaar te brengen, het (deels) gezamenlijk uitzetten van de lijnen voor het landbouwkundig onderzoek en het stimuleren van onderlinge discussies daarover in workshops.
• Bijna 20%, vooral uit de doelgroepen overheid en bedrijfsleven, twijfelt aan het nut van het voortzetten van de NRLO. Er is al zoveel overhoop gehaald dat een pas op de plaats verstandig is. Ruim 10% van de geïnterviewden, allen uit de doelgroep onderzoek, wil de NRLO niet continueren (zie verder paragraaf 9.3).

9.2 Effecten verkenningen

De conclusies ten aanzien van de effecten op de doelgroepen van het uitvoeren van het werkprogramma 1995 - 1998 van de Raad luiden:

• Bijna 95% van de respondenten is van mening dat de producten van de Raad bruikbaar zijn voor de eigen organisatie. Dit belang is voor de verschillende geïnterviewden zeer verschillend.
• Ruim 65% van de respondenten vindt dat de inhoud van de rapporten de lange termijn opvattingen over ontwikkelingen (op deelgebieden) in de landbouwsector heeft beïnvloed. Dat geldt zowel voor de respondent als voor de organisatie die de geïnterviewden vertegenwoordigen. Vooral de bevestiging en het verder aanscherpen van de eigen visie, het gedwongen nadenken over de vragen die er echt toe doen, het aanpassen van de onderzoekprogrammering en geconfronteerd worden met eye-openers noemen de respondenten veelvuldig als effect van de rapporten.
• Voor de vertegenwoordigers van de maatschappelijke organisaties ligt dit anders. Zij geven aan dat hun opvattingen niet of nauwelijks zijn gewijzigd door de rapporten van de NRLO. Dit geldt in mindere mate ook voor de doelgroep bedrijfsleven. Voor deze doelgroepen hebben de producten van de Raad dus maar een beperkte invloed gehad (zie verder paragraaf 9.3).
• De overgrote meerderheid van de respondenten (85%) hecht duidelijk belang aan de door de Raad uitgebrachte adviezen voor de eigen organisatie. Dit belang ligt met name in een bevestiging van eigen inzichten, werkwijze en activiteiten, het gebruik van de aanbevelingen voor de onderzoekprogrammering en als denkkader of referentie voor eigen beleid. Dit geldt ook voor de doelgroepen maatschappelijke organisaties en bedrijfsleven.
• Bijna alle respondenten zijn van mening dat deelname aan de door de NRLO georganiseerde bijeenkomsten leidt tot belangrijke effecten op het denken over:
  • A) de maatschappelijke positie van de landbouw (inclusief de agribusiness);
  • B) de rollen en verhoudingen tussen de veelheid aan belanghebbende partijen;
  • C) en de inhoud en positie van het landbouwkundig onderzoek in dit veld.
• Van de respondenten vindt 70% dat deelname aan een of meerdere bijeenkomsten tot een eerste aanzet of tot een duidelijke nieuwe gemeenschappelijke visie met anderen heeft geleid. Een zelfde percentage van de geraadpleegde personen geeft aan door deelname aan de workshops het eigen contactennetwerk te hebben uitgebreid. Vooral buiten de eigen sector, soms leidend tot een nieuw netwerk.
• Bijna 85% van de respondenten vindt dat de NRLO hen ondersteund bij het uitzetten van een langere termijn strategie voor het eigen werk of de eigen organisatie. Drie zaken springen er daarbij uit. Ten eerste het stimuleren van een vernieuwingsproces. Een groot aantal respondenten geeft aan dat de verkenningen voor een deel inzicht geven in wat echt van belang is, welke richting voor onderzoek en beleid relevant zijn en tot welke (te vormen) coalities dat leidt.
• Ten tweede ondersteunen de verkenningen de onderlinge dialoog tussen partijen. Het uitwisselen van ideeën en opvattingen leidt bij veel respondenten tot enerzijds nieuwe inzichten en anderzijds de toetsing en afstemming daarvan met de eigen opvattingen.
• Tenslotte ondersteunen de verkenningen een grote groep geïnterviewden bij opstellen van eigen (onderzoek)plannen en nota's. De verkenningen helpen bij de organisatie (of herstructurering) van het onderzoek en de formulering van de inhoud van programma's. De mate van detail loopt daarbij uiteen van het bepalen van de maatschappelijke relevantie van het onderzoek tot het niveau van formulering van concrete onderzoekvragen (zie ook paragraaf 9.3).
• Van de geïnterviewden zegt 75% tijdens de bijeenkomsten (enkele) nieuwe inzichten te hebben opgedaan. Ook spontaan noemen enkele respondenten dat de verkenningen leiden tot nieuwe inzichten en reflectie op de bestaande.
• Het totale proces van verkenningen heeft betrekking op de producten en de door de NRLO georganiseerde bijeenkomsten. Bijna 70% van de geïnterviewden is van mening dat de verkenningen hebben bijgedragen aan:
  • het vergroten van inzicht in belangrijke maatschappelijke trends, trendbreuken en onzekerheden;
  • het onder woorden brengen van toekomstige uitdagingen voor het landbouwkennissysteem;
  • analyse van kansen en bedreigingen voor de sector van de respondent;
  • het structureren van problemen die voor de organisatie van de geraadpleegde van belang zijn;
  • het bieden van bruikbare informatie voor toekomstige dilemma's;
  • het bieden van aanknopingspunten voor toekomstig onderzoek van de eigen organisatie.
• Aan een aantal andere onderwerpen hebben de verkenningen voor een kleiner percentage van de ondervraagden bijgedragen, namelijk voor ongeveer 60%. Het gaat om de onderwerpen:
  • een analyse van sterktes en zwaktes van het landbouw, visteelt en/of plattelandskennissysteem;
  • het bieden van relevante strategieën en potentiële acties voor de eigen organisatie.
• Bijna 85% van de geraadpleegde personen vindt dat het werk van de Raad hen ondersteunt bij het uitzetten van een lange termijn strategie voor het eigen werk of de eigen organisatie. Het gaat dan bijvoorbeeld om het verduidelijken van opvattingen en het zien van de samenhang tussen bestaande en toekomstige dilemma's, uitdagingen en kansen.
• Bijna 30% van de respondenten geeft aan dat de NRLO verkenningen van zeer grote invloed zijn geweest op het vormen van een lange termijn strategie.

9.3 Conclusies per doelgroep

Uit de paragraven 9.1 en 9.2 blijkt dat de respondenten de adviezen en de werkwijze van de NRLO waarderen en groot aantal belangrijke effecten toeschrijven aan het deelnemen aan de verkenningen. Voor een flink aantal respondenten is het nog onduidelijk of de uitgebrachte adviezen door de betrokkenen ook daadwerkelijk worden opgepakt. Naast deze algemene conclusie zijn er ook verschillen in de effecten van de verkenningen per doelgroep. De conclusies zijn hieronder voor de doelgroepen onderzoek, overheid, bedrijfsleven en maatschappelijke organisaties afzonderlijk weergegeven.

Doelgroep onderzoek

• Van de doelgroep onderzoek zijn 16 respondenten geraadpleegd. Een groot deel van de onderzoekers geeft aan dat het werk van de NRLO van belang is voor de eigen onderzoekagenda. Dit belang ligt op verschillende niveau's. Het eerste niveau is dat van de organisatie van het onderzoek tussen verschillende kennisinstellingen. Als voorbeeld noemen de respondenten het programma geïntegreerd ruimtegebruik dat bij NWO wordt opgestart. Het tweede niveau omvat de onderzoekthema's. Hierbij noemen de geïnterviewden bijvoorbeeld de programma's "Stad-land" en "Multifunctionele landbouw" van DLO. Het derde niveau is de formulering van onderzoekvragen, bijvoorbeeld op het gebied van sensortechnologie.
• Een andere door meerdere respondenten genoemde rol van de NRLO is het adviseren over veranderingen in de organisatie van het landbouwkundig onderzoek. Enkele bijeenkomsten van de NRLO hebben de vorming van nieuwe ketens in de agribusiness en de groene ruimte gestimuleerd. Voorbeelden zijn de rol die de NRLO heeft gespeeld bij de oprichting van Wageningen UR en de gezamenlijke gedachten vorming over een internationaal topinstituut agribusiness.
• Bijna een kwart van de respondenten, met name uit de hoek van de dierhouderij en diergeneeskunde vindt dat de NRLO niet moet blijven voortbestaan. Het werk van de NRLO staat enerzijds te ver af van bestuurders. Anderzijds heeft de NRLO weinig toe te voegen aan wetenschappelijke en disciplinaire kennis. Deze groep is dus niet tevreden over het door de Raad uitgevoerde werkprogramma. De weerstand tegen de NRLO komt wellicht voort uit de niet gehonoreerde verwachting dat het werk van de NRLO leidt tot nieuwe wetenschappelijke of technische inzichten op het eigen vakgebied.

Doelgroep overheid

• De meningen van de 6 respondenten uit de doelgroep overheid lopen uiteen. Een positief beeld overheerst ook bij deze doelgroep. De adviezen ondersteunen vaak de eigen visie of gedachten en soms leiden de verkenningen tot waardevolle eye-openers bijvoorbeeld over de aansturing van onderzoek. Bovendien zijn de door de NRLO georganiseerde bijeenkomsten agendavormend.
• Toch vindt de helft van de respondenten uit deze doelgroep dat de adviezen van de NRLO te weinig toegevoegde waarde hebben. DWK of de grotere bedrijven en instituten verrichten deels hetzelfde werk als de NRLO. Enkele respondenten uit de overheidshoek vinden dat de NRLO zich vooral moet richten op het adviseren over het landbouwkundig onderzoek en niet op het ondersteunen van de doelgroepen bij het uitzetten van een langere termijn strategie. Een derde van de respondenten in deze groep twijfelt aan het nut van het voortbestaan van de NRLO.

Doelgroep bedrijfsleven

• De doelgroep bedrijfsleven waaruit 6 respondenten zijn geraadpleegd denkt genuanceerd over het werk van de NRLO. Tweederde van de respondenten waardeert de open gedachten wisseling met mensen uit andere sectoren. Dit leidt tot nieuwe inzichten bij betrokkenen, bijvoorbeeld het besef bij onderzoekers dat er meer vraaggericht moet worden gewerkt en het doorbreken van oude structuren. Bovendien ontstaan nieuwe netwerken bijvoorbeeld op het gebied van de groene ruimte.
• Opvallend is dat de respondenten uit de doelgroep bedrijfsleven de adviezen van de Raad vooral voor het onderzoek en minder voor de eigen organisatie bruikbaar vinden. Voor het bedrijfsleven hebben de adviezen van de NRLO dus slechts een beperkt effect. Daarnaast maken enkele respondenten nog een voorbehoud bij het algemene nut van de adviezen. Dit komt door de onzekerheid bij deze respondenten of de adviezen ook worden opgepakt.

Doelgroep maatschappelijke organisaties

• De respondenten zien het door de NRLO georganiseerde proces van verkenningen als een duidelijke ondersteuning van het eigen werk. De rapporten geven een goed overzicht van de stand van zaken op een bepaald terrein en dat vindt men bruikbaar als achtergrond informatie in debatten of ter voorbereiding van eigen activiteiten. Daarnaast dragen de door de NRLO georganiseerde bijeenkomsten bij aan een zoekproces door een brede groep van betrokkenen naar de maatschappelijke positie en rol van de landbouw en groene ruimte in Nederland en de rol van het landbouwkundig onderzoek daarbinnen.
• De drie vertegenwoordigers van de maatschappelijke organisaties geven tegelijkertijd aan dat hun opvattingen niet of nauwelijks zijn gewijzigd door de verkenningen van de NRLO. Twee respondenten geven aan weinig behoefte te hebben aan ondersteuning voor het uitzetten van een strategie voor de langere termijn of andere adviezen van de NRLO.

[NRLO Home]