De evolutie van “evidence-based policy”, van geneeskunde tot onderwijs: grondslagen, eerste resultaten, eerste spanningsvelden
In de Angelsaksische landen is “evidence-based policy”, empirisch onderbouwd beleid, al goed ingeburgerd. Andere landen volgen, vooral in Europa, elk in eigen tempo. Aanvankelijk beperkt tot het domein van de geneeskunde, wordt deze nieuwe beleidsopvatting nu toegepast op bredere terreinen van overheidsoptreden, met bijzondere aandacht voor het onderwijs. Volgens de voorstanders van deze aanpak is het de bedoeling om af te stappen van ideologie en eindelijk het pragmatisme te laten zegevieren door hervormingen te baseren op de resultaten van wetenschappelijk onderzoek, het instrument bij uitstek om beleidsmakers duidelijk te maken “wat werkt”. Hebben wij eindelijk het geheim van een doeltreffend overheidsbeleid ontdekt, of is dit slechts een technocratische fata morgana? Het lijkt nuttig de balans op te maken van deze aanpak in een tijd waarin “evidence” (bewijsmateriaal) steeds vaker wordt ingeroepen om onderwijsbeleid te legitimeren.
Evidence-based medicine op zoek naar de gouden standaard…
Zoals opgemerkt door Draelants en Revaz (2022, p. 57) “is het idee om beleid en praktijk te baseren op gedegen kennis net zo oud als de Verlichting” en “heeft men niet gewacht op de opkomst van evidence-based medicine”. Pas sinds de jaren 1990 nam de tendens stelselmatig toe, om beleidshervormingen te baseren op “wetenschappelijke bewijzen”. In het Verenigd Koninkrijk en de Verenigde Staten wensten de beleidsmakers voortaan de gegevens van evidence-based medicine, die in het vorige decennium waren ontstaan, om te zetten in gezondheidsbeleid en -praktijken (Baron, 2018; Draelants & Revaz, 2022).
Evidence-based medicine (EBM) ontstond uit de wens om de medische praktijk te baseren op de resultaten van kwantitatief onderzoek. Het beoogde doel is zorgverleners te helpen de “beste beslissingen” voor patiënten te nemen door hen de “best mogelijke wetenschappelijke informatie” te verschaffen, door de doeltreffendheid van verschillende concurrerende behandelingsmethoden voor een bepaalde aandoening te vergelijken. Om de efficiëntie van gezondheidsbeleid en -praktijken te meten, steunt de evidence-based medicine op een hiërarchie van bewijsmateriaal (Draelants & Revaz, 2022; Woolf, 1989). Onderaan de piramide staan de intuïtieve, situationele meningen en oordelen van gezondheidswerkers, die in deze nieuwe benadering als onbetrouwbaar worden beschouwd. Bovenaan staan kwalitatieve studies (beschrijvende studies, case studies, enz.), gevolgd door “onvolmaakte” (niet-gerandomiseerde, enz.) statistische studies. Gerandomiseerde gecontroleerde onderzoeken (RCT’s) [1] zijn de meest rigoureuze statistische studies en worden beschouwd als het meest betrouwbare bewijsmateriaal (de “gouden standaard”). De replicatie van zulke studies over eenzelfde interventie maakt het eventueel mogelijk meta-analyses uit te voeren: deze geven een overzicht van de stand van het onderzoek over dit specifieke onderwerp, waardoor de effectieve intensiteit van een interventie nauwkeuriger kan worden gekwantificeerd. De statistische grootheid die de “kracht” van een behandeling of een interventie kenmerkt, is de “effectgrootte” (“effect-size”).
Voorstanders uit diverse hoeken …
Onder impuls van het door neoliberalen bepleite New Public Management grepen politieke besluitvormers snel naar de evidence-based medicine als een middel om een efficiënt gezondheidsbeleid te voeren, de overheidsuitgaven tot een minimum te beperken en tegelijkertijd de resultaten (“outcomes“) te optimaliseren. Volgens hen was het een instrument om het overheidsoptreden te rationaliseren, en zo komaf te maken met de aan de staat toegeschreven inefficiëntie en “bureaucratische rompslomp” (Draelants & Revaz, 2022).
Andere politieke actoren, wat verder naar links in het politieke spectrum, schaarden zich ook achter deze nieuwe aanpak. Zij hoopten daarmee het imago van de staat door een meer “efficiënte” aanpak op te krikken, te beschermen tegen de meest virulente aanvallen en zodoende het vertrouwen van de burger-gebruikers in de overheid en de politieke leiders te herstellen (Chatterjee, 2022; Draelants & Revaz, 2022; Ozga, 2009).
Verknochte voorstanders van wetenschappelijke rationaliteit vormen een derde categorie. Verspreid over het gehele politieke spectrum, tot aan de linkerzijde van links [2] , zijn zij de mening toegedaan dat een evidence-based beleid, door het terzijde schuiven van professionele uitspraken en praktijken gebaseerd op “mythen”, of overtuigingen zonder afdoende wetenschappelijke onderbouwing, zal bijdragen tot kwalitatief betere openbare diensten voor alle burgers, ook de meest kwetsbaren.
Van geneeskunde tot onderwijs…
In navolging van de medische sector, zou evidence-based beleid ook de weg vinden naar de onderwijssector, vanaf het begin van de jaren 2000 in pionierslanden zoals het Verenigd Koninkrijk (Draelants & Revaz, 2022; Wiseman, 2010). Weliswaar met enige verschillen in het ontwerp- en uitvoeringsproces: zo is het om praktische of ethische redenen [3] niet altijd mogelijk om in het onderwijs gerandomiseerde gecontroleerde proeven (RCT’s) uit te voeren.
Wanneer dergelijke RCT’s niet beschikbaar of haalbaar zijn, refereren beleidsmakers vaak naar grote internationale onderzoeken (PISA, PIRLS, TIMSS…). Deze grote studies vergelijken onderwijsstelsels met elkaar en worden daarom geacht de beste presterende (“benchmarks” en andere “best practices”) te identificeren. Sommige economisten spelen een belangrijke rol in de ontwikkeling van die evidence-based education (Draelants & Revaz, 2022): voorstanders van de “menselijk kapitaal theorie” die onderwijs zien als een “investering” om individuen en staten klaar te stomen om te “presteren” in de “kenniseconomie“. Zij moedigen beleidsmakers aan om “efficiënte” hervormingen door te voeren, die zowel de door de arbeidsmarkt vereiste competenties effectief ontwikkelen, als de overheidsuitgaven tot een minimum beperken. Vanuit dit oogpunt wordt het politieke gebruik van wetenschappelijke onderzoeksgegevens beschouwd als de beste weg naar een doeltreffend onderwijsbeleid en onderwijspraktijken met bewezen “rendabiliteit”.
Reeds in het begin van de jaren 2000 werd evidence-based education door middel van grote hervormingen in de Verenigde Staten ingevoerd. Het programma “No Child Left Behind” (NCLB) bijvoorbeeld bestaat uit een hybride hervorming die verantwoordingsmechanismen (invoering van gekwantificeerde doelstellingen, door scholen te bereiken op straffe van sancties) combineert met stimulansen om kwantitatief onderzoek te ontwikkelen en de aanbevelingen daarvan op scholen toe te passen. Het programma “Success for All” (SFA) wordt gekenmerkt door de invoering van specifieke onderwijsscripts waarvan de prestaties zijn aangetoond door “rigoureuze statistische studies” en “replica” (herhaalde experimenten) (Slavin e.a., 1996). In Frankrijk richtte onderwijsminister Blanquer in 2018 een Conseil Scientifique de l’Education Nationale (CSEN) op, belast met de ontwikkeling van een “evidence-based pedagogie” (Rosier, 2018), hoewel deze zich niet strikt beperkt tot kwantitatief onderzoek.
In Vlaanderen bepleit het recente rapport van de Commissie Beter Onderwijs (Brinckman & Versluys, 2021) onder meer de invoering van “directe instructie”, een pedagogische methode die volgens internationaal kwantitatief onderzoek effectief is, in tegenstelling tot methoden die gericht zijn op het ontdekken van kennis door leerlingen. In het Franstalig onderwijs (van België) kan de hervorming van 1994 die leerlingen automatisch van het eerste naar het tweede jaar van het secundair onderwijs laat overgaan, worden beschouwd als een van de eerste “evidence-based” onderwijsinitiatieven. Deze (gedeeltelijke) afschaffing van het zittenblijven werd destijds namelijk doorgevoerd op basis van onderzoeksresultaten [4] (Draelants & Revaz, 2022). Het Pacte pour un Enseignement d’Excellence bevat ook expliciete verwijzingen naar het evidence-based perspectief. Onderzoekers van de universiteit van Mons en van het (Franstalig) katholiek onderwijs bieden opleidingen aan rond expliciet onderwijs “in overeenstemming met de evidence-based aaanpak [5]. Een team van de Universiteit van Luik is bezig met het opzetten van Positive Behavior Support (PBS), een programma afgeleid van evidence-based education, en dat reeds in veel landen werd ingevoerd (Verenigde Staten, Verenigd Koninkrijk, Australië, Nieuw-Zeeland, Spanje, Denemarken, enz.). Zoals de naam aangeeft, beoogt dit programma “positief gedrag” bij leerlingen te stimuleren door te zorgen voor de systematisering van de meest “doeltreffende” ingrepen op dit gebied.
Gemengde eerste resultaten: wanneer ‘what works’ niet werkt…
De feitelijke implementatie van evidence-based medicine was lang niet altijd succesvol. De ontwikkeling van systemen gebaseerd op rigoureuze kwantitatieve studies, liepen in de praktijk soms uit op tegenvallende resultaten. Zoals opgemerkt door Draelants en Revaz (2022, p. 36) “is het pikant om vast te stellen dat dit soort beleid, dat zich beroept op de retoriek van ‘wat werkt’, niet noodzakelijk werkt en vaak op uitvoeringsproblemen stuit “.
In het onderwijsveld is de stand van zaken niet anders: Bressoux (2017, p. 125) schrijft dat “de twijfels (…) over een top-down model van onderzoek naar het veld niet ongegrond zijn. Zo verwijst Marc Gurgand naar een opmerkelijke observatie van de econoom Brian Jacob. In diens verslag over de veralgemening van 77 toepassingen die sinds 2002 werden uitgevoerd door het Institute of Education Sciences (VS) volgens wetenschappelijke criteria (randomisatie, enz.) en als doeltreffend werden beoordeeld, constateert Jacob dat, na uitvoering en evaluatie in hun eigen schoolcontext, slechts 7 ervan positieve effecten hadden.”
Verschillende hypothesen (Biesta, 2007, 2010; Draelants & Revaz, 2022) kunnen deze kloof tussen de beloften van empirisch onderbouwd beleid en de daadwerkelijke resultaten ervan verklaren. Ze worden goed samengevat door Bressoux (2017, p. 125): “een gebrekkige uitvoering (slecht begrepen programma’s, terughoudendheid om ze uit te voeren, onvoldoende ondersteuning, enz.), of het feit dat veel programma’s, ondanks hun correcte uitvoering, in feite slecht waren aangepast aan sommige van de omstandigheden die in de generalisatiefase werden aangetroffen”. Draelants en Revaz (2022, p. 31) concluderen dat “het bewijs van de superioriteit van methoden van aanpak van het evidence-based type nog moet worden geleverd”.
Uiteraard mag deze vaststelling niet leiden tot een diskwalificatie van het kwantitatief wetenschappelijk onderzoek in de geneeskunde. Maar wel tot een nederige revisie aangaande evidence-based medicine. Hoewel statistisch redeneren een krachtig instrument is om “algemene wetten” vast te leggen en “hoogstwaarschijnlijk doeltreffende” maatregelen te identificeren, leidt het onvermijdelijk tot blinde vlekken, die voortkomen uit specifieke, complexe en oorzakelijke verbanden (Draelants & Revaz, 2022). Als een statistische studie met grote betrouwbaarheid kan vaststellen dat een interventie I een gemiddeld effect E teweegbrengt op een populatie P, kan ze die conclusie alleen bereiken door individuen, bijzondere situaties en contexten samen te voegen en zo de complexiteit te verminderen, door specifieke kenmerken “vrijwillig te negeren”. (Draelants & Revaz, 2022; Weisberg, 2014). Zij kan dus niet verklaren waarom dezelfde interventie I contrasterende of zelfs tegengestelde effecten (E1 en E2) heeft op de individuen P1 en P2. Zij is ook blind voor de kwalitatieve aard van de causale ketens die verklaren waarom interventie I dit effect E teweegbrengt. Zo hebben gerandomiseerde gecontroleerde proeven bijvoorbeeld aangetoond dat lithiumzouten bepaalde psychiatrische stoornissen kunnen genezen, maar geen verklaring bieden voor de achterliggende biochemische mechanismen. Toch zouden wellicht, dank zij het inzicht in deze mechanismen, behandelingen kunnen worden geïndividualiseerd, geïmplementeerd, gereguleerd en geoptimaliseerd in specifieke situaties en/of voor bepaalde patiënten.
Naar een rehabilitatie van beroepservaring en kwalitatieve benaderingen?
Ten gevolge daarvan wordt evidence-based medicine in zekere zin “herbekeken”, zoals Draelants & Revaz (2022) duidelijk maken door te spreken over evidence-based medicine 2.0. De overdonderende beweringen over de bijna exclusieve legitimiteit van RCT’s maken nu plaats voor de rehabilitatie van het oordeel van gezondheidswerkers, als waardevolle aanvulling om de bijzonderheden van individuen en situaties te begrijpen en ernaar te handelen. Rekening houden met de mening van beroepsbeoefenaars biedt ook het voordeel dat hervormingen die gebaseerd zijn op kwantitatieve gegevens, beter door hen worden onthaald en dus beter zullen worden uitgevoerd. Dit is niet verwonderlijk wanneer men weet dat “uit verschillende empirische onderzoeken blijkt dat juist wanneer de actoren op het terrein als passieve uitvoerders van hervormingen worden beschouwd, deze op een mislukking uitdraaien” (Draelants & Revaz, 2022, p.53).
EBM 2.0. heeft ook kwalitatief onderzoek geherwaardeerd, dat de statistische informatie nuttig aanvult. Dit kan bijvoorbeeld bijdragen tot een beter begrip van de complexiteit van de betrokken processen, tot een beter begrip van de aard van de causale ketens die zich ontwikkelen tussen een interventie en de waargenomen effecten ervan, en tot een beter begrip van de contrasterende doeltreffendheid van interventies in verschillende situaties. Op het gebied van evidence-based education beginnen dergelijke tendensen van beredeneerde rehabilitatie van de praktijkervaring (van leerkrachten, leidinggevenden, enz.) schuchter de kop op te steken, ook al kijken sommige onderzoekers die voorstanders zijn van EBE, in hun geschriften jammer genoeg nog minachtend neer op elke opmerking of oordeel uit het veld, en wordt die snel terzijde geschoven met het argument dat “ze niet wetenschappelijk gefundeerd zijn“. Ook de herwaardering van gemengde onderzoekmethoden, waarbij kwantitatieve en kwalitatieve studies worden gecombineerd komt vaker voor, en de effecten daarvan zijn positief. Zo had de uitvoering van het programma “Language skills” in Franse kleuterscholen – dat de taalvaardigheid van leerlingen uit de arbeidersklasse beoogt te ontwikkelen via voorlezen door de ouders – veel baat bij de combinatie van een kwantitatieve én een kwalitatieve benadering. Dank zij de kwalitatieve studie werd duidelijk waarom het programma bij sommige leerlingen minder goed aansloeg dan bij andere, en kon het instrument bijgevolg worden aangepast (Draelants & Revaz, 2022; Pin & Barone, 2021).
Laten we hopen dat deze eerste keerpunten in de evolutie van evidence-based education verdere ontwikkelingen kennen. Hoewel statistische studies geenszins een diskwalificatie verdienen, ziet het ernaar uit dat men toch meer rekening moet houden met het oordeel van professionals en met kwalitatieve studies om te komen tot een toepassing van onderzoeksresultaten die beter afgestemd is op de complexiteit en diversiteit van situaties “op het terrein “.
Olivier Mottint
Dit artikel is het eerste deel van een dossier dat verscheen in “De democratische school”, nr. 91, september 2022. Voor een abonnement op ons driemaandelijks tijdschrift (15 euro; voor studenten 7 euro) vind je hier de nodige informatie: https://www.skolo.org/nl/2019/05/03/zich-abonneren-op-de-democratische-school/
Referenties
Baron, J. (2018). A Brief History of Evidence-based Policy. The Annals of the American Academy of Political and Social Science. 678 (1), 40-50.
Biesta, G. J. J. (2007). Why ‘What Works’ Won’t Work: Evidence-based Practice and the Democratic Deficit of Educational Research. Educational Theory, 57 (1), 1–22.
Biesta, G. J. J. (2010). Why ‘What Works’ Still Won’t Work: From Evidence-based Education to Value-Based Education. Studies in Philosophy & Education, 29 (5), 491-503.
Bressoux, P. (2017). Practice-Based Research : une aporie et des espoirs. Een kritische blik op het artikel van Anthony S. Bryk. Education et didactique, 11 (3), 123-134.
Brinckman, P. & Versluys, K. (Eds.) (2021). Naar de kern: de leerlingen en hun leer-kracht. Rapport van de Commissie Beter Onderwijs, Oktober 2021.
Bryk, A. S. (2015). Accelerating How We Learn to Improve. Educational Researcher, 44 (9), 467-477.
Chatterjee, E. (2022). Numbers Without Experts: The Populist Politics of Quantification. In C. Newfield, A. Alexandrova & S. John (Eds.), Limits of the Numerical : The Abuses and Uses of Quantification (pp. 21-46). Chicago : University of Chicago Press.
Draelants, H. & Revaz, S. (2022). L’évidence des faits : La politique des preuves en éducation. Paris : PUF.
Ozga, J. (2009). Governing Education Through Data in England: From Regulation to Self‐Evaluation. Journal of Education Policy, 24 (2), 149-162.
Pin, C. & Barone, C. (2021). L’apport des méthodes mixtes à l’évaluation : Une expérimentation randomisée dans le champ des politiques éducatives. Revue française de science politique, 71 (3), 391-412.
Rosier, L. (2018). Un conseil scientifique pluridisciplinaire pour l’école. On-line beschikbaar op de website van het Franse dagblad Le Monde : https://www.lemonde.fr/education/article/2018/01/09/un-conseil-scientifique-pluridisciplinaire-pour-l-ecole_5239234_1473685.html
Weisberg, H. I. (2014). Willfull Ignorance : The Mismeasure of Uncertainty. Hoboken, NJ : Wiley.
Wiseman, A. W. (2010). The Uses of Evidence for Educational Policymaking: Global Contexts and International Trends. Review of Research in Education, 34 (1), 1–24.
Woolf, S. H. (Ed.) (1989). Guide to Clinical Preventive Services: Report of the U.S. Preventive Services Task Force. Darby, PA : DIANE Publishing.
Voetnoten
[1] RCT’s (gerandomiseerde gecontroleerde experimenten) zijn een soort kwantitatieve wetenschappelijke studie waarbij de deelnemers willekeurig worden ingedeeld in groepen die overeenkomen met elke behandeling (medisch, educatief, enz.) die wordt getest. Deze “randomisatie” zorgt ervoor dat de proefpersonen gelijkmatig worden verdeeld voordat zij de interventie “ondergaan”. De doeltreffendheid van de interventie wordt gemeten door vergelijking met een “controlegroep” die een placebo krijgt of een behandeling waarvan de doeltreffendheid reeds bekend is.
[2] Normand Baillargeon bv, een onderwijsfilosoof met nauwe banden met het anarchosyndicalisme en een vurig verdediger van een cultuur van rationaliteit, heeft herhaaldelijk gepleit voor het principe van evidence-based onderwijs.
[3] Zowel in de geneeskunde als in het onderwijs is het bijvoorbeeld niet aanvaardbaar RCT’s uit te voeren wanneer er alle reden is om aan te nemen dat de verwachte voordelen van de interventie vrijwel zeker en groot zijn. Men kan er dan niet opzettelijk voor kiezen de personen in de controlegroep deze zeer waarschijnlijke voordelen te onthouden
[4] Onder de onderzoeken die destijds werden aangehaald, vermelden we vooral dit van Marcel Crahay, die de ondoeltreffendheid van zittenblijven aantoonde. Dergelijke onderzoeken vielen in goede aarde bij beleidsmakers die inzagen welk financieel voordeel een vermindering van het zittenblijven kon opleveren (Draelants & Revaz, 2022).
[5] http://lenseignement.catholique.be/cecafoc/formation.html?mid=7033
