Bewijzen PISA, TIMSS, PIRLS … onomstotelijk de meerwaarde van evidence-based aanpak in onderwijs?
Evidence-based onderwijs steunt op twee pijlers: de grote internationale enquêtes die de prestaties van leerlingen evalueren en quasi-experimenteel onderzoek. In dit artikel behandelen we de internationale studies. Zij zijn bij het grote publiek het meest bekend. De publicatie van de PISA-ranglijst bijvoorbeeld zorgt om de drie jaar voor opschudding in de media. Overal in de geïndustrialiseerde wereld verheugt men zich of maakt men zich zorgen over de paar plaatsen die het nationale (bij ons het Vlaamse en het Franstalige) onderwijssysteem heeft gewonnen of verloren. Deze focus op de landenrangschikking is betwistbaar. De verschillen tussen landen zijn relatief klein, soms volstaan een paar punten (op een schaal van 0 tot 1000) om tientallen plaatsen in de ranglijst op te schuiven. Op deze basis is “vooruitgang” of “achteruitgang” nogal relatief. Temeer omdat deze schommelingen soms kunnen verklaard worden door methodologische vertekeningen (Stewart, 2013). De obsessie voor de Pisa-ranking is des te meer misplaatst omdat de kloof tussen de prestaties van “rijke” en “arme” leerlingen binnen hetzelfde onderwijssysteem die veel groter is dan de verschillen in gemiddelde scores tussen landen, veel minder aandacht krijgt. [1].
Wat ook vaak aan de media-aandacht ontsnapt, zijn de analyses en beleidsaanbevelingen die door internationale instellingen worden ontwikkeld naar aanleiding van de grote internationale studies (PISA, PIRLS, TIMSS). Deze analyses en aanbevelingen beweren “evidence-based” te zijn – d.w.z. steunend op de statistische verwerking van de in deze enquêtes verzamelde gegevens – en beogen de politieke leiders richtsnoeren te geven voor “goed bestuur” in het onderwijs. Zijn de analyses en aanbevelingen van grote instellingen zoals de OESO daardoor automatisch betrouwbaar? En hoe betrouwbaar zijn dan onze analyses van Ovds? Wij gebruiken immers PISA-gegevens om aan te tonen dat de schoolmarkt de belangrijkste verklarende factor is voor de ongelijkheid tussen scholen. Kan een evidence-based aanpak, gebaseerd op grote internationale onderzoeken, een waardevol instrument zijn om in alle landen een ambitieus en rechtvaardig onderwijsbeleid uit te werken? In dit artikel bespreken we de limieten en enkele valkuilen bij het gebruik van de grote internationale enquêtes voor het uitstippelen van onderwijsbeleid.
De vooronderstellingen van het paradigma van de “efficiënte school”
Een eerste punt van waakzaamheid betreft de invloeden op en vanuit de grote internationale onderzoeken. Deze onderzoeken, hoofdzakelijk uitgevoerd door twee internationale instellingen op het raakvlak van de economische, politieke en academische wereld, zijn niet vrij van theoretische, methodologische en ideologische keuzes die in vraag kunnen worden gesteld. De OESO [2], die de PISA-enquête [3] (over leesvaardigheid, wiskundige en wetenschappelijke geletterdheid) opstelt, is een organisatie waarvan de hele geschiedenis in het teken staat van de bevordering van het economisch liberalisme. Als studiebureau van de rijke industrielanden pleit de OESO in haar analyses steevast voor de uitbreiding van de marktlogica, de vermindering van de overheidsuitgaven en de ontwikkeling van de privé-sector ten koste van de openbare diensten. (Halimi, 2004; Jennar & Kalafatides, 2007; Laval & Weber, 2002). Het IEA [4], dat de bekende onderzoeken PIRLS [5] (lezen) en TIMSS [6] (wiskunde en natuurwetenschappen) en de minder bekende onderzoeken ICCS [7] (burgerschapsvorming) en ICILS [8] (computervaardigheid) coördineert, is minder politiek georiënteerd [9], maar maakt deel uit van hetzelfde “liberale paradigma van de efficiënte school” (Normand, 2006), waarin de logica van de efficiëntie (“kosten-batenanalyse”) wordt gecombineerd met de prioritaire zorg om de ontwikkeling van “menselijk kapitaal”, dat individuen en staten in staat moet stellen “competitief” te zijn in de “economie van morgen” (Laval & al., 2012; Normand, 2006; Saillard, 2022). Zoals Draelants en Revaz in navolging van Ogien (2020) aangeven, is dit gemeenschappelijke paradigma van de OESO en het IEA “ingebed in de context van de neoliberale dominantie (…). In dit kader beoogt de kwantificeringsactiviteit te voldoen aan één eis: efficiëntie, door te trachten elke toewijzing van middelen optimaal te maken op basis van de meting van de verhouding tussen het gewenst resultaat en de verwachte kosten”. Bijgevolg, zo voegen zij eraan toe, “kan evidence-based beleid (…) worden geanalyseerd als een beweging die wordt geschraagd door een nieuwe onderwijsethiek die waarde hecht aan prestaties, vergelijken, competitie, markt” (p. 47). Betekent dit dat de resultaten van deze grote internationale onderzoeken waardeloos zijn? Zeker niet, maar het spoort ons aan om kritisch te kijken naar de gebruikte indicatoren, de analyses en de aanbevelingen.
Partiële en vertekende indicatoren
Wat de indicatoren betreft, wijzen veel critici terecht op de utilitaristische opvatting van kennis waarop enquêtes zoals PISA zijn gebaseerd, met name bij wiskundige en wetenschappelijke geletterdheid (Bodin, 2005; Laval & Weber, 2002; Normand, 2006; Saillard, 2022). Zo testen deze enquêtes vooral het vermogen van de leerlingen om competenties “in het dagelijks leven” te gebruiken, met weinig aandacht voor de beheersing van meer conceptuele kennis. Ideologische vooringenomenheid – voor neoliberalen gaan competenties boven kennis – speelt daarbij een rol. Pragmatisme ook. Om internationale vergelijkingen te maken dient men relatief algemene vragen te stellen, vrij van de bijzonderheden (in termen van kennis) van nationale leerplannen. Men kan zich dan afvragen, zoals de Britse statisticus Harvey Goldstein doet (Stewart, 2013), of deze meting van alleen de kleinste gemene deler van onderwijssystemen in staat is om hun algemene “prestaties” te beoordelen.
Een ander voorbeeld van het niet waardenvrij karakter van indicatoren is te vinden in de ICCS-enquête over burgerschapsonderwijs. De vragen die aan leerlingen worden gesteld gaan over individuele rechten, formele vrijheden, gelijke kansen, respect voor minderheden, houding ten opzichte van verkiezingen en corruptie, of het vermogen om met sociale media om te gaan. De sociaaleconomische invalshoek die is gekozen om “goed burgerschap” te definiëren is die van de “duurzame ontwikkeling”. De enquête verzamelt de mening van jongeren over solidariteit en milieu, en vraagt hen naar het ethisch gedrag dat zij individueel in verschillende situaties zouden moeten aannemen. Er wordt niet gepeild naar hun kennis van de macro-economische mechanismen die ongelijkheden veroorzaken en milieucrises versterken, of ban fundamentele begrippen als kapitalisme, socialisme, marxisme, markteconomie of planeconomie. De index voor burgerschap, die tot stand komt met de resultaten van de enquête, bevat interessante aspecten maar is eenzijdig. De ICSS-enquête evalueert niet in welke mate jongeren in staat zijn de fundamentele beginselen van het economisch stelsel waarin zij leven te begrijpen en in vraag te stellen.
Uit deze beperktheden en vertekeningen afleiden dat deze grote internationale onderzoeken ons enkel informeren over de bekwaamheid tot “liberaal handelen” van leerlingen, is dan weer te kort door de bocht. De PISA-testen meten competenties die liberalen koesteren omdat ze in het kader van de kapitalistische economie ingezet kunnen worden, maar competenties op het gebied van leesvaardigheid, wiskundige en wetenschappelijke geletterdheid zijn absoluut ook noodzakelijk (maar onvoldoende!) voor het uitoefenen van een kritisch burgerschap.
De beperktheid van de genoemde internationale onderzoeken komt ook tot uiting in hun beperkte inhoudelijke focus. Ze zeggen bijvoorbeeld niets over de kennis van leerlingen op gebied van geschiedenis, geografie, literatuur, filosofie of politieke economie, net zoals ze hele gebieden van wetenschap en wiskunde negeren. Om die reden heeft Ovds er zich altijd voor behoed om de PISA-ranking te erkennen als ultieme maatstaf voor de kwaliteit of het niveau van onderwijs. We hebben wel gebruik gemaakt van de schatkamer aan PISA-gegevens om de mate van segregatie en ongelijkheid van onderwijssystemen te meten omdat leerlingen binnen een zelfde onderwijssysteem grosso modo ten opzichte van het onderzoek gelijk zijn [10].
Politieke instrumentalisatie
Een andere kritiek die men op deze grote internationale onderzoeken kan leveren, heeft betrekking op de politieke instrumentatie ervan. Ten eerste stelt men vast dat, zelfs wanneer de PISA-resultaten de OESO er logischerwijs toe zouden moeten brengen sommige van haar liberale dogma’s op onderwijsvlak in vraag te stellen, de OESO in feite haar toewijding aan die dogma’s alleen maar verdubbelt. Zo illustreert PISA dat de marktmechanismen in het onderwijs segregatie genereren en sociale ongelijkheid versterken. De aanbevelingen van de OESO gaan echter niet in de richting van de vermindering van de marktwerking. De OESO pleit eerder om de overheidsfinanciering voor privéscholen te verhogen (OESO, 2012b) en om het concurrentiemechanisme tussen scholen te optimaliseren (OESO, 2014). PISA stelt vast dat de meest “kwalitatieve” onderwijssystemen diegenen zijn die de leraren beter betalen eerder dan diegenen die de verloning op verdienste baseren. De OESO stelt echter dat het niet “haalbaar” is om de verloning van alle leraren te verhogen en dat “een verloningssysteem, langdurig gebaseerd op prestaties, een geweldige uitdaging vertegenwoordigt” (OESO, 2012a). Aangezien een verhoging van de overheidsuitgaven haaks staat op een neoliberale visie, zullen structurele maatregelen, die overheidsinvesteringen zouden vereisen, uit de aanbevelingen van de OESO worden geweerd met het argument dat er andere, “efficiëntere” maatregelen zijn. In plaats van de klasgrootte te verminderen, zal de OESO focussen op maatregelen waarbij de leraren zich in toenemende mate moeten verantwoorden, in fase met de doctrine van het New Public Management. In een interview in Le Monde (Baumard, 2014) verklaarde Andreas Schleicher, hoofd van het PISA-onderzoek, dat “het Franse onderwijs niet relevant is” omdat het te veel gericht is op kennis en te weinig op competenties: “het kan de moderne wereld niet schelen wat je weet“. Hij verklaarde ook dat 40 leerlingen in een klas niet noodzakelijk een probleem hoefde te zijn. Men ziet dus dat de OESO sommige analyses van “op feiten gebaseerde gegevens” omarmt en andere verwerpt omdat ze in strijd zijn met de neoliberale onderwijscatechismus.
Evenzo gebruiken nationale (of regionale) regeringen regelmatig bepaalde PISA-gegevens om vooraf vastgestelde beleidsstandpunten te legitimeren, terwijl ze andere gegevens (uit PISA of andere bronnen) proberen te negeren omdat die minder in overeenstemming zijn met hun beleidsagenda (Davies, 2012; Mons & Pons, 2013). Mons en Pons (2013, p. 16): “De technische rijkdom en axiologische plasticiteit van PISA (die gemobiliseerd kan worden om zowel neoliberale als sociaaldemocratische aanbevelingen te ondersteunen) maakt een grote verscheidenheid aan toepassingen en aanpassingen mogelijk”. De politici hebben dan vrij spel om die PISA-gegevens te selecteren die in overeenstemming zijn met hun politieke strategie en met de belangen die zij verdedigen. In België bijvoorbeeld heeft geen enkele regering (of regeringspartij) de bevindingen van PISA over het oorzakelijk verband tussen de quasi-marktwerking en de sociale ongelijkheid in het onderwijs, aangegrepen om ambitieuze maatregelen tegen sociale segregatie voor te stellen. Met de stempel “evidence-based” kunnen OESO-aanbevelingen en “wetenschappelijk gelegitimeerde” onderwijshervormingen van nationale (regionale) regeringen worden voorgesteld als “neutraal” en “onbetwistbaar” en zijn ze daardoor soms in staat elke kritiek in de kiem te smoren (Draelants & Revaz, 2022; Normand, 2006), terwijl ze wel degelijk het resultaat zijn van ideologische en politieke keuzes
De dreiging van “depolitisering door kwantificering”
Wanneer evidence-based onderwijs zich baseert of beweert zich te baseren op grote internationale onderzoeken, bestaat het risico van “depolitisering door kwantificering” (Desrosières, 2008; Draelants & Revaz, 2022; Laval & Weber, 2002; Normand, 2006). Analyses en hervormingen worden dan, omdat ze zouden “gebaseerd zijn op onbetwistbare cijfers”, aan de burgers gepresenteerd als politiek neutraal. Er zou geen sprake meer zijn van progressieve of conservatieve onderwijsvoorstellen of hervormingen, maar gewoon van effectieve of ineffectieve hervormingen. Deze subtiele depolitisering wordt bereikt door de subjectiviteit te verbergen die aanwezig is bij de keuze van de indicatoren, de oriëntatie van de aanbevelingen en de selectie van bepaalde bewijzen met uitsluiting van andere om onderwijshervormingen te rechtvaardigen.
Het is noodzakelijk dat de keuze van de indicatoren – en dus van de leerinhouden en de attitudes van de leerlingen die gemeten werden – kritisch wordt onderzocht want zij zijn bepalend voor de doelstellingen van het onderwijs die door de ontwerpers van het onderzoek worden naar voren geschoven. Het is ook belangrijk de aannames en vooronderstellingen die de aanbevelingen sturen, aan het licht te brengen, opdat “in naam van een gedepolitiseerde universele rationaliteit geen fenomeen van mondialisering en vermarkting van het onderwijs” plaatsvindt, dat uiteindelijk “een nieuwe mondiale en neoliberale onderwijsorde” zou instellen ( Laval & Weber, 2002).
Dit alles sluit echter een kritisch gebruik van de gegevens uit deze grote internationale onderzoeken niet uit. Deze gegevens zouden ten minste aan deze twee voorwaarden moeten voldoen:
• rekening houden met de beperkingen van indicatoren, vooral wanneer deze worden gebruikt om internationale ranglijsten op te stellen, veeleer dan om interne ongelijkheid van onderwijssystemen te beoordelen;
• voorzichtigheid met betrekking tot analyses, aanbevelingen en legitimaties met de stempel “evidence-based”, die soms veeleer het product zijn van een ideologische interpretatie van de resultaten dan de uitkomst van een objectieve en strenge wetenschappelijke procedure.
Olivier Mottint
Dit artikel is het tweede deel van een dossier dat verscheen in “De democratische school”, nr. 91, september 2022. Voor een abonnement op ons driemaandelijks tijdschrift (15 euro; of 7 euro voor studenten) vind je hier informatie: https://www.skolo.org/nl/2019/05/03/zich-abonneren-op-de-democratische-school/
Referenties
Bodin, A. (2005). Ce qui est vraiment évalué par PISA en mathématiques. Ce qui ne l’est pas. Un point de vue français. Communication faite dans le cadre du colloque « Teaching mathematics: beyond the PISA survey », Paris, du 6 au 8 octobre 2005.
Bressoux, P. (2017). Practice-Based Research : une aporie et des espoirs : Une revue critique de l’article d’Anthony S. Bryk. Education et didactique, 11 (3), 123-134.
Davies, P. (2012). The state of evidence-based policy evaluation and its role in policy formation. National Institute Economic Review, 219, 41-52.
Desrosières, A. (2008). Gouverner par les nombres : l’argument statistique II. Paris : Presses des Mines/Transvalor.
Draelants, H. & Revaz, S. (2022). L’évidence des faits : La politique des preuves en éducation. Paris : PUF.
Halimi, S. (2004). Le Grand Bond en arrière. Paris : Fayard.
Hirtt, N. (2020). Schoolse ongelijkheid, ultiem overblijfsel van het unitaire België? Een statistische analyse van de oorzaken van schoolse ongelijkheid in Vlaanderen en in de federatie Wallonie-Bruxelles op basis van PISA 2018. On-line op website van Ovds : https://www.skolo.org/nl/2020/03/03/nieuwe-studie-pisa-2018/ of (in het Frans) https://www.skolo.org/CM/wp-content/uploads/2020/02/PISA-2018-FR.pdf
Jennar, R.-M. & Kalafatides, L. (2007). L’AGCS: Quand les États abdiquent face aux multinationales. Paris : Liber/Raisons d’agir.
Laval, C. & Weber, L. (2002). Le nouvel ordre éducatif mondial : OMC, Banque mondiale, OCDE, Commission Européenne. Paris : Syllepse.
Laval, C., Vergne, F., Clément, P. & Dreux, G. (2012). La nouvelle école capitaliste. Paris : La Découverte.
Mons, N. & Pons, X. (2013). Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? Sociologie de la réception d’une enquête internationale (2001-2008). Revue française de pédagogie, 182, 9-18.
Normand, R. (2006). L’école efficace ou l’horizon du monde comme laboratoire. Revue des sciences de l’éducation, 32 (1), 53-70.
OCDE (2012a). La rémunération fondée sur la performance améliore-t-elle la qualité de l’enseignement? PISA à la loupe, 16 (5).
OCDE (2012b). Les chèques éducation permettent-ils d’accroître l’égalité des chances ? PISA à la loupe, 20 (9).
OCDE (2014). Concurrence entre les établissements d’enseignement : quand est-elle bénéfique ? PISA à la loupe, 42 (8).
Ogien, A. (2020). Peut-on se déprendre du pouvoir du chiffre ? Droit et sociéte, 105 (2), 479-489.
Saillard, C. (2022). Les Français et les mathématiques : un regard sociologique sur les indicateurs du niveau des élèves comme instrument de gouvernance des systèmes éducatifs. https://variances.eu/?p=6773
Stewart, W. (2013). Is PISA fundamentally flawed ? TES Magazine, 26 juli 2013. https://www.tes.com/magazine/archive/pisa-fundamentally-flawed-0
Voetnoten
[1] Dit is zeker in België het geval waar de kloof tussen de gemiddelde scores van de 25% rijkste en de 25% armste leerlingen meer dan 100 punten bedraagt.
[2] OESO : Organisatie voor Economische Samenwerking en Ontwikkeling
[3] PISA : Programme for International Student Assessment
[4] IEA : International Association for the Evaluation of Educational Achievement
[5] PIRLS : Progress in International Reading Literacy Study
[6] TIMSS : Third International Mathematics and Science Study
[7] ICCS : International Civic and Citizenship Education Study
[8] ICILS : International Computer and Information Literacy Study
[9] … maar wel partnerschappen met de Wereldbank en de Europese Commissie
[10] Voor een meer uitgewerkte argumentatie, zie Hirtt (2020, p. 2).
