L’evidence-based education marche essentiellement sur deux jambes : les grandes études internationales évaluant les acquis des élèves et les recherches quasi-expérimentales. Dans cet article, nous traiterons exclusivement des premières, sans nul doute les plus connues du grand public. Et pour cause : tous les trois ans, la publication des palmarès PISA donne lieu à un battage médiatique assourdissant. Aux quatre coins du monde industrialisé, on se réjouit ou au contraire on s’inquiète des quelques places gagnées ou perdues par le système scolaire national (… ou communautaire en Belgique), sans guère s’intéresser aux inégalités qui existent au sein même de chaque système scolaire.
Cet article initialement publié dans L’École démocratique, n°91, septembre 2022 (pp. 9-12) est la seconde partie d’un dossier consacré à l’evidence-based education. Voir le premier article (« La ‘politique des preuves’, du champ de la médecine à celui de l’éducation ») ou le troisième article (« La pédagogie ‘evidence-based’: solution miracle pour une école ambiteuse et équitable ? ») de ce dossier.
Cette couverture médiatique fétichisant les classements est discutable : dans le ventre mou du classement, les écarts entre les pays sont en effet parfois si infimes que quelques points (sur une échelle normalisée allant de 0 à 1000) permettent de gagner une petite dizaine de rangs dans la hiérarchie, ce qui devrait amener à relativiser les « progrès » ou les « régressions » diagnostiqués sur cette base… A plus forte raison d’ailleurs que ces variations infimes peuvent être partiellement expliquées par des biais méthodologiques (Stewart, 2013)… Cette obnubilation pour le « ranking » est d’autant plus regrettable que les écarts entre élèves « riches » et « pauvres » au sein même des systèmes éducatifs ne jouissent pas des mêmes faveurs médiatiques, alors qu’ils sont souvent autrement plus importants que les écarts de scores entre pays[1]. Pour la Belgique, l’écart mesuré à l’occasion de PISA-2018 entre les 25% les plus riches et les 25% les plus pauvres s’élève ainsi à plus de 110 points; c’est bien davantage que la trentaine de points de retard qu’accusent en moyenne les élèves belges par rapport aux élèves estoniens, leaders européens du ranking PISA.
Ce qui échappe davantage encore à l’attention médiatique, ce sont les analyses et les recommandations politiques qui sont élaborées par des institutions internationales consécutivement à cette enquête PISA, ou aux autres grandes études internationales du même type (PIRLS et TIMSS essentiellement). Ces analyses et recommandations revendiquent d’être « fondées sur des preuves » et entendent livrer aux décideurs politiques des lignes de conduite garantissant la « bonne gouvernance » en matière d’enseignement. Mais ces recommandations sont-elles si objectives qu’elles le prétendent ? Ou ne font-elles que déployer le logiciel néolibéral sous couvert de « scientificité » ?
Les présupposés du « paradigme de l’école efficace »
Le premier point de vigilance qu’il nous semble opportun d’observer concerne les influences qui s’exercent sur et depuis les grandes enquêtes internationales. Essentiellement menées par deux institutions internationales situées à l’interface des mondes économique, politique et académique, ces grandes enquêtes ne sont pas exemptes de choix théoriques, méthodologiques et idéologiques qui gagnent à être questionnés. L’OCDE[2], qui produit l’enquête PISA[3] (portant sur la lecture, les mathématiques et les sciences), est une organisation dont l’histoire entière est marquée par la promotion du libéralisme économique. Véritable « bureau d’étude » des pays industrialisés occidentaux, ses analyses ont ceci de commun que, dans tous les domaines où elles s’exercent, elles tendent à encourager l’extension de la logique de marché, la réduction de la dépense publique et le développement du secteur privé aux dépens des services publics (Halimi, 2004 ; Jennar & Kalafatides, 2007 ; Laval & Weber, 2002). L’IEA[4], qui coordonne les célèbres enquêtes PIRLS[5] (lecture) et TIMSS[6] (mathématiques et sciences) et les plus discrètes études ICCS[7] (éducation citoyenne et civique) et ICILS[8] (habilité en matière d’usage de l’ordinateur), affiche certes une orientation politique moins marquée[9], mais s’inscrit cependant dans le même « paradigme libéral de l’ école efficace » (Normand, 2006) conjuguant logique de rendement (« analyse coût-efficacité ») et souci prioritaire de développement du « capital humain », censé permettre aux individus et aux États d’être « compétitifs » dans l’ « économie de demain » (Laval & al, 2012 ; Normand, 2006 ; Saillard, 2022). Comme l’indiquent Draelants et Revaz en reprenant Ogien (2020, p. 14), ce paradigme commun à l’OCDE et à l’IEA « s’inscrit dans le contexte de la domination néolibérale (…). Dans ce cadre, l’activité de quantification s’emploie à satisfaire une exigence : l’efficacité, en cherchant à rendre chaque allocation de ressources optimale, c’est-à-dire la meilleure possible à partir de la mesure du rapport entre un résultat visé et son coût escompté ». Dès lors, ajoutent-ils, « l’evidence-based policy peut être analysée, à l’instar de la logique de reddition de comptes (…), comme un mouvement sous-tendu par une nouvelle morale éducative qui valorise la performance, la comparaison, la compétition, des valeurs marchandes contestables au plan civique » (p. 47). Cela signifie-t-il pour autant que les résultats de ces grandes enquêtes internationales ne valent pas la peine que l’on s’y arrête ? Certainement pas… mais cela invite toutefois à poser un regard critique sur les indicateurs, les analyses et les recommandations qui en émanent.
Des indicateurs partiels et partiaux
Concernant les indicateurs, bon nombre de critiques pointent à juste titre la conception utilitariste des connaissances sur laquelle reposent des enquêtes telles que PISA, notamment en mathématiques et en sciences (Bodin, 2005 ; Laval & Weber, 2002 ; Normand, 2006 ; Saillard, 2022) : ainsi ces enquêtes testent-elles surtout la capacité des élèves à mobiliser des compétences « dans la vie quotidienne », avec peu d’égards pour la maîtrise de connaissances plus conceptuelles. Si cet état de fait s’explique en partie par un biais idéologique — le primat, pour les néolibéraux, des compétences sur les savoirs — il résulte également de la nécessité, pour produire des comparaisons internationales, de poser des questions relativement générales, affranchies des particularités (en termes de savoirs) des programmes scolaires nationaux. Or on peut se demander, comme le fait un statisticien britannique (Harvey Goldstein, in Stewart, 2013), si cette mesure ne portant que sur le plus petit dénominateur commun des systèmes scolaires est bien à même d’évaluer les « performances » globales de ceux-ci…
Un autre exemple de cette subjectivité des indicateurs peut être trouvé dans le cadre des enquêtes ICCS portant sur l’éducation citoyenne : les questions posées aux élèves traitent des droits individuels, des libertés formelles, de l’égalité des chances, du respect porté aux minorités, de l’attitude des jeunes envers les élections et la corruption ou encore de leur capacité à s’engager à travers les médias sociaux. La perspective socio-économique adoptée pour définir ce que serait une « bonne citoyenneté » est celle du « développement durable » : si l’enquête recueille bien le sentiment des jeunes vis-à-vis de la solidarité et de l’environnement, si elle les interroge effectivement sur les comportements éthiques à adopter individuellement dans diverses situations, elle se garde néanmoins de vérifier leurs connaissances relatives aux mécanismes macroéconomiques qui génèrent les inégalités et amplifient les crises environnementales, de même qu’elle ne mesure pas leur maîtrise de concepts fondamentaux tels que ceux de capitalisme, de socialisme, de marxisme, d’économie de marché ou d’économie planifiée par exemple. La « mesure de la citoyenneté » à laquelle procède l’enquête, bien qu’intéressante à certains égards, est donc réductrice en ce sens qu’elle n’évalue aucunement la capacité des jeunes à comprendre et à remettre en cause les principes fondamentaux du système économique dans lequel ils vivent.
Il serait toutefois abusif de considérer que ces grandes enquêtes internationales ne nous renseignent que sur la compétence des élèves à l’ « agir libéral » : si l’enquête PISA mesure bel et bien des compétences chères aux libéraux parce que mobilisables dans le cadre de l’économie capitaliste, il n’en demeure pas moins que ces mêmes compétences en lecture, en mathématiques ou en sciences sont également nécessaires (… mais largement insuffisantes !) à l’exercice d’une citoyenneté critique. La limite de ces études internationales vient donc plutôt du fait que, centrées sur les seules compétences et attitudes jugées prioritaires par leurs commanditaires, elles ne donnent qu’une mesure très incomplète des connaissances que devrait maîtriser tout citoyen éclairé. Elles ne disent rien par exemple des connaissances des élèves en histoire, géographie, littérature, philosophie, économie politique, de même qu’elles ignorent des pans entiers des sciences et des mathématiques. C’est notamment pour cette raison qu’à l’Aped, nous avons toujours regardé avec beaucoup de circonspection les palmarès PISA. Nous considérons en revanche que les données PISA permettent une mesure fiable de l’iniquité des systèmes scolaires, en partant du principe que les élèves d’un même pays (ou d’une même région dans le cas où l’enseignement est une matière fédérale) sont grosso modo égaux face à l’enquête[10].
Des usages politiques orientés
La seconde critique que l’on peut faire vis-à-vis de ces grandes enquêtes internationales a trait à leur instrumentalisation politique. On remarque en premier lieu que même lorsque les données PISA devraient en toute logique amener l’OCDE à remettre en question certains de ses dogmes libéraux en matière d’enseignement, cette dernière ne fait en réalité que redoubler de prosélytisme en la matière. Ainsi, après avoir reconnu que le marché scolaire produisait de la ségrégation et renforçait les inégalités, l’OCDE ne recommande nullement aux États d’en abandonner le principe, mais plutôt de rehausser le financement public des établissements scolaires privés (OCDE, 2012b) et d’optimiser les mécanismes de compétition entre écoles (OCDE, 2014). De même, après avoir constaté que les systèmes éducatifs les plus « qualitatifs » sont ceux qui rémunèrent le mieux les enseignants plutôt que ceux qui procèdent à une rémunération au mérite, l’OCDE conclut… qu’il n’est pas « viable » d’augmenter le salaire de tous les enseignants et qu’imaginer « un système de rémunération fondée sur la performance qui fonctionne sur le long terme représente un défi formidable » (OCDE, 2012a). Toute augmentation des dépenses publiques étant inconcevable sous les cieux néolibéraux, les mesures structurelles qui réclameraient un investissement public seront écartées des recommandations de l’OCDE au motif qu’il existe telles autres mesures plus « efficientes » : plutôt que d’augmenter le taux d’encadrement par exemple, l’OCDE recommandera des mesures de « responsabilisation » des enseignants en phase avec la doctrine du New Public Management. Interrogé dans Le Monde (Baumard, 2014), Andreas Schleicher, grand patron du programme PISA, déclare que « l’enseignement français n’est pas pertinent » parce que trop centré sur des savoirs et pas assez sur les compétences — « le monde moderne se moque bien de ce que vous savez », déclare-t-il par exemple — de même qu’il estime qu’ « avoir 40 élèves ne pose pas de problème »… Toutes ces « analyses » sont-elles bien « fondées sur des données probantes », ou ne sont-ce là que des billevesées caractéristiques du catéchisme néolibéral en matière d’enseignement ?
De manière similaire, les décideurs politiques nationaux (ou régionaux) utiliseront régulièrement certaines données PISA pour légitimer des positions politiques préétablies, tandis qu’ils s’efforceront d’ignorer d’autres données (issues de PISA ou d’autres sources) parce qu’elles correspondent moins à leur agenda politique (Davies, 2012 ; Mons & Pons, 2013). Comme l’indiquent Mons et Pons (2013, p. 16) « la richesse technique et la plasticité axiologique de PISA (qui peut être mobilisé pour étayer aussi bien des recommandations néo-libérales que socio-démocrates) permettent une grande diversité d’usages et d’appropriations ». Les responsables politiques ont alors beau jeu de ne sélectionner parmi les données PISA que celles qui épousent leur stratégie politique et les intérêts qu’ils défendent. En Belgique, ceci se matérialise par exemple par le fait qu’aucun des partis politiques au pouvoir ne s’empare résolument de ce que révèle PISA-2018 en matière de causalité entre quasi-marché et iniquité scolaire pour proposer une réforme ambitieuse en la matière. Estampillées « evidence-based », ces recommandations de l’OCDE et ces légitimations « scientifiques » des réformes éducatives locales jouent alors une fonction de « clôture de la critique » (Draelants & Revaz, 2022; Normand, 2006), l’invocation des « données probantes » permettant de faire passer pour « neutres » et « incontestables » des mesures qui procèdent bel et bien d’un arbitrage idéologique.
La menace d’une « dépolitisation par la quantification »
En conclusion, lorsqu’elle s’appuie ou prétend s’appuyer sur de grandes enquêtes internationales, l’evidence-based education est toujours susceptible de faire courir aux questions éducatives le risque d’une « dépolitisation par la quantification » (Desrosières, 2008 ; Draelants & Revaz, 2022 ; Laval & Weber, 2002 ; Normand, 2006). Les analyses et les réformes, au motif qu’elles seraient « fondées sur des chiffres incontestables », sont alors présentées aux citoyens comme étant neutres politiquement : il ne serait plus question de propositions ni de réformes éducatives progressistes ou conservatrices, mais simplement de réformes efficaces ou inefficaces. Cette dépolitisation factice s’opère insidieusement en dissimulant la subjectivité qui prévaut dans le choix des indicateurs, dans l’orientation des recommandations et dans la sélection de certaines données probantes à l’exclusion d’autres pour justifier les réformes éducatives. Or le choix des indicateurs — et donc des contenus scolaires et des attitudes des élèves qui ont fait l’objet de la mesure — exige d’être examiné puisque ceux-ci déterminent les finalités et les enjeux de l’enseignement qui ont été mis en exergue par les concepteurs de l’étude, aux dépens d’autres finalités et enjeux. De même qu’il importe que les partis-pris guidant les recommandations et autres instrumentalisations politiques soient mis au jour pour que ne se mettent pas en place, « au nom d’une rationalité universelle dépolitisée, un phénomène de mondialisation et de mise en marché de l’éducation » qui finirait par constituer « un nouvel ordre éducatif mondial et néolibéral » (Laval & Weber, 2002). Ceci n’exclut cependant pas une utilisation critique des données de ces grandes études internationales, qui respecterait au moins ces deux conditions :
- la prise en compte des limites des indicateurs, surtout lorsque ceux-ci sont mobilisés pour construire des classements internationaux plutôt que pour évaluer l’iniquité interne des systèmes éducatifs ;
- la prudence à l’égard des analyses, recommandations et légitimations labellisées « evidence-based », qui sont parfois bien davantage le produit d’une interprétation idéologique des résultats que l’aboutissement d’une procédure scientifique objective et rigoureuse.
Références
Bodin, A. (2005). Ce qui est vraiment évalué par PISA en mathématiques. Ce qui ne l’est pas. Un point de vue français. Communication faite dans le cadre du colloque « Teaching mathematics: beyond the PISA survey », Paris, du 6 au 8 octobre 2005.
Bressoux, P. (2017). Practice-Based Research : une aporie et des espoirs : Une revue critique de l’article d’Anthony S. Bryk. Education et didactique, 11 (3), 123-134.
Davies, P. (2012). The state of evidence-based policy evaluation and its role in policy formation. National Institute Economic Review, 219, 41-52.
Desrosières, A. (2008). Gouverner par les nombres : l’argument statistique II. Paris : Presses des Mines/Transvalor.
Draelants, H. & Revaz, S. (2022). L’évidence des faits : La politique des preuves en éducation. Paris : PUF.
Halimi, S. (2004). Le Grand Bond en arrière. Paris : Fayard.
Hirtt, N. (2020). L’inégalité scolaire, ultime vestige de la Belgique unitaire ? Une analyse statistique des causes de l’inégalité scolaire dans l’enseignement flamand et francophone belge à partir des données de l’enquête PISA 2018. En ligne sur le site de l’Aped : https://www.skolo.org/CM/wp-content/uploads/2020/02/PISA-2018-FR.pdf
Jennar, R.-M. & Kalafatides, L. (2007). L’AGCS: Quand les États abdiquent face aux multinationales. Paris : Liber/Raisons d’agir.
Laval, C. & Weber, L. (2002). Le nouvel ordre éducatif mondial : OMC, Banque mondiale, OCDE, Commission Européenne. Paris : Syllepse.
Laval, C., Vergne, F., Clément, P. & Dreux, G. (2012). La nouvelle école capitaliste. Paris : La Découverte.
Mons, N. & Pons, X. (2013). Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? Sociologie de la réception d’une enquête internationale (2001-2008). Revue française de pédagogie, 182, 9-18.
Normand, R. (2006). L’école efficace ou l’horizon du monde comme laboratoire. Revue des sciences de l’éducation, 32 (1), 53-70.
OCDE (2012a). La rémunération fondée sur la performance améliore-t-elle la qualité de l’enseignement? PISA à la loupe, 16 (5).
OCDE (2012b). Les chèques éducation permettent-ils d’accroître l’égalité des chances ? PISA à la loupe, 20 (9).
OCDE (2014). Concurrence entre les établissements d’enseignement : quand est-elle bénéfique ? PISA à la loupe, 42 (8).
Ogien, A. (2020). Peut-on se déprendre du pouvoir du chiffre ? Droit et sociéte, 105 (2), 479-489.
Saillard, C. (2022). Les Français et les mathématiques : un regard sociologique sur les indicateurs du niveau des élèves comme instrument de gouvernance des systèmes éducatifs. En ligne sur le site de Variances : https://variances.eu/?p=6773
Stewart, W. (2013). Is PISA fundamentally flawed ? TES Magazine, 26 juillet 2013. En ligne : https://www.tes.com/magazine/archive/pisa-fundamentally-flawed-0
Notes
- C’est particulièrement le cas en Belgique, puisque plus de 100 points de différence en Belgique entre les scores moyens des 25% les plus riches et des 25% les plus pauvres séparent les 25% les plus riches des 25% les plus pauvres, ce qui équivaut à près de 3 années scolaires. ↑
- OCDE : Organisation de Coopération et de Développement Économiques ↑
- PISA : Programme for International Student Assessment ↑
- IEA : International Association for the Evaluation of Educational Achievement ↑
- PIRLS : Progress in International Reading Literacy Study ↑
- TIMSS : Third International Mathematics and Science Study ↑
- ICCS : International Civic and Citizenship Education Study ↑
- ICILS : International Computer and Information Literacy Study ↑
- … mais néanmoins des partenariats avec la Banque mondiale et la Commission Européenne. ↑
- Pour un développement plus détaillé de cet argument, voir Hirtt (2020, p. 2). ↑
