Après avoir pris connaissance de notre étude, notamment par la lecture du questionnaire publié dans Le Soir, quelques collègues et journalistes nous ont fait part d’un double souci. Premièrement, nos questions n’étaient-elles pas trop difficiles ? Deuxièmement, l’ensemble ne ressemble-t-il pas davantage à un « quiz » qu’à une enquête scientifique ?
Nous sommes bien conscients que certaines questions étaient difficiles. Cela était d’ailleurs voulu ainsi. En effet, pour obtenir une gradation continue dans les niveaux de performance des élèves, il fallait aussi prévoir une gradation dans les niveaux de difficulté des questions. C’est pourquoi vous trouverez, dans le questionnaire, des questions allant du très facile (le charbon est-il une énergie renouvelable ? quel pays a colonisé le Congo ?) au très difficile (dater approximativement la naissance du Soleil, évaluer les écarts de revenus en Belgique).
Un tel questionnaire permet d’obtenir, après une attribution de points assez complexe, une note d’évaluation qui présente une courbe de distribution normale (courbe de Gauss) et qui se prête dès lors très bien à des comparaisons objectives entre groupes (type d’enseignement, communauté, sexe, origine sociale, etc…).
Le constat négatif que nous dressons à la suite de cette étude ne se fonde pas sur le fait que les réponses aux questions difficiles étaient souvent mauvaises (cela, nous l’attendions : ces questions étaient destinées à faire la différence entre les « bons » et les « très bons ») mais sur le fait que même les réponses aux questions faciles se sont souvent avérées fort décevantes par rapport à ce que nous escomptions (voir les 26% de réponses incorrectes à la question : « quel pays a colonisé le Congo-Kinshasa ? »).
D’autre part, il importe de comprendre que la technique d’évaluation mise en oeuvre ici n’a rien à voir avec une vulgaire cotation dichotomique du style « bon/mauvais ». Ainsi, pour toutes les questions dont les réponses sont de type numérique, nous ne nous sommes pas contentés de regarder si l’élève fournissait la bonne réponse, mais nous avons mesuré la distance où il se situait par rapport à cette bonne réponse et attribué des notes pondérées, en fonction de ces distances. Par exemple, la part de l’éolien dans la production électrique belge est en réalité d’environ 0,5%. Nous avons mis une note de 100/100 à ceux qui répondaient 1% ou moins, une note de 75/100 à ceux qui répondaient moins de 5%. Et ainsi de suite. On trouvera le détail de ces pondérations et cotations dans l’annexe technique.
Certes, les choix opérés ainsi continuent de relever d’une appréciation subjective. Mais on touche là à la subjectivité politique propre à ce que nous entendions mesurer : la capacité de comprendre le monde en citoyen critique. Cette subjectivité-là, nous l’assumons évidemment pleinement puisqu’elle est incontournable.
Signalons aussi que très souvent des compétences évaluées n’apparaissaient pas explicitement dans le questionnaire. Ainsi l’épreuve principale dans la datatation des événements historiques ou préhistoriques consistait-t-elle à produire une chronologie correcte (situent-ils la disparition des dinosaures avant ou après l’apparition de l’agriculture ?) même si la datation proprement dite était également prise en compte dans l’évaluation des élèves. Autre exemple : pour l’estimation de la part des différentes sources d’énergie dans notre production d’électricité, une « épreuve cachée » consistait à vérifier si les élèves totalisaient bien (à peu près) 100%. Ce qui fut loin d’être le cas…
Quand nous demandions aux élèves d’estimer, à partir de la donnée du revenu moyen d’un ménage belge, celui des 10% les plus riches et celui des 10% les plus pauvres, l’objectif n’était pas de voir s’ils connaissaient ces revenus, mais de juger de leur perception des écarts de revenus dans notre pays. Lorsqu’on observe que pour un quart des élèves le rapport de richesse entre les déciles extrêmes ne dépasse un rapport de 1 à 2, n’est-ce pas significatif quant à une absence de perception des inégalités sociales ?
Pareillement, dans les questions à choix multiples, nous ne nous sommes pas contentés d’observer si l’élève avait indiqué la bonne réponse. Celui qui considère que les noirs d’Amérique sont les « descendants de populations indigènes » précolombiennes n’a pas droit à la même cotation que celui qui se trompe en croyant qu’il s’agit des descendants de « serviteurs des premiers colons ». Et celui qui cite erronément (mais de peu) le Japon parmi les quatre pays ayant eu le plus de victimes durant la Seconde guerre mondiale est évidemment autrement jugé que celui qui imagine pouvoir y faire figurer la Belgique.
Il ne s’agissait donc pas du tout, comme pouvait peut-être le laisser penser la simple lecture du questionnaire, d’une sorte de « quiz », mais bien d’une évaluation complexe de la perception des réalités environnementales, économiques, technologiques, sociales… par des jeunes de 17-18 ans.
Un « quiz » aux questions trop difficiles ?
Dans la question 14 -apparition des religions- n,y aurait-il pas confusion entre catholicisme et christianisme ?
Un « quiz » aux questions trop difficiles ?
Nous avions envisagé d’écrire « christianisme » au lieu de « catholicisme », mais il est apparu lors des pré-tests de l’enquête que cela jetait davantage de confusion dans l’esprit des élèves interrogés parce que le protestantisme est aussi un christianisme. Nous avons donc opté pour « catholicisme », même si le terme est beaucoup plus récent.
N..H.
Un « quiz » aux questions trop difficiles ?
Vous dites avec raison que le terme « catholicisme » est beaucoup plus récent, mais existait-il vraiment dans le sens « catholique romain » avant la naissance de l’Islam (VII s), car la scission catholique-orthodoxe ne date que du XI s.
Un « quiz » aux questions trop difficiles ?
C’est bien là le problème. En désignant la religion chrétienne des premiers siècles par « christianisme » nous constations des confusions chez les élèves face à « protestantisme ». En la désignant par « catholicisme » nous commettions sciemment une faute de terminologie, mais la question était clairement comprise. Nous avons donc préféré la deuxième solution car il fallait impérativement nous en tenir à une formulation simple (n’oublions pas que les professeurs présents ne pouvaient en aucune façon aider les élèves). Je puis cependant vous assurer qu’il n’y a guère d’élèves qui auraient compris « naissance du catholicisme » comme étant le schisme d’avec l’Eglise orthodoxe. En d’autres termes, le débat que nous menons est évidemment pertinent sur le plan de la rigueur historique, mais il dépasse de loin les connaissances que notre enquête se proposait de mesurer et il n’a donc aucun impact sur la signification des résultats observés.
N.H.
Un « quiz » aux questions trop difficiles ?
Je ne veux pas polémiquer, mais je ne comprends pas votre distinction entre « rigueur historique » et « niveau de connaissances ».Dans ce même contexte j’ai du mal à comprendre les confusions entre « chritianisme » et « protestantisme » que vous avez renccontrées lors des pré-tests, car la naissance « historique » de ces deux termes est quand-même séparée de 15 siècles.
P.S. Est-il possible de se procurer le détail de vos critères d’évaluation ?
En tout cas « félicitations » pour votre démarche !
Un « quiz » aux questions trop difficiles ?
Tous les détails figurent dans les annexes techniques de la brochure que vous pouvez télécharger à l’article principal consacré à cette étude.
Voici la confusion observée : face à la question formulée avec « christianisme » au lieu de « catholicisme » certains élèves disaient : « il y a différents christianismes, dont le protestantisme; comment voulez vous que je les classe chronologiquement ». Or nous vouions éviter toute intervention du professeur pendant les réponses à l’enquête. Or, en écrivant « catholicisme » les élèves comprenaient qu’il s’agissait simplement de situer l’époque de J.C. et des apôtres. Nous voulions seulement tester s’ils savaient que J.C. est postérieur au judaïsme et antérieur à l’islam.
Un « quiz » aux questions trop difficiles ?
Je comprends votre raisonnement.Est-ce qu’il n’ aurait pas été plus simple de demander la « situation » chronologique de personnanges tels que Moïse, Jésus- Christ,Mahamet et Luther et -pourquoi pas- de Martin Luther King?
Un « quiz » aux questions trop difficiles ?
Peut-être. Je vais y réfléchir. Merci en tout cas pour le débat constructif.
Un « quiz » aux questions trop difficiles ?
Cette étude est certainement une bonne chose, dans le sens où elle pose enfin la question des connaissances nécesaire pour être un citoyen averti.
Cependant, il est regrettable qu’elle souffre de lacunes.
Dans la question 9, le terme « augmenter » est très ambigu. Considère-t-on l’augmentation en pourcentage (dans ce cas b et e sont vrais) ou l’augmentation absolue (auquel cas b et e sont faux) ?
Les questions sur les religions sont ambigües et tendancieuses.
La question sur le capitalisme est très discutable. Il en ressort que celui qui la pose semble confondre capitalisme et industrie.
La plaie de ce type de questionnaires est que certaines questions sont très très ambigües/ambiguës, et que les auteurs ont tendance à mettre sur un piédestal ce qui n’est que leur opinion.
Un « quiz » aux questions trop difficiles ?
Question 9. Pas d’accord. Iil s’agissait bien de l’augmentation en pourcentage (cfr la question 8 et le graphique en indices qui ne permettent aucun doute à ce sujet). Et dans ce cas, contrairement à ce que vous écrivez, b est faux. C’est f qui est vrai. La proposition e est toujours vraie, quel que soit le sens que l’on donne à « augmenter ».
Question 14. En quoi la question sur les religions est-elle « tendancieuse » ? Y aurait-il un désaccord entre les historiens à ce sujet ?
Question 16. Nous parlons clairement du « développement du capitalisme au 19e siècle » et non du « capitalisme » tout court. L’industrialisation est la forme historique de ce développement, impulsé par l’invention de la machine à vapeur.
NH
Un « quiz » aux questions trop difficiles ?
Pour la question 9, seuls b et e me posent problèmes, pour les autres réponses (f compris), je suis d’accord.
Selon l’interprétation du mot « augmenter » je pense que soit b et e sont tous les deux vrais, soient tous les deux faux.
Vous me dites qu’il s’agit de l’augmentation en pourcentage, mais dans ce cas, b est vrai. En effet, on a les différents pourcentages, on peut donc les comparer.
Je sens déjà venir le faux argument selon lequel ce ne serait pas possible car on ne connait pas la valeur absolue de cette augmentation. Mais si on veut comparer l’augmentation en pourcentage et pas de l’augmentation absolue, alors cette objection n’a pas lieu d’être.
La question 14 me semble tendancieuse pour plusieurs raisons.
1/ Le choix des religions citées : ni la 3ème religion au monde (hindouisme), ni le troisième monthéisme (sikhisme) n’est cité. Il s’agit d’un choix partial qui donne plus d’importance à des religions moins répandues.
2/ Le fait de mettre sur le même plan une branche du christianisme (comme le catholicisme) avec l’Islam tout entier. Le catholicisme est généralement comparé au sunnisme, pas à tout l’Islam.
De plus, à cette adresse http://www.iesr.ephe.sorbonne.fr/index.html?id=3459 on trouve le résumé d’un livre de l’Institut européen en sciences des religions qui semble fixer les débuts du catholicisme à la fin du Moyen-âge (donc après l’Islam).
Evidemment, c’est subjectif de dire que le catholicisme a commencé a tel ou tel moment. Le mot « catholicisme » n’est apparu qu’à la renaissance il me semble (à vérifier).
Vous avez discuté précédemment de l’opportunité de mettre « christianisme » à la place, je pense que cela aurait été plus clair. Je ne pense pas que faire volontairement une erreur dans la question rend le questionnaire plus compréhensible ou plus pertinent.
Pour la question 16, je trouve que la réponse est subjective : elle dépend de ce qu’on appelle le capitalisme, et dépend de comment on juge « l’impact » des différents phénomènes mentionnés.
Il est toujours très difficile de dire quel est l’évènement historique qui a eu le plus de conséquences. Que ce serait-il passé si Napoléon avait gagné ? Nul n’en sait rien, on ne peut donc pas mesurer quel aurait été « l’impact » d’une victoire de Napoléon.
Je vois donc dans cette question un biais idéologique.
Je reste dubitatif quand je lis que la réponse (c) est de l’ordre de la conséquence et non de la cause. En effet, un phénomène aussi long peut être cause et conséquence.
En plus, le développement de la machine à vapeur est aussi une conséquence de l’évolution du capitalisme.
Au final, ce sont des phénomènes qui s’influencent mutuellement.
Enfin, dans cette question 16, l’anglicisme « impact », qui est connu pour être mal compris, est utilisé au lieu de « conséquence ».
Un « quiz » aux questions trop difficiles ?
Question 9 : je pense que vous avez mal lu la proposition « b ». Il y est dit : « ce graphique ne permet PAS de dire où les émissions ont le plus augmenté ». Cette proposition est FAUSSE, s’agissant d’une augmentation relative (en pourcent) puisque c’est précisément ce qu’il permet de dire ! (et ce qu’on demandait d’ailleurs de calculer à la question précédente).
Question 14 : Religions. Il ne s’agissait pas d’indiquer quelle religion est la plus importante mais de classer les dates de naissance de celles dont on peut espérer qu’un jeune de 17-18 ans sortant de l’enseignement secondaire ait entendu parler. J’entends vos scrupules à appeler « catholique » la religion chrétienne des premiers siècles, mais je maintiens que c’était la meilleure façon de faire en sorte que les élèves comprennent la question. Aucun n’a imaginé que nous parlions du moment où le terme « catholicisme » apparaît pour la première fois, au 11e siècle. D’ailleurs, la plupart des mauvaises réponses proviennent d’élèves qui situent la naissance du catholicisme (pardon, la chrétienté) AVANT le judaïsme.
Question 16. Votre argumentation sent un peu le relativisme. A vous entendre il n’y aurait pas de facteurs plus déterminants que d’autres pour expliquer le développement historique. Ce qui rendrait caduque toute tentative de comprendre l’histoire. Si Napoléon avait gagné Waterloo, cela aurait-il changé quelque chose à la nature du développement du capitalisme au 19e siècle (industrialisation, urbanisation, croissance numérique de la classe ouvrière…) ?
D’autre part, s’il est vrai que l’urbanisation a eu, en retour, un effet accélérateur sur l’industrialisation (raison pour laquelle, dans les calculs de points, nous avons attribué une note non nulle à cette réponse, contrairement par exemple à la réponse « l’automobile » qui est anachronique) il n’en reste pas moins que c’est la machine à vapeur qui a jeté les bases matérielles, technologiques, de ce développement. Le capitalisme industriel du 19e siècle ne s’est pas développé d’abord là où existaient des villes, mais là où il a trouvé du charbon, quitte à y créer des villes (cfr l’urbanisation des bassins miniers en Europe).