Notes marginales auprès du Rapport de la Fondation Roi Baudouin

1. réaction critique
   Cher Monsieur Hirtt,

   Bonsoir et merci pour votre rapport. Je suis l’auteur principal du rapport publié par la FRB. Je tiens à réagir immédiatement sur différents points techniques, évidemment concernant notre chapitre 7 que vous critiquez (c’est à dire l’analyse de régression linéaire multiple).

   Répétons tout d’abord la conclusion de notre étude, afin d’éviter tout malentendu:
   « Nous l’avons vu, l’origine sociale des élèves, établie sur la base du niveau d’instruction et sur la profession des parents, explique une part des écarts observés. Comme cela a été établi depuis des décennies, l’école continue de transformer des inégalités sociales en inégalités scolaires. Cependant, le statut socioéconomique, malgré le rôle très important qu’il joue, n’absorbe pas les effets des autres facteurs. Ainsi, la langue parlée à la maison constitue un autre facteur déterminant, influençant grandement l’écart existant entre élèves, et notamment entre élèves autochtones et issus de l’immigration. Le type d’enseignement (général ou qualifiant) intervient également dans la distribution des résultats. Celui-ci est à la fois une cause et une conséquence pour les élèves de l’enseignement qualifiant. Néanmoins, si nous contrôlons ces trois facteurs, le statut socioéconomique, la langue parlée à la maison et le type d’enseignement, les élèves issus de l’immigration se trouvent toujours dans une situation défavorable. Dès lors, la réflexion doit être ouverte sur les facteurs liés à l’origine ethnique et nationale qui seraient sources d’inégalités, en écartant les arguments pernicieux qu’ils aient attrait à la biologie (‘inférieurs’) ou à l’incompatibilité culturelle (‘trop différents pour s’intégrer’) »
   (Jacobs, Rea & Hanquinet, 2007 : 47)

   Vous êtes d’accord avec les constats et les analyses qui se trouvent dans les six premiers chapitres de notre rapport, mais vous ne suivez pas nos analyses et notre argumentation dans le chapitre 7. Voila donc une situation « d’impasse » ( » een patstelling », comme on dit en néerlandais) parce que nous (moi-même et mes co-auteurs) sommes également convaincu de l’exactitude des conclusons que nous formulions dans notre rapport.

   Dans l’introduction de votre texte vous écrivez : « Sans vouloir entrer dans une démarché polémique, mais à seule fin de clarifier les choses sur le plan technique et d’approfondir un débat qui nous semble réellement crucial, nous avons voulu confronter nos propres méthodes à celles utilisées dans l’étude de la FRB ». Je ne cherche pas non plus la polémique, mais la thématique est évidemment très importante. D’ailleurs, nous insistons tous les deux sur un même constat : « La Belgique a encore beaucoup d’efforts à faire en ce qui concerne la démocratisation de son enseignement qui ne sert actuellement plus suffisamment d’ascenseur social » (Jacobs, Rea & Hanquinet, 2007). En plus, nous partageons le même idéal : atteindre une réelle égalité de chances pour tous les élèves.

   Notre discussion est arrivée à un point fort technique qui risque d’être peu intelligible pour nos lecteurs. Vu l’importance du sujet, la discussion technique est néanmoins très importante. Dans un instant je vais formuler plusieurs remarques critiques concernant votre nouvelle note. Comme vous, je reste sur ma position.

   Fort probablement on ne va jamais s’en sortir en produisant chaque fois des ‘rapports ombres’ (‘schaduwrapporten’). Voici donc une proposition : Je vous invite à discuter ensemble l’analyse des résultats des prochaines épreuves PISA (les données concernant 2006 qui devraient être rendues publiques fin 2007). Comme ça on peut essayer de résoudre les problèmes techniques ensemble. Mais il y a deux conditions : 1) comme c’est la coutume en science, tous les deux doivent être prêts à accepter n’importe quelle conclusion qui sortirait sur base des données empiriques et 2) nous allons utiliser les procédures d’analyse les plus appropriées et les plus strictes du point de vue technique.

   Voici donc déjà quelques réponses et remarques après une première lecture de votre rapport:

   1) Désolé, mais il faut nous citer de façon correcte. Nous n’avons jamais parlé d’un « relativement faible impact de la variable profession des parents » (p.5 de votre note). Il faut nous citer correctement: « le relativement faible impact de cette variable est dû au fait que la profession des parents est, en grande partie, expliquée par le niveau d’instruction, qui est déjà présent dans le modèle » (p.42 de notre rapport). On donne donc, dans le cadre de la régression linéaire, une explication pourquoi le coefficient de régression concernant la profession des parents est plus petit que le coefficient de régression concernant le niveau d’éducation des parents: les deux sont corrélés et le coefficient concernant le niveau d’éducation se trouve déjà dans le modèle. On a d’ailleurs belle et bien expliqué comment interpréter les coefficients de corrélation : « Ainsi, plus les parents ont un niveau d’études élevé (10 ans par exemple), plus leurs enfants auront un bon score en mathématiques (une augmentation avec 93,7 points) » (p.42 de notre rapport). En plus, le chapitre 6 est très clair sur l’importance de la profession des parents.
   Nous n’avons jamais nié – et vous les savez bien – que les variables socio-économiques sont très importantes dans l’explication des écarts: c’est d’ailleurs démontré dans notre analyse de régression (et dans les analyses bivariées). Nous insistons juste sur le fait que cela n’explique pas tout: les écarts restent significatifs après contrôle.

   2) Je n’ai pas le temps maintenant pour vérifier tous vos calculs. Mais il me semble qu’il y a quand même un problème à ce niveau. Dans votre tableau « Coefficients de régression en utilisant l’indice socio-économique ESCS – Variable dépendante : résultats en mathématique – Communauté française », par exemple, le coefficient correct pour le modèle 4a concernant la langue semble être 8,092 (et pas 0.37). Tous les coefficients sont d’ailleurs statistiquement clairement significatifs – à l’encontre de ce que vous dites ; que cela serait « à la limite de ce qui est statistiquement significatif » (même page que le tableau). Allez, soyons sérieux, les résultats sont significatifs à un niveau de 0.001 ! Vous devriez d’ailleurs chaque fois indiquer les erreurs types et/ou le niveau de signification (évidemment on utilisant la procédure d’itération liée aux valeurs plausibles, sinon on sous-estimerait les erreurs types). C’est la norme dans les publications scientifiques.

   3) Oui, j’ai critiqué lors de la conférence de presse la procédure que vous avez utilisée dans le premier rapport: les effectifs sont trop petits pour faire les sous divisions par origine nationale comme vous les avez effectuées dans votre premier rapport. Vous vous rendez compte que vous parlez souvent de moins que 15, même moins que 10 personnes? Du point de vue méthodologique ceci est inacceptable. Je constate que vous en êtes conscient d’ailleurs : « Il faut reconnaître qu’une telle approche conduit à travailler sur des échantillons extrêmement restreints ».

   4) Autre point technique important : l’indice ESCS est calculé sur base d’une analyse en composantes principales, bien que l’OECD avait dû le calculer on utilisant une procédure d’analyse factorielle confirmatoire qui est plus appropriée pour construire des facteurs latents. L’indice ESCS est, en plus, basé sur les indicateurs suivants:
   « i) the highest international socio-economic index of occupational status of the father or mother; ii) the highest level of education of the father or mother converted into years of schooling and iii) the number of books at home as well as access to home educational and cultural resources, obtained by asking students whether they had at their home: a desk to study at, a room of their own, a quiet place to study, a computer they can use for school work, educational software, a link to the Internet, their own calculator, classic literature, books of poetry, works of art (e.g. paintings), books to help with their school work, and a dictionary. »
   Il y a donc des indicateurs de ‘capital culturel’ (dans le sens de Pierre Bourdieu) dans cette indice qui chevauchent avec l’utilisation de la langue du test à la maison (ou pourrait avoir un lien également avec l’histoire migratoire). Il faut en être conscient et en tenir compte. Il est donc mieux de distinguer les différentes dimensions de l’indice composé ESCS et de se focaliser sur les variables clairement socio-économiques.

   5) Encore un point important : Quid d’ailleurs des élèves immigrés ‘de la première génération’ ? Vous insistez toujours sur les résultats des élèves de la deuxième génération. Mais dans toutes vos données – même en utilisant la procédure de calcul basée sur l’indice ESCS, qui me semble moins appropriée, comme je viens d’expliquer – il est pourtant clair que l’écart reste toujours présent pour les élèves immigrés de la première génération, également du côté francophone. Et ce constat reste valable également quand on supprime les élèves issus des pays avoisinants des calculs. Je vous invite de faire l’exercice : vous allez constater que j’ai raison.

   6) Remarque à nouveau très technique : pour votre modèle 4d (Coefficients de régression en utilisant différentes variables – Communauté française) vous ne devriez pas utiliser une régression linéaire mais une régression logistique.

   7) Oui, je considère les tests PISA – qui sont standardisés – plus fiables que les taux de redoublement (qui peuvent varier par école et peuvent donc avoir un lien avec la politique de la direction, l’attitude des professeurs et/ou la culture institutionnelle des écoles)

   J’ai entamé l’analyse des données PISA avec un esprit libre. Pour vous dire tout, j’avais attendu, quand j’ai abordé l’analyse, de pouvoir expliquer tous les écarts entre élèves issus de l’immigration et élèves qui ne sont pas issus de l’immigration avec des variables liées à la position socio-économique. Les données empiriques ont montrées que, certes, le facteur socio-économique est un facteur crucial, et oui, prédominant. Néanmoins les données nous enseignent en même temps qu’il y a toujours d’autres facteurs en jeu. Des facteurs moins importants que le facteur socio-économique, certes, mais néanmoins des facteurs qui restent significatifs du point de vue statistique.

   Pourquoi coûte que coûte vouloir nier l’importance de la langue parlée à la maison, comme vous semblez faire dans votre conclusion? Je vous cite : «En d’autres mots, les facteurs strictement liés à la nationalité d’origine ou à la langue maternelle sont négligeables (en communauté française) ou secondaires (en communauté flamande) par rapport aux déterminants sociaux ». Devrait-on en déduire que vous êtes convaincu que les élèves qui parlent une autre langue à la maison n’ont pas besoin de (et n’ont pas droit à) une attention spécifique de la part de l’école sur ce point – et que les classes passerelles, par exemple, n’ont donc pas de sens ? (Comment expliqueriez vous d’ailleurs les différences concernant le facteur linguistique entre les écoles francophones et les écoles néerlandophones? Et à nouveau : quid de la situation des élèves de la première génération ?)

   Pourquoi coûte que coûte vouloir nier que les élèves issus de l’immigration mériteraient de l’attention additionnelle? Vous dites que « l’action nécessaire en faveur de la réussite scolaire des enfants issus de l’immigration est d’abord celle qui s’impose au bénéfice de tous les enfants du peuple ». C’est peut être vrai, mais il y a encore des défis spécifiques et additionnels auxquelles sont confrontés nos jeunes issus de l’immigration. Est-ce que je vous comprend bien que vous voulez éviter coûte que coûte des actions ciblées- bien sûr parallèlement à d’autres actions plus générales – même si elles peuvent être avantageuses pour ceux qui ont profiteraient ?

   (Encore sur ce point : J’hésite à utiliser cet argument – entre autre pour une raison technique liée aux faibles effectifs – mais considérons les résultats en lecture des élèves issus de l’immigration maghrébine en Flandre et en Belgique Francophone : les résultats des élèves maghrébines en Flandres sont meilleures que les résultats des élèves en Belgique Francophone en ce qui concerne lecture. On devrait le tester dans les données PISA 2006 mais ceci pourrait bien être un premier résultat des politiques ciblés à l’école dans le système flamand.)

   Et, dites-moi, êtes vous vraiment convaincu que les élèves issus de l’immigration ne sont pas victime de discrimination directe et indirecte, par exemple, en ce qui concerne l’accès à certaines écoles ? Il me semble que ce problème est très réel du côté flamand mais existe également du côté francophone.

   Bien à vous,
   Dirk Jacobs

   (Dirk Jacobs est chargé de cours en sociologie à l’ULB)

   N.B.1 Désolé pour les erreurs contre votre belle langue française dans ma réaction. Veuillez m’en excuser, je suis néerlandophone…

   • > réponse à cette réaction critique (et constructive)
     Cher Monsieur Jacobs,

     Je vois que vous avez travaillé fort tard cette nuit ! Je vous en remercie et je suis heureux que le contact soit établi. Car en effet, je pense que nous oeuvrons fondamentalement à un objectif commun : la démocratisation de l’accès à l’enseignement et aux savoirs, le refus de toute discrimination, qu’elle soit sociale ou ethnique.

     Lorsque nous avons réalisé notre première étude, en juin 2006, nous tenions avant tout à réagir politiquement, face aux commentaires qui, dans la presse et dans la classe politique, faisaient suite à la publication du rapport de l’OCDE. En ciblant exclusivement les enfants issus de l’immigration, en tant qu’allochtones, en tant qu’ils parlaient une langue différente de celle de l’école, en tant qu’ils appartenaient à une culture différente, on laissait dans l’ombre la réalité d’un système éducatif – car c’est bien pour l’essentiel le même système éducatif libéral qui sévit au Nord et au Sud de notre pays – pratiquant la ségrégation sociale à outrance. On risquait également de prêter le flanc à ceux, très nombreux jusque dans le corps enseignant, qui tentent d’expliquer les inégalités sociales dans l’école belge par la proportion élevée d’enfants issus de l’immigration.

     C’est ainsi que je me suis plongé dans la base de données PISA, avec mes moyens techniques limités et mes modestes connaissances statistiques héritées d’une formation en physique expérimentale. Je vous avoue que j’ai été le premier surpris par les résultats. Alors que j’espérais seulement montrer que les performances des enfants issus de l’immigration résultaient pour une part importante de leur condition sociale, je découvris qu’en Communauté française l’impact de la situation d’origine « nationale » (pour les deuxièmes générations) s’annulait presque totalement à origine sociale égale. En Communauté flamande, l’impact des facteurs socio-économiques s’avérait nettement plus important que celui de la langue ou de l’origine nationale. Tel est le sens des conclusions de l’étude que nous avons publiée voici bientôt un an.

     Quelques mois plus tard, lors d’un colloque sur la réussite scolaire à l’université, organisé par la ministre Simonet et la FEF, j’étais invité à participer à un atelier relatif aux inégalités dans l’enseignement supérieur. L’un des autres intervenants était monsieur Fontaine de la Fondation Roi Baudouin, qui y présenta les premiers résultats d’une étude que la FRB comptait publier bientôt. C’est ainsi que j’entendis parler pour la première fois de vos travaux. Dans les conclusions de son exposé, monsieur Fontaine indiquait quelques pistes pour remédier aux mauvaises performances des enfants issus de l’immigration. Or, aucune de ces pistes ne s’attaquait aux mécanismes structurels de la ségrégation sociale dans l’enseignement, qui est pourtant la cause majeure (mais non pas unique, au moins en Flandre) des médiocres performances des allochtones de deuxième génération. Monsieur Fontaine axait ses propositions sur des réponses sélectives aux problèmes spécifiques liés à la scolarité des enfants issus de l’immigration; jamais il ne les considérait comme des enfants du peuple, qui sont d’abord les victimes d’une ségrégation sociale avant d’être, sans doute aussi, les victimes d’une ségrégation ethnique, culturelle, religieuse, etc.

     Si j’ai voulu réagir à votre étude, après sa publication récente, c’est avant tout parce que je crains que la formulation de vos conclusions ne prête le flanc à ce type de dérive. Je suis heureux de lire dans le courrier que vous m’envoyez que « les données empiriques ont montrées que, certes, le facteur socio-économique est un facteur crucial, et oui, prédominant ». Et je suis d’accord avec vous lorsque vous ajoutez: « Néanmoins les données nous enseignent en même temps qu’il y a toujours d’autres facteurs en jeu. Des facteurs moins importants que le facteur socio-économique, certes, mais néanmoins des facteurs qui restent significatifs du point de vue statistique. » Cela est en tout cas démontré pour la Flandre. Mais lorsqu’on lit le rapport rédigé pour la FRB, en particulier ses conclusions, le ton n’est pas le même et c’est la deuxième partie de cette thèse qui domine largement. Au lieu d’être présentée comme un « facteur crucial (et) prédominant », l’origine sociale n’y explique plus que « une part des écarts observés ». Vous y reconnaissez seulement que le statut socioéconomique joue « un rôle très important », mais ce rôle est mis sur pied d’égalité avec les « autres facteurs déterminants » qui sont liés à l’origine nationale, ethnique, culturelle… Or, vous savez comme moi qu’à de rares exceptions près, les journalistes et les politiques ne lisent que les conclusions de nos études. On a ainsi pu constater, dans les comptes rendus de la presse concernant le rapport de la FRB, qu’il y était longuement question des « autres facteurs déterminants » (langue, culture, intégration…) et jamais du « facteur crucial et prédominant » qu’est l’origine sociale.

     D’autre part, je ne cacherai évidemment pas que si j’ai voulu mettre les pendules à l’heure c’est aussi parce que vous avez formulé explicitement ces conclusions en opposition avec notre étude de juin dernier. D’autant que vous nous y prêtiez erronément une volonté de « rejeter complètement toute explication des écarts de performances fondée sur l’origine ethnique et à trouver dans la position socioéconomique des parents de ces jeunes la raison principale de l’inégalité » (p47 de votre rapport). Nous avons certes écrit que ce type d’explication n’apparaissait pas au vu des données PISA en Communauté française; en revanche nous avons clairement écrit qu’elle était un aspect significatif des résultats des allochtones en Communauté flamande. Dans notre rapport de juin 2006 nous écrivions: « force est de constater qu’il semble bien y avoir, en Flandre, des mécanismes de ségrégation scolaire liés à l’origine ethnique ou nationale et qui viennent s’ajouter aux inégalités d’origine sociale » (p22) et nous concluions : « En Flandre, il subsiste manifestement un effet propre à l’origine nationale et indépendant de l’origine sociale. » (p26).
     Pour une raison que j’ignore, vous semblez vouloir minimiser cette différence entre les résultats de la Flandre et de la Communauté française. Or, elle est très importante, politiquement. Non pour stigmatiser la Flandre, bien sûr. Mais pour montrer que les performances médiocres des enfants issus de l’immigration ne sont pas une fatalité « génétique » ou « culturelle »; qu’elles découles manifestement de causes externes liées aux pratiques pédagogiques ou aux systèmes éducatifs. Sans quoi il n’y aurait pas de raison d’observer cette différence entre les deux communautés.

     La multiplication des attaques contre notre étude de juin 2006 dans le rapport que vous avez rédigé pour la FRB est d’autant plus étonnante et regrettable que, comme vous venez de le reconnaître et comme je l’écris dans ma note, nos deux études – en dépit de toutes les arguties techniques – montrent en réalité la même chose essentielle : la prédominance des effets liés à l’origine sociale sur les effets, réels mais secondaires, des facteurs liés à la nationalité, la langue ou l’ethnie. Il me semble que si vous aviez formulé vos conclusions, dans le rapport de la FRB, avec autant de force et de clarté que vous les écrivez maintenant dans votre courrier, si vous aviez reconnu que vos résultats vont fondamentalement dans le même sens que les nôtres – au lieu de chercher à tout prix à vous en distancier – nos échangez auraient d’emblée été plus sereins.

     Quoi qu’il en soit, je ne regrette rien. Cet échange de vues a été très stimulant, tant sur le plan politique que scientifique. Et si mon emploi du temps me le permet je me réjouis de comparer à nouveau nos analyses à l’occasion de la publication de PISA 2006. En respectant évidemment les deux « conditions » que vous y posez et que je trouve d’ailleurs un peu blessantes : j’espère que vous ne doutez pas que c’est bien dans cet esprit là que j’ai toujours oeuvré.

     Contrairement à l’impression qu’ont pu vous donner mes textes je ne veux pas « coûte que coûte nier l’importance de la langue parlée à la maison » et des autres facteurs liés à l’origine nationale. J’observe seulement qu’à première vue ces effets sont secondaires (en Flandre) ou négligeables (en Communauté française) en regard de l’impact des facteurs socio-économiques. Ceci ne signifie nullement qu’ils soient inexistants. Oui, je pense tout comme vous que les enfants issus de l’immigration sont probablement victimes de discriminations directes ou indirectes, et pas seulement en Flandre. Mais il faut alors supposer qu’il existe d’autres facteurs qui, au moins en Communauté française, viennent compenser cette discrimination à origine sociale identique. Davantage de contrôle familial ? Des attentes plus élevées dans le chef des parents ? Je l’ignore et je laisse aux sociologues le soin de trancher cette question.

     Bien à vous,

     Nico Hirtt

     ————-

     Je réponds très rapidement à quelques unes de vos remarques précises, en ajoutant toutefois qu’il s’agit manifestement de questions secondaires.

     Votre point 1. Je persiste à croire que la citation est bien en contexte puisque vous parlez de « relativement faible impact de cette variable » et que je conteste moi que cet impact soit « relativement faible ». Je maintiens aussi que vous ne pouvez pas dire « le coefficient de régression concernant la profession des parents est plus petit que le coefficient de régression concernant le niveau d’éducation des parents ». Certes, le premier coefficient (associé à la variable HISEI) est 1,76 et le second (PARED) vaut 4,07, mais vous comparez-là des grandeurs non comparables, puisqu’elles s’expriment dans des unités non comparables. Le premier coefficient de régression s’exprime en « points par unité de l’indice ISEI », le second en « points par année d’étude des parents ». Or l’indice ISEI varie de ±10 à 90, alors que le nombre d’années d’étude varie en général de ±5 à 20. L’écart type de la première variable est de 16,7 (en communauté flamande), celui de la seconde variable de 2,92. En d’autres termes, le coefficient de 1,76 représente une variation de 29,5 points (en math) par écart-type, alors que le coefficient de 4,07 représente seulement une variation de 11,9 points par écart-type, deux et demi fois moins. Dans ces conditions, le coefficient de 1,76 est bel et bien PLUS déterminant que celui de 4,07. Et ces deux coefficients sont, ensemble, plus déterminants pour les résultats des allochtones de 2e génération que les coefficients associés à la variable « 2e génération » ou la variable « langue du test ».

     Votre point 2. D’abord concernant les résultats significatifs ou non. Je ne pense décidément pas qu’un écart de quelques points sur des scores en mathématique variant de moins de 400 à plus de 600 points soit très significatif, eu égard à la taille des échantillons que nous manipulons ici (s’agissant des allochtones).
     Comme je l’ai écrit, j’ai moi aussi observé parfois de légers écarts entre mes résultats et les vôtres. Dans le cas que vous citez je me demande si vous n’avez commis l’erreur de faire votre calcul en réduisant l’échantillon à celui utilisé dans votre propre régression linéaire. Cela peut provoquer d’assez fortes différences (ce qui montre derechef combien les petits coefficients sont peu significatifs). Si ce n’est pas le cas, alors j’ignore d’où vient la différence. Pour que les choses soient claires, voici comment j’ai procédé (j’utilise l’environnement statistique « R »).

     La formule définissant le modèle de régression à quatre variables est :
     « mod = math ~ (immig==2) + (immig==3) + escs + langtst »
     … où la variable langtst est définie ainsi :
     langtst=(langn==56101 | langn==56104 | langn==56201 | langn==56204)
     (français, wallon, néerlandais, dialecte flamand)
     La sélection de l’échantillon utilisé est : sel = immig<8 & escs<90 & !langinc & comfl
     ...où la variable comfl est une variable binaire indiquant si un élève appartient ou non à la communauté flamande
     ... et où la variable "langinc" (langue inconnue) est définie ainsi : langinc=(langn==56197 | langn==56297 | langn==56198 | langn==56199 | langn==56298 | langn==56299)
     (exclusion des réponses nulles, non valides et manquantes pour la variable "langn")
     La régression est calculée par c=lm(formula=mod,subset=sel,weights=w_fstuwt)
     La variable w_fstuwt est la pondération finale associée à chaque élève.
     La variable math est remplacée, successivement, par les valeurs plausibles PV1MATH, PV2MATH,... PV5MATH et ensuite je prends la moyenne des cinq séries de coefficients de régression obtenus.
     Je viens de refaire ce calcul et je confirme les résultats annoncés...

     Votre point 3. Il n'en reste pas moins que, division en sous-effectifs ou non, les conclusions restent les mêmes...

     Votre point 4. Je ne comprend pas en quoi la variable HOMEPOS chavaucherait davantage l'utilisation de la langue du test que les variables HISEI et PARED...

     Votre point 5. Je réponds à cette remarque dans mon texte, dans le point intitulé "Les résultats des allochtones de première génération ne sont pas pertinents "

     Votre point 6: je vais tester ça, mais je doute que cela change le sens des résultats.

     Votre point 7: cela peut évidemment se discuter. Mais il ne faudrait pas se laisser abuser par le caractère "standardisé" des tests PISA. En réalité différents auteurs ont souligné les grandes disparités (entre pays, régions et écoles) de conditions dans lesquelles les tests PISA ont été réalisés. Ainsi observe-t-on de fortes concentrations de réponses nulles ou invalides dans les mêmes établissements. Je me propose de me pencher plus attentivement sur cette question prochainement et je ne manquerai pas de vous faire part de mes observations.

     • > réponse à cette réaction critique (et constructive)
       Cher Monsieur Hirtt,

       Merci pour votre réponse (et, effectivement, il est intellectuellement stimulant d’avoir ce genre de discussion). Je réponds brièvement sur quelques points.

       Sans vouloir (trop) être un puriste technique, je tiens à signaler que dans l’analyse vous devriez utiliser une technique de réplication (à savoir Fay’s variant of Balanced Repeated Replication), comme expliqué dans le manuel de PISA (et, plus largement, dans la littérature méthodologique sur ce genre d’épreuves). Maintenant vous avez uniquement pris la moyenne des calculs pour les cinq « valeurs plausibles ». C’est un peu plus compliqué que ça.

       Revenons sur un autre point technique : En ce qui concerne le « relativement faible impact » de la variable « profession des parents » (à cause du fait que le niveau d’éducation se trouve déjà dans le modèle): vous avez raison, j’avais dû être plus clair sur ce point. Mais en jugeant l’impact il ne faut pas uniquement évaluer le coefficient de régression partielle mais il faut également regarder le changement dans le coefficient de détermination (un changement qui est, en effet, relativement faible PARCE QUE le niveau d’éducation se trouve déjà dans le modèle).

       Plus fondamentalement, vous insistez sur le fait que « les résultats des allochtones de première génération ne sont pas pertinents ». Voici vos arguments dans votre note pour ne pas considérer les résultats concernant la première génération comme étant pertinents: « Premièrement, les élèves nés à l’étranger ont effectué tout ou partie de leurs études antérieures dans leur pays d’origine. Dès lors, il est impossible de déterminer ce qui, dans leurs résultats, est réellement le fait du système éducatif belge. Deuxièmement, on sait que les résultats des allochtones de première génération sont fortement déformés par la présence d’un nombre important d’élèves Français (en Communauté française) et Néerlandais (en Communauté flamande). Bien que catalogués « immigrés de première génération » dans la classification PISA, il s’agit en réalité bien souvent de transfrontaliers qui viennent poursuivre leur scolarité en Belgique, souvent dans l’enseignement de qualification, précisément parce qu’ils ont des difficultés scolaires dans leur pays d’origine. »
       Je suis un peu étonné en lisant cette argumentation. Tout d’abord, je ne vois pas la pertinence de votre premier argument: les immigrés de la première génération habitent maintenant bel et bien en Belgique et ont également droit à une bonne éducation. Peu importe si leur retard est dû au fait qu’ils ont étés éduqués partiellement à l’étranger, c’est la Belgique qui doit maintenant s’occuper d’eux. Et il faut donc des programmes adaptés pour ces primo-arrivants s’ils sont confrontés à des problèmes spécifiques (ce qui est le cas, également du côté francophone). En ce qui concerne le deuxième argument: quand on biffe les transfrontaliers de l’analyse, les tendances restent similaires. Je l’ai calculé (mais ces résultats n’étaient pas repris dans le rapport FRB pour ne pas l’alourdir encore plus).

       Vous dites encore: « Si l’objectif est d’analyser dans quelle mesure les élèves « issus de l’immigration » – maghrébine, turque, africaine… – présentent des lacunes scolaires spécifiques, autres que celles liées à leur origine sociale, c’est sur les élèves de deuxième génération qu’il faut concentrer notre attention. » Signalons juste que dans notre analyse, ‘élèves issus de l’immigration’ veut dire ‘élèves issus de l’immigration’; on ne focalise pas l’attention spécifiquement sur les maghrébins, turcs et africains.

       Bien à vous,
       Dirk JACOBS

     • > réponse à cette réaction critique (et constructive)
       Quelques points additionnels:
       (De puntjes op de ‘i’ zetten, zoals we zeggen in het Nederlands)

       Les différences entre nos calculs pourraient également être liées à deux facteurs additionnels:
       1) j’ai pondéré les données en utilisant ‘student weight’,
       2) je n’ai pas repris la variable ‘langue’ qui a été construite par l’OCDE (« parler oui ou non une des trois langues nationales de la Belgique à la maison »), mais j’ai construit une nouvelle variable ‘langue’ qui indique si le test a été effectué dans la même langue (le Néerlandais ou le Français) que la langue qui est parlée à la maison (cfr. l’explication sur ce point dans notre rapport).

       Au fond notre discussion sur l’interprétation de la formulation « relativement faible effet » de la variable ‘profession des parents’ dans le modèle ne change rien à la conclusion générale que l’écart entre différents types d’élèves reste significatif après contrôle (pour les deux variables socio-économiques et la variable ‘langue parlée à la maison’). Après vérification, réflexion et relecture du texte de mon rapport, je dois néanmoins avouer que je n’avais pas dû parler d’un « effet relativement faible », parce que ceci pourrait créer une confusion. Là vous avez donc un point.

       Je m’explique. L’apport de cette variable socio-économique est, certes, important, comme j’avais d’ailleurs montré plus tôt dans le rapport dans les analyses bivariées. Quand on n’interprète pas uniquement les coefficients de régression non-standardisés (les B) mais on se focalise également sur les coefficients de régression standardisés (les Betas), on voit effectivement que la variable ‘profession des parents’ a l’effet le plus important. Ce que vous dites sur ce point est donc correct. C’est d’ailleurs très logique, parce que nous sommes en train d’essayer de prédire les scores de maths de tous les élèves (et d’expliquer la variance pour la totalité de notre base de données). Le coefficient de régression est « relativement plus faible » parce que dans un scénario dans lequel on aurait introduit la variable « profession des parents » dans le modèle de régression avant d’introduire la variable « niveau d’éducation des parents » – et donc sans contrôle pour « niveau d’éducation des parents » , le coefficient de régression pour « profession des parents » serait dans ce modèle relativement plus élevé. L’effet est également « moins élevé » dans le sens ou l’impact sur le changement du coefficient de détermination est moins spectaculaire (bien qu’important) quand on passe d’un modèle à un modèle suivant, comparé à un scénario dans lequel on aurait introduit les variables dans l’ordre inversé – bien que je dois avouer qu’une introduction dans l’ordre inversé est logiquement intenable (le niveau d’éducation influence le niveau socio-professionnel d’une même personne mais normalement pas l’inverse). J’avoue volontiers que j’avais dû le formuler et l’expliquer de façon beaucoup plus claire. Quand je relis le texte dans le rapport maintenant, je vois qu’on pourrait interpréter les formulations « effet peu élevé » et « relativement faible effet » de façon incorrecte. J’assume la responsabilité : j’avais dû l’expliquer plus précisément, voire ne pas le formuler de telle façon. J’en tire également la conclusion que j’avais peut être dû donner à la fois les coefficients de régression non-standardisés (qui aident à voir l’impact de l’introduction des variables de contrôle sur l’écart entre différents types d’élèves) mais également les coefficient de régression standardisés (qui aident à évaluer l’effet direct de chaque variable, comparé aux autres variables). Mais sur le fond, tout ceci ne change rien en ce qui concerne la conclusion de l’analyse linéaire multiple : on peut expliquer une grande partie de l’écart entre élèves autochtones et élèves allochtones en utilisant les variables socio-économiques – cela serait bizarre du point de vue sociologique si ce n’était pas le cas – MAIS il reste toujours une différence qui est liée à d’autres facteurs. Il s’agit notamment de la langue parlée à la maison. Mais même si on prend cette variable également en considération, il reste toujours un écart significatif entre élèves issus de l’immigration et élèves pas issus de l’immigration.

       Insistons encore une fois pour les lecteurs qui ont eu le courage et le temps pour lire toute notre discussion – par exemple les élèves qui suivent mon cours d’analyse quantitative en sciences sociales (coucou !) – , qu’en ce qui concerne les élèves immigrés de la première génération il n’y a pas beaucoup de marge de discussion dans l’interprétation des résultats des régressions linéaires. [Pour ne pas créer à nouveau de la confusion: oui, là, également, les facteurs socio-économiques sont les plus importants pour expliquer les écarts. MAIS: l’écart persiste et reste très important].

       A mon avis, nous nous débattons au fond uniquement sur l’interprétation des résultats des élèves issus de l’immigration de la deuxième génération.

       Bien à vous,
       DJ

     • > réponse à cette réaction critique (et constructive)
       Cher Dirk Jacobs,

       Merci tout d’abord pour la franchise et la pertinence de vos réponses. Je commence par les détails et j’en arriverai à l’essentiel ensuite.

       1) Concernant la méthodologie, j’avoue que votre remarque me fait atteindre les limites de mes compétences en statistique. Mais je ne voudrais pas que vous imaginiez que j’ai pris ces calculs à la légère (« dat ik er met mijn klak naar gegooit heb » comme on dit dans votre belle langue, si je ne commets pas de faute de « dt »). Je pense n’avoir fait que respecter les recommandations du rapport technique PISA : « If an analysis were to be undertaken (…) for the combined mathematics scale, then if would ideally be undertaken five times, once with each relevant plausible values variable. The results would be averaged » (p 130). Le manuel poursuit en démontrant que, pour une statistique r donnée, « the final estimate of r is the average of the estimates computed using each plausible value in turn » (p 131). J’ai suivi scrupuleusement ces indications.

       2) Concernant le signification que nous pouvons attacher aux résultats des allochtones de première génération, permettez moi de préciser ma pensée à partir d’un exemple concret. J’ai, dans une de mes classes de 5e année d’enseignement secondaire, une élève née en Pologne et arrivée en Belgique voici trois ans. Cette élève est très bonne en technique mathématique (car le niveau des formations en math semble supérieur en Pologne qu’en Belgique, sans doute une réminiscence de l’époque socialiste). En revanche, en raison du fossé linguistique, elle a toujours de grandes difficultés dans la compréhension du sens des problèmes de physique que je lui soumets. En situation de classe normale, je peux facilement l’aider à surmonter ces difficultés, qui n’interfèrent donc pas avec ses chances de réussite scolaire. En revanche il ne fait aucun doute que, dans un test standardisé du type « PISA », où la capacité à saisir le sens d’un énoncé original est précisément cruciale, elle souffrirait d’un sérieux handicap face aux autres élèves.
       Sans doute la mise en place de structures d’encadrement spéciales pour primo-arrivants permettrait-elle de réduire ce type de handicap. Mais certainement pas de l’éliminer. Dès lors, il me semble fort difficile de déterminer ce qui, dans les résultats des élèves de première génération, témoigne de lacunes ou de dysfonctionnements de notre système éducatif et ce qui est le résultat inévitable (mais temporaire) d’un changement d’environnement d’apprentissage. En revanche, les scores des allochtones de deuxième génération concernent des enfants qui ont fait l’entièreté de leurs études ici, en Belgique. Notre système éducatif est donc pleinement responsable des discriminations ou inégalités observées dans ce cas-là.

       3) Moi non plus je n’ai pas utilisé la variable LANG, mais la variable LANGN. Grâce à elle j’ai établi une variable binaire indiquant si l’élève parle français (ou wallon) en communauté française ou s’il parle néerlandais (ou flamand) en communauté flamande. Je pense donc que sur ce point nous avons procédé de façon similaire.

       4) J’ai bien évidemment aussi pondéré les données. La variable de pondération que j’ai utilisée se nomme « w_fstuwt » (final student weight), je suppose que c’est celle que vous désignez par « student weight » ?

       Tout ceci étant dit, je suis plutôt heureux de la tournure que prennent nos échanges. Il me semble de plus en plus que nous sommes d’accord sur l’essentiel. Croyez vous que nous puissions approcher d’un consensus autour d’une formulation de ce type :

       A) Sur base des données PISA, il apparaît que l’appartenance sociale est bien le principal facteur explicatif des médiocres performances des élèves allochtones, particulièrement ceux nés en Belgique (deuxième génération).

       B) Cependant, même à origine sociale égale, il subsiste en Communautré flamande un impact net de l’origine nationale et/ou de la langue maternelle sur les performances des élèves de deuxième génération. L’ampleur de ces déterminations varie selon les indicateurs de réussite scolaire et d’origine sociale utilisés (mais elle reste inférieure à celle des facteurs socio-économiques).

       C) En Communauté française, l’effet net (à origine sociale identique) du statut d’immigration et de la langue maternelle chez les élèves de deuxième génération est sensiblement plus faible qu’en Flandre. Selon les indicateurs de réussite scolaire et les indicateurs d’origine sociale utilisés, cet effet peut même devenir insignifiant voire légèrement positif.

       D) Dans les deux communautés, les enfants de première génération (nés à l’étranger) présentent des performances qui, même à origine sociale égale, restent de façon importante et significative inférieurs à celles des autochtones. Une partie, mais une partie seulement de l’explication, pourrait résider dans la situation particulière des élèves frontaliers français et néerlandais. Il faut cependant remarquer que cette situation ne saurait être attribuée exclusivement au fonctionnement des systèmes éducatifs belges.

       Ces conclusions figurent, pour l’essentiel, dans nos études respectives. Mais peut-être avons nous, les uns et les autres, pêché parfois par excès de prudence politique, en insistant exagérément sur l’un ou l’autre aspect de ces conclusions. Que ce soit par crainte d’une sous-estimation de la ségrégation sociale dans l’enseignement ou de son interprétation en termes de « handicap » ethnique ou culturel (Aped). Ou au contraire par crainte de voir passer sous silence ou de minimiser les discriminations réelles dont sont victimes les enfants issus de l’immigration (FRB). Qu’en pensez-vous ?

       Bien cordialement,

       Nico Hirtt

     • > réponse à cette réaction critique (et constructive)
       Cher Monsieur Hirtt,

       Oui, il semble que nous sommes en train d’arriver à un consensus en ce qui concerne l’interprétation des données PISA pour la Belgique sur différents points. Je les formulerais d’une autre manière, mais en gros je suis d’accord avec le contenu de vos points A, B et D de votre conclusion. Ces éléments se trouvent d’ailleurs (en grandes lignes) également dans notre rapport pour la FRB. Par contre, je ne suis pas d’accord avec la deuxième phrase de votre point C (à savoir: « Selon les indicateurs de réussite scolaire et les indicateurs d’origine sociale utilisés, cet effet peut même devenir insignifiant voire légèrement positif »). Selon moi, les données montrent que l’effet reste bel et bien significatif et négatif. Mais pour le reste, il semble que nous partageons en grandes lignes plus ou moins une opinion similaire.
       En tout cas, merci pour l’échange des points de vues!

       Bien à vous,
       Dirk JACOBS

Comments are closed.