Les études et leur biais

Ah les études et les chiffres qu’elles manipulent et qui parfois nous manipulent. Comme disait Jacques Duhamel « si les chiffres ne mentent pas, il arrive que les menteurs chiffrent. »

Ce n’est d’ailleurs pas nécessairement à dessein. Entre manque de précision, formulation hasardeuse et méthode floue, il n’y a pas besoin de chercher à tricher pour faire dire n’importe quoi à n’importe quel chiffre.

Tiens, j’ai lu que 76% des DRH estimaient que leur métier était « plus stratégique ». D’abord c’est 76% des DRH interrogés. Mais est-ce à dire que 24% estimaient qu’il ne l’était pas plus ? Et si leur métier étant déjà perçu comme stratégique dans leur entreprise ils avaient répondu qu’il ne l’était « pas plus » ?

Et ça veut dire quoi « plus stratégique » ? Qui joue un rôle plus important au regard de la stratégie de l’entreprise ou qu’il est considéré comme plus important ? Bref… Les études et leur biais, c’est quoi l’histoire ?

Bon les études cela relève de ce qu’on peut appeler des statistiques descriptives parce qu’elles visent à décrire quelque chose. Or, en l’occurrence l’enjeu c’est que cette description soit la plus juste possible.

Dit autrement l’enjeu c’est que ce que l’on dit de la chose observée soit le plus fidèle possible à ce qu’elle est réellement. Donc des chiffres, des données, des indicateurs statistiques pour décrire fidèlement ce qu’on observe.

Or, cette justesse dépend de très nombreux facteurs sur lesquels ils convient d’être prudent : la manière dont les données ont été récoltées, la manière dont elles ont été arbitrairement catégorisées, la manière dont on les a représentées, la manière dont on les communique etc.

Sans même parler des risques liés à l’interprétation, le simple exercice de description est en effet en lui-même une source d’erreurs ou de manipulations. Il convient donc d’être plus que vigilant, ce qui commence peut-être par connaître les techniques de manipulations ou les biais classiques.

On va là en donner quelques exemples simples. D’abord le plus connu, qui consiste à généraliser à partir d’un échantillon qui n’est représentatif que de lui-même. Ayons au moins l’honnêteté intellectuelle de dire x% des DRH interrogés pensent que… plutôt que x% des DRH…

Et encore, sont-ils ou elles vraiment des DRH, la variabilité des titres tu sais… x% des personnes interrogées… représentatives d’elles-mêmes. Mais bon, ne coupons pas les cheveux en quatre.

Tiens, il y a aussi les biais liés aux questions elles-mêmes. Quand par exemple la formulation d’une question oriente les réponses… « pensez-vous investir dans le digital RH, sachant que le digital est stratégique pour 75% des drh ? » euh bah non parce que moi tu vois je m’en fous complètement de pas faire comme les autres.

Ce genre de biais est fréquent et là l’exemple saute aux yeux. Parfois, c’est plus vicieux, cela provient de la succession des questions. La première déformant la réponse à la seconde par exemple.

Ou leur forme qui déforme la réponse. Une question fermée qui oriente la réponse pour celles et ceux dont la réponse pensée ne figure pas dans la liste proposée. Vous préférez les pommes les oranges ou les bananes ? Celui qui préfère les mandarines il répond quoi ? Orange, banane ou NSP ?

Tiens NSP c’est quoi Ne Sait Pas, Ne Se Prononce Pas. Ne pas vouloir répondre ou ne pas pouvoir répondre, rien que ça c’est très différent. Sans parler des questions dont les mots ne sont pas clairs, ou qui ne sont pas intelligibles… genre « êtes-vous satisfaits en tant que DRH du protocole SMTP de votre messagerie ? »

En pratique, le biais des questions c’est quasiment impossible d’y échapper comme le soulignait[1] déjà Norbert Schwarz de l’université du Michigan en 1999 après avoir étudié… de très nombreuses études.

Et ce n’est pas tout ! On peut aussi s’amuser à définir des nomenclatures qui permettent de favoriser la sur-représentation d’une classe par rapport à une autre, à présenter une moyenne pour dissimuler un écart-type important et donc favoriser le poids d’une donnée aux caractéristiques extrêmes,

Ou modifier une échelle de présentation dans un graphique pour faire ressortir une différence minime entre deux proportions, ou agréger des classes dans une présentation de résultat pour forcer le trait…

Ou… Stop ! La liste est trop longue… Biaisons, biaisons, il en restera toujours bien quelque chose comme disait l’autre. Mais concrètement, comment être attentif à tout cela ?

Si le sujet de l’étude t’intéresse vraiment il faut en effet être prudent. Mais dans la pratique c’est en effet compliqué, ne serait-ce que par manque de temps ou d’accès aux données. Alors on peut au moins d’abord s’interroger sur l’intérêt de celui ou celle qui présente l’étude.

Combien de fois celui qui commandite une étude pour t’expliquer que le risque est élevé est celui qui te vend justement une protection contre ce risque ou quand on t’explique que les salariés sont désengagés tout en te vendant des prestations de formation ou de conseil sur le sujet.

Bref, c’est vieux comme le monde, il suffit d’être un peu observateur. On agite une peur ou un désir, en n’étant pas bien regardant sur la qualité de l’étude, on compte sur la caisse de résonance du web et la paresse intellectuelle de ceux qui lisent et hop le tour est joué.

Une fois que tu as au moins cette vigilance-là, et que tu « challenges » un peu le tout-venant qu’on te propose, si tu veux vraiment te faire une idée, il n’y a au fond qu’une méthode simple, celle qui consiste à multiplier les angles de vue.

En d’autres termes, diversifier ses sources pour tenter d’approcher au mieux une forme de vérité et ne pas se contenter d’un résumé qui est par nature parcellaire. Comme tout résumé.

En résumé, les études descriptives doivent être étudiées avec prudence car elles peuvent présenter de très nombreux biais qui en faussent les résultats. Dans la pratique, il faut au moins s’interroger sur l’intérêt du commanditaire et il vaut mieux multiplier ses sources avant de tirer une conclusion.

J’ai bon chef ?

Oui tu as bon mais on ne va pas en faire toute une histoire.

[1] Norbert Schwarz, « Self-reports. How the questions shape the answers », American Psychologist, février 1999, Vol.54, N°2, 93-105.