Le paradoxe de Simpson appliqué à la performance

Dans cet épisode, nous allons illustrer à quel point les chiffres et les indicateurs peuvent être trompeurs grâce au paradoxe de Simpson appliqué à l’appréciation de la performance.

Crois-en mon expérience ma petite hein, le management des commerciaux moi ça me connaît. 20 ans que je fais ça et je peux te dire que j’en ai mâté plus d’un. La clé c’est des bons indicateurs de performance. C’est clair, net, précis et personne ne moufte ! Les chiffres ça aligne tout le monde.

Mark Twain, tu sais qui a écrit « les aventures de Tom Sawyer », disait « qu’il y a trois sortes de mensonges : les mensonges, les sacrés mensonges et les statistiques. ». Et les indicateurs ce n’est pas toujours si simple que cela. Parce que les chiffres sont parfois trompeurs.

On va prendre un exemple concret pour illustrer le propos. Le Paradoxe de Simpson appliqué à la performance, c’est quoi l’histoire ?

Tiens, imagine que notre enjeu commercial soit l’acquisition de nouveaux clients. C’est la principale préoccupation de notre grand patron à tous les deux, tout là-haut, celui qui a plus de plumes que nous. Donc il va nous apprécier sur cela et sur le dernier trimestre. On compare nos performances des 3 derniers mois chef ?

Oui cheffe. Moi le premier mois j’ai signé 8 contrats sur 10 prospects. 80% de conversion… tu dis mieux petit scarabée ?

Euh moi, ce mois-là j’étais sur un gros secteur, j’ai vu beaucoup de prospects, 100 exactement mais je n’en ai signé que 50.

Ahahaha je rigole 50% de conversion… Et paf le chien ! Perdu ! Le premier mois je gagne 80% à 50%… On continue ma petite ? Le mois d’après ? Traditionnellement il est dur, moi je le sais. Et j’ai fait que 33%. 90 prospects mais je n’en signe que 30. 1 sur 3 quoi… et toi ?

Petit mois sur tout, 10 prospects et seulement 2 signatures. 20% de conversion. Allez j’en conviens tu as encore gagné Oh grand chef à plumes.

Bon allez, et un petit dernier pour la route ? Le dernier mois, peu d’appels entrants, pas beaucoup de prospects mais autant te dire je ne les ai pas laissés passer ! Paf 4 sur 5 de signés ! 80%… Un vrai closer quoi ! Tu as d’autres questions ?

Bah le dernier mois je crois que je ne fais pas mieux. Pourtant j’en fais quand même 7 sur 10. Ça fait 70% de taux de conversion c’est pas si mal. Mais moins que 80%. Tu as encore gagné.

Je te laisse faire le bilan des 3 derniers mois pour savoir qui a gagné ?

Oh ça va hein, ne la ramène pas. C’est bon j’ai compris j’ai perdu. Le 1^er mois tu fais 80% moi 50, le deuxième tu fais 33% moi 20 et le dernier mois tu fais 80% encore et moi 70… Tu es 3 fois premier, pas besoin d’être grand clerc pour savoir qui le « grand » patron va récompenser. Tu gagnes tous les mois.

Pas si sûr que cela cheffe… Et s’il faisait le bilan sur la totalité des 3 mois et pas seulement qui gagne chaque mois ? Cela ferait 42 ventes sur 105 prospects pour moi et 59 sur 120 pour toi. Un taux de conversion de 40% pour moi et de 49% pour toi …

Alors j’ai gagné ! Comme quoi, les chiffres sont parfois trompeurs… Et notre grand patron a intérêt à bien regarder plus loin que le bout de ses plumes où il se trouve, justement, son… intérêt… avant de tirer des conclusions hâtives des chiffres.

Dans cet exemple, on s’est appuyé sur le Paradoxe de Simpson. C’est le fait que, ce que tu observes sur plusieurs groupes de données, en l’occurrence le meilleur taux de conversion chaque mois, peut être exactement l’opposé de ce que tu observes quand tu regroupes les mêmes données, le bilan sur 3 mois sur le même critère dans notre exemple.

Et Dieu sait, si j’ose dire, à quel point le domaine statistiques peut être contre-intuitif ! Le « jeu de mots des chiffres » comme disait je ne sais plus qui. Et donc parfois notre fameux « bon sens » se retrouve… sans dessus dessous.

Tiens encore un exemple rigolo, cité par le site « Spurious correlations » ou en français, les corrélations fallacieuses…

Quand on croise le taux de consommation de margarine par tête et le taux de divorce dans le Maine aux Etats-Unis, de 2000 à 2009, il y a une corrélation de plus de 99% ! Je n’y peux rien, ce sont bien les chiffres du « Departement of Agriculture » et des « National Vital Statistics Reports » des Etats-Unis…

Et voilà donc une démonstration formelle, chiffres à l’appui, que, pour éviter de se séparer, il faut mettre de l’huile dans les rouages et du beurre dans ses épinards. Et hop, quelques temps après, rupture de stock dans les supermarchés, les Français toujours soucieux de devancer l’appel ont fait des stocks… à la pelle !

Qu’il s’agisse d’appréciation de la performance, de suivi d’une activité, de mesure de quoi que ce soit, les indicateurs, même quand on les baptise KPI (Key Performance Indicator) ne sont pas des vérités absolues. Loin s’en faut.

C’est fou non des indicateurs bah ça ne fait qu’indiquer. « Désigner quelque chose, (…) attirer son attention sur quelque chose » comme le dit le Larousse. Bref, ça te dit où creuser.

Et à toi ensuite d’exercer ton intelligence, ton esprit critique, ton sens de l’analyse et ta capacité de discernement pour essayer de comprendre ce que les chiffres veulent te dire, ou pas, avant de décider !

Bon, on s’enfonce là en défonçant des portes ouvertes tête baissée. C’est une évidence ! Un peu de bon sens que diable.

Sauf que, si c’était si évident que cela dans la pratique, on le saurait. Entre ce fameux bon sens auquel tu fais appel, qu’on érige comme ultime argument justement quand on n’a plus d’argument rationnel… et celles et ceux qui manipulent les chiffres pour leur faire dire ce qui les arrange…

Comme disait Jacques Duhamel : « Si les chiffres ne mentent pas, il arrive que les menteurs chiffrent. »

Sans parler des effets de halo, comme le lapin devant les phares de la voiture, l’hypnose de la jauge. On ne voit plus que cela, tous les matins tu rafraîchis ton tableau de bord, tu checkes tes KPI, tu jauge la jauges en permanence, tu scrutes le moindre mouvement, et à force, cela t’obsède et devient ton juge de paix.

Surtout quand cela t’arrange bien pour ceux qui sont en-dessous ! Et hop on transforme les managers en contrôleurs des poids et des mesures… et on se plaint ensuite du manque de leadership de celles et ceux qu’on a cantonné dans un rôle de garde-chiourmes… Mais c’est un autre sujet.

En résumé, les indicateurs sont trompeurs. Il ne faut donc pas les prendre tels quels mais bien exercer son esprit critique avant de décider. C’est une évidence pour qui ne les manipule pas dans son intérêt ou pour qui prend un peu de recul.

J’ai bon chef ?

Oui tu as bon mais on ne va pas en faire toute une histoire.