Même si vous n’utilisez pas d’outils webanalytics et que les statistiques sont le cadet de vos soucis cet article peut vous intéresser. Il est de notoriété publique qu’il est facile de jouer avec les chiffres pour leur faire dire ce que l’on désire; les politiques et grandes entreprises sont devenues les champions de ces bidouillages. Je souhaite vous présenter ci-dessous les 5 types d’arnaques que l’on rencontre presque tous les jours, notamment dans le domaine du webmarketing. Je ne suis pas statisticien et c’est seulement avec mes connaissances du Growth Marketing que je vais définir les 5 façons de mentir avec des statistiques ainsi que des exemples concerts de cette spécialité. Après cet article, vous n’aurez plus le droit d’être naïf concernant tel ou tel déclarations appuyées sur des chiffres ou graphiques.
1 – Les déclarations avec une information incomplète
Les plus courantes et celles qui “marchent le mieux”. Combien de déclarations comme “j’ai augmenté mon taux de conversion de 120 %” ou “mon chiffre d’affaires à été multiplié par 10 en six mois !” vous pouvez lire par jour sur les forums de Webmarketing/Growth Marketing ?
Dès que l’on creuse un tout petit peu ces affirmations, on découvre une tout autre réalité. Prenons pour exemple le taux de conversion. Celui-ci se définit par un nombre d’évènements (ex : nb d’inscription à une newsletter) divisé par le trafic envoyé sur cette page. Si votre trafic est seulement de 1000 visiteurs par mois, il est très simple d’obtenir des chiffres hallucinant pour chaque modification de conversion. Et notez que pour toutes les déclarations que vous pouvez lire, il manque cette information capitale !
En dehors de monde du Growth Marketing, combien de fois nous montre des publicités des crèmes “de beauté” hors de prix avec un chiffre comme “86% de nos utilisatrices satisfaites” en gros sur l’écran et en tout petit en blanc sur fond beige : “sur 23 clientes auto-évaluée” – What ?! Il faut vraiment aller la chercher cette information, mais la technique marketing marche depuis plusieurs générations et va continuer de fonctionner.
Une seule chose à faire, ne pas prendre les chiffres pour argent comptant et creuser quand ça en vaut la peine. On devient expert en soulèvement de questions gênantes pour les mauvais marketeurs qui ne donnent pas toutes les informations.
2 – La moyenne ne serait pas trafiquée ?
Il existe plusieurs façons de calculer des moyennes (arithmétique, médiane, mobile..), et bizarrement on choisit toujours celle qui nous arrange sans en informer le consommateur. Un exemple récent d’une grande entreprise qui se vantait d’avoir un salaire moyen supérieur à la moyenne des salaires français. Pour prendre des chiffres, disons qu’ils informent les journalistes que le salaire moyen de l’entreprise est à 2000 euros, 200 euros de plus que le salaire moyen des Français. Sauf qu’en cherchant un peu, on se rend compte que les 10 premiers dirigeants de l’entreprise ont tous un salaire supérieur à 1 million d’euros annuels, ce qui fait énormément monter la moyenne et explique la différence avec le salaire moyen français regroupant des entreprises plus “classiques”. Une moyenne peut être complètement faussée grâce à des valeurs extrêmes et enlever ces valeurs avant de procéder à un calcul reste essentiel. Le salaire médian pourra parfois nous apporter plus d’informations sur l’entreprise qu’une moyenne arithmétique faussée. Ne croyez pas les moyennes sans savoir comment elles ont été calculées, il suffit de quelque valeur extrême pour les rendre mensongères.
3 – Ne pas se fier aux résultats des tests statistiques
Ah ben ça c’est la meilleure ! Moi qui le premier ne jure que par l’utilisation des statistiques pour savoir si un teste est concluant ou non je dis maintenant de ne pas s’y fier.
Ce que je souhaite soulever ici c’est que les testes ne sont pas irréprochables et comprennent un pourcentage d’erreur intrasec que l’on doit prendre en compte.
Prenons l’exemple d’un split-test entre une page d’accueil A (la baseline) et deux versions de cette page B et C. À la fin d’un split-test établit dans les règles, on obtient les scores de conversion suivant : A = 2.5%, B = 2,7% et C = 2.9%
Peut-on être sur à 100% que la page C convertit mieux que les autres ? Eh bien non..
Notre teste comprend un pourcentage représentant les possibilités que les résultats du test soit faux. On peut par exemple le définir à 5%, c’est-à-dire que dans 5% des cas le résultat de B ou de C n’est pas correcte. On doit accepter cette marge d’erreur quand on configure les paramètres de notre teste et comprendre que plus notre échantillon statistique sera important moins on aura de possibilité d’erreur.
Dans le même style on peut noter qu’un teste comprend une marge d’ erreur type, par exemple dans notre cas on peut définir notre range d’erreur entre + ou – 0,3%. C’est-à-dire que le résultat C peut être compris entre 2,6% et 3,2% et ce principe est vrai aussi pour B. On comprend vite ainsi qu’il y a une possibilité pour que B soit en fait plus efficace à la conversion que C.. Tout dépend des paramètres que vous fixez en fonction de votre aversion au risque et à la taille de votre échantillon (le trafic dans ce cas).
4 – Les graphiques qui impressionnent
En jouant sur les échelles et l’ordonnée d’un graphe, ou simplement sur sa dimension, on peut donner l’impression que la courbe augmente de façon importante ou alors stagne. Regardez ces deux exemples de données identiques :
En jouant simplement sur la dimension du graphe, on peut donner n’importe quelle impression. Ce que l’on voit souvent pour améliorer l’effet visuel c’est la suppression du zéro au niveau de l’ordonnée et le début de la courbe (ici 200 000) au point (0;0) de l’ordonnée/abscisse, ce qui change totalement l’aspect du graphique. Effet étourdissant garanti !
5 – Si A est similaire à B, alors si on prouve B on peut en déduire A…
S’il y a quelque chose qu’on ne peut pas prouver, démontrer une chose semblable ou proche peut faire croire que c’est pareil pour cette première chose. Les politiques utilisent tout le temps ce principe.
Exemple : vous ne pouvez pas trouver votre coefficient de viralité si vous n’avez pas de moyen de contrôle comme un code coupon pour avoir une réduc ou un clic sur un lien de tracking. Si une entreprise assez similaire à la votre écrit que sont coefficient de viralité est de 2, vous pouvez dire que le votre doit donc aussi être autour de 2. Mais est-ce vrai ? Pas forcément, vous pouvez par exemple avec une technologie proche mais travailler sur des marchés différents ou la viralité est bien moins efficace.
Cette arnaque est souvent utilisée quand on a pas encore de statistique pour prouver quelque chose à quelqu’un; mais en réalité, il y a trop de paramètres en jeu pour que si une entreprise similaire à la vôtre a tel résultat, vous ayez exactement le même.
6 – le bonus : la corrélation
On adore lier les événements pour dire que quand l’un croit l’autre va le suivre. On en arrive à obtenir des corrélations absurdes comme celle de la vente de CD et du cours de l’or ou du nombre de bébés poulpes en méditerranée avec celui de l’euro/yen . Cherchez un peu sur internet vous en trouverez de belles.. Attention à ce type de corrélation qui ne signifie rien.
Il existe d’autres façons de mentir avec les statistiques, mais je vous ai fourni les arnaques les plus utilisées par tous ceux qui vendent du rêve, les marketeurs et les politiques. Si vous avez des exemples à ajouter ou un commentaire, n’hésitez pas !
