Guide du marketeur pour comprendre l'importance statistique

Avez-vous déjà présenté les résultats d'une campagne de marketing et on vous a demandé «Mais ces résultats sont-ils statistiquement significatifs ?» Si vous vous sentiez sournois, vous auriez peut-être répondu «Les résultats sont différents de ceux que nous avions vus auparavant. N'est-ce pas significatif?

Blague à part, en tant que spécialistes du marketing axés sur les données, il ne nous est pas seulement demandé de mesurer les résultats de nos campagnes marketing, mais également de démontrer la validité des données.

Récemment, j'ai eu un appel avec un client qui demandait exactement cela. Les deux spécialistes du marketing avaient chacun créé une version d'une page de destination et utilisé la fonctionnalité de test A / B de SeoAnnuaire pour collecter les résultats. Ils avaient un pari amical sur lequel gagnerait. Après quelques jours, ils ont eu les résultats; un avait un taux de conversion légèrement plus élevé, mais ils se sont demandé si les résultats étaient statistiquement significatifs. (Je vais deviner que c'est la personne avec le taux de conversion le plus bas qui a posé cette question.) J'aime une petite compétition amicale - ma famille raconte encore comment j'ai défié mon frère à un concours d'épluchage de pommes juste "rendre les choses intéressantes" un Thanksgiving. Inutile de dire que j'étais heureux d'aider à régler ce pari.

Bien qu'il existe de nombreux outils gratuits permettant de calculer la signification statistique pour vous (SeoAnnuaire en a même un ici), pour bien comprendre ce que ces outils vous disent, il est utile de comprendre ce qu'ils calculent et ce que cela signifie. Nous allons nous appuyer sur les chiffres en utilisant un exemple spécifique ci-dessous pour vous aider à comprendre la signification statistique.

Comment calculer la signification statistique

1. Déterminez ce que vous souhaitez tester

Tout d'abord, décidez ce que vous souhaitez tester. Cela peut être une comparaison des taux de conversion sur deux pages de destination avec des images différentes, des taux de clics sur des courriers électroniques ayant des lignes d'objet différentes ou des taux de conversion sur des boutons d'incitation à l'action différents à la fin d'un article de blog. Le nombre de choix est infini. Mon conseil serait de garder les choses simples; choisissez un élément de contenu pour lequel vous souhaitez créer deux variantes et déterminez votre objectif: un meilleur taux de conversion ou plus de vues sont de bons points de départ.

Vous pouvez certainement tester des variantes supplémentaires ou même créer un test multivarié, mais pour les besoins de cet exemple, nous nous en tenons à deux variantes d'une page de destination, l'objectif étant d'augmenter les taux de conversion. Si vous souhaitez en savoir plus sur les tests A / B et les tests multivariés, consultez la rubrique "La différence essentielle entre les tests A / B et les tests multivariés".

2. Commencez à collecter vos données

Maintenant que vous avez déterminé ce que vous souhaitez tester, il est temps de commencer à collecter vos données. Étant donné que vous exécutez probablement ce test pour déterminer quelle partie du contenu est la meilleure à utiliser à l'avenir, vous souhaiterez prélever une taille d'échantillon. Pour une page de destination, cela peut impliquer de choisir une période de temps définie pour exécuter votre test (par exemple, pour que votre page reste en direct pendant 3 jours). Pour quelque chose comme un email, vous pouvez choisir un échantillon aléatoire de votre liste auquel envoyer au hasard des variantes de vos emails. Déterminer la bonne taille d'échantillon peut être délicat et la bonne taille varie d'un test à l'autre. En règle générale, vous voulez que la valeur attendue pour chaque variation soit supérieure à 5. (Nous verrons plus loin les valeurs attendues.)

3. Calculer les résultats du chi carré

Il existe un certain nombre de tests statistiques que vous pouvez exécuter pour mesurer la signification en fonction de vos données. Déterminer lequel est le mieux à utiliser dépend de ce que vous essayez de tester et du type de données que vous collectez. Dans la plupart des cas, vous utiliserez un test de Chi-Squared car les données sont discrètes. Discret est une manière sophistiquée de dire qu’un nombre fini de résultats peut être produit. Par exemple, un visiteur convertira ou ne convertira pas; il n'y a pas différents degrés de conversion pour un seul visiteur.

Avant de commencer à collecter des données, je trouve utile de formuler mon hypothèse au début du test et de déterminer le degré de confiance que je souhaite tester. Étant donné que je teste une page de destination et que je souhaite voir si elle fonctionne mieux, mon hypothèse est qu'il existe une relation entre la page de destination reçue par les visiteurs et leur taux de conversion . Vous pouvez effectuer des tests en fonction de divers degrés de confiance (parfois appelé alpha du test). Si vous souhaitez que l'exigence d'atteindre une signification statistique soit élevée, plus votre alpha sera faible. Vous avez peut-être vu une signification statistique rapportée en termes de confiance. Par exemple, "Les résultats sont statistiquement significatifs avec une confiance de 95%". Dans ce scénario, l'alpha était égal à 0, 05 (la confiance est calculée comme suit: 1 moins l'alpha), ce qui signifie qu'il y a une chance sur 20 de faire une erreur dans la relation indiquée.

Après avoir collecté les données, je les ai mises dans un tableau pour faciliter leur organisation. Comme je teste 2 variantes différentes (A et B) et qu'il y a 2 résultats possibles (converti, ne converti pas), je vais avoir un graphique 2x2. Je vais totaliser chaque colonne et chaque ligne afin que je puisse facilement voir les résultats dans l'ensemble.

Maintenant, je vais calculer quelles sont les valeurs attendues. Dans l'exemple ci-dessus, s'il n'y avait pas de relation entre ce que les visiteurs de la page de destination ont vu et leur taux de conversion, nous nous attendrions à voir les mêmes taux de conversion avec la version A et la version B. Les totaux indiquent que 1 945 personnes ont été converties. sur les 4 935 visiteurs totaux, soit environ 39% des visiteurs. Pour calculer les fréquences attendues pour chaque version de la page de destination en supposant qu'il n'y a pas de différence, vous pouvez multiplier le total des lignes pour cette cellule par le total des colonnes de cette cellule et le diviser par le nombre total de visiteurs. Dans cet exemple, pour trouver la valeur attendue de la conversion sur la version A, j'utiliserais l'équation suivante: (1945 * 2401) / 4935 = 946

Pour calculer le chi carré, je compare les fréquences observées aux fréquences attendues. Cette comparaison est effectuée en soustrayant l'observé de l'attendu, en quadrillant le résultat, puis en le divisant par la valeur de la fréquence attendue. Essentiellement, j'essaie de voir en quoi mes résultats réels diffèrent de ce à quoi nous pourrions nous attendre. La quadrature de la différence amplifie les effets de la différence et diviser par ce qui est attendu normalise les résultats. L'équation ressemble à ceci: (attendu - observé) ^ 2) / attendu

Je fais ensuite la somme des quatre résultats pour obtenir mon numéro de Chi-carré. Dans ce cas, c'est 0, 95. Pour voir si les taux de conversion de mes pages de destination ont une signification statistique différente, comparez cela à la valeur d'un tableau de distribution de Chi-Squared basé sur mon alpha (dans ce cas, 0, 05) et les degrés de liberté. Les degrés de liberté dépendent du nombre de variables que vous avez. Avec un tableau 2x2 comme dans cet exemple, le degré de liberté est 1.

Dans ce cas, la valeur du chi carré devrait être égale ou supérieure à 3, 84 pour que les résultats soient statistiquement significatifs. Puisque 0, 95 est inférieur à 3, 84, mes résultats ne sont pas statistiquement différents. Cela signifie qu'il n'y a pas de relation entre la version de la page de destination qu'un visiteur reçoit et le taux de conversion statistiquement significatif.

Pourquoi l'importance statistique est importante

Vous vous demandez peut-être pourquoi c'est important si vous pouvez simplement utiliser un outil gratuit pour exécuter le calcul. Comprendre comment la signification statistique est calculée peut vous aider à déterminer la meilleure façon de tester les résultats de vos propres expériences. De nombreux outils utilisent un taux de confiance de 95%, mais pour vos expériences, il peut être judicieux d’utiliser un taux de confiance inférieur si vous n’avez pas besoin que le test soit aussi rigoureux. Comprendre les calculs sous-jacents vous aide également à expliquer pourquoi vos résultats pourraient être significatifs pour des personnes qui ne sont pas déjà familiarisées avec les statistiques.

Si vous souhaitez télécharger la feuille de calcul que j'ai utilisée dans cet exemple pour que vous puissiez voir les calculs par vous-même, cliquez ici.

Crédit image: Caitlinator

Article Précédent «
Article Suivant