Test Bayésien A/B pour une Prise de Décision Rapide

La méthodologie A/B classique repose sur une taille d'échantillon fixe : vous attendez que le nombre de visiteurs pré-calculé soit atteint, puis vous calculez la signification statistique et prenez une décision. Cette approche fonctionnait dans les années 2010 parce que le trafic était coûteux et les tests duraient des mois. En 2026, le marketing de performance opère en cycles hebdomadaires, le renouvellement créatif se fait tous les 14 jours, et la stratégie de campagne change mensuellement. Tester une variante de landing page pendant 6 semaines n'est plus un luxe — c'est une perte. Le test bayésien A/B résout ce problème grâce à un mécanisme de décision séquentiel : chaque jour, la distribution posteriori est mise à jour, et dès que vous atteignez le seuil de confiance, vous arrêtez le test et déployez le gagnant.

Le Piège de la Taille d'Échantillon en Test Fréquentiste

Le test A/B fréquentiste classique repose sur la condition p-value < 0,05. Pour atteindre ce seuil, vous effectuez d'abord une analyse de puissance : si vous visez 5 % de conversion de base, 10 % de remontée relative et 80 % de puissance statistique, vous avez besoin d'un minimum de 3 100 utilisateurs par variante. Si vous recevez 500 visiteurs uniques par jour, le test dure 12 jours. Le problème : au jour 5, la variante B gagne clairement mais manque de signification statistique — vous devez attendre. Au jour 12, la signification apparaît mais votre concurrent a lancé une landing page, votre message est daté. Le test fréquentiste cause un double préjudice : décider trop tôt crée un risque d'erreur de type I (faux positif), attendre trop longtemps génère un coût d'opportunité.

Le test séquentiel existe aussi dans le cadre fréquentiste (correction de Bonferroni, fonctions de dépense alpha) mais il est complexe. Vous devez allouer un budget d'alpha pour chaque analyse intermédiaire — si vous voulez arrêter tôt, la valeur critique se durcit. Résultat : le test s'allonge ou la confiance diminue.

L'approche bayésienne vous libère de ce dilemme parce que chaque observation est une nouvelle information — la posteriori d'hier devient la priori d'aujourd'hui. La taille d'échantillon n'est pas fixe mais séquentielle. Chaque jour, la distribution posteriori est mise à jour, et dès que "la probabilité que B soit meilleur que A dépasse 95 %", vous arrêtez et déployez. L'arrêt précoce n'est pas une pénalité — c'est une fonctionnalité.

Distribution Posteriori et Mise à Jour Séquentielle

En test bayésien, vous commencez par une distribution priori : votre conviction antérieure sur le taux de conversion. Si vous testez une landing page e-commerce avec un taux de base de 3 % et un écart-type de 0,5 %, cela correspond à une priori Beta(30, 970). Les 100 premiers visiteurs arrivent et vous observez 4 conversions sur la variante B. La posteriori se met à jour ainsi :

Priori : Beta(α=30, β=970)
Vraisemblance : 4 succès, 96 échecs
Posteriori : Beta(α=30+4, β=970+96) = Beta(34, 1066)

La moyenne posteriori = 34/(34+1066) = 0,0309 (3,09 %). Le lendemain, 200 visiteurs supplémentaires arrivent avec 7 conversions. La posteriori d'hier devient la priori d'aujourd'hui :

Priori : Beta(34, 1066)
Vraisemblance : 7 succès, 193 échecs
Posteriori : Beta(41, 1259)

La moyenne posteriori = 0,0316 (3,16 %). Sur la variante A, au même moment, 500 visiteurs et 14 conversions. La posteriori de A = Beta(44, 1456), moyenne = 0,0293. À ce stade, vous comparez les deux distributions posteriori : vous calculez P(B > A) en tirant 10 000 échantillons par simulation Monte Carlo et en comptant combien de fois B dépasse A. Si la probabilité est 73 %, vous n'êtes pas encore sûr. Au jour 5, si P(B > A) = 96 %, vous arrêtez le test car vous avez atteint votre seuil de décision (95 %).

En test fréquentiste, cela n'est pas possible. Chaque coup d'œil intermédiaire risque une inflation alpha, créant un problème de comparaisons multiples. En bayésien, la posteriori est mise à jour chaque jour, mais le critère de décision reste stable : le seuil de confiance. L'arrêt précoce n'introduit pas de biais car l'inférence bayésienne est conditionnée par la vraisemblance — il n'y a aucune obligation de fixer la taille d'échantillon.

Application Pratique : Règles d'Arrêt et Sélection du Seuil

Un test A/B bayésien se configure facilement, mais la discipline sur les règles d'arrêt est cruciale. Trois seuils doivent être définis :

1. Taille d'échantillon minimum (filet de sécurité) : Prévient l'arrêt prématuré. Ne décidez pas avant 100 utilisateurs par variante — la variance posteriori est encore trop large, le risque de faux positif est élevé. Dans le white paper 2019 de Google Optimize, 250 conversions étaient recommandées ; en pratique, 50-100 conversions suffisent (cela dépend de la force de la priori).

2. Seuil de confiance : P(B > A) > 0,95 est le choix classique. Pour une décision agressive, utilisez 0,90 ; pour un test conservateur, 0,97. Si l'impact financier est élevé (modification du processus de paiement), adoptez 0,99.

3. Signification pratique (seuil de remontée) : Une différence statistique peut être minime — une remontée de 0,5 % relative — sans impact métier. Fixez un seuil pratique comme remontée > 5 %. Dans la posteriori, ne calculez pas seulement P(B > A) mais aussi P(B > A × 1,05).

Exemple de code (Python + PyMC) :

import pymc as pm
import numpy as np

# Priori : Beta(30, 970) — taux de base à 3 %
with pm.Model() as model:
    p_A = pm.Beta("p_A", alpha=30, beta=970)
    p_B = pm.Beta("p_B", alpha=30, beta=970)
    
    # Données observées
    obs_A = pm.Binomial("obs_A", n=500, p=p_A, observed=14)
    obs_B = pm.Binomial("obs_B", n=500, p=p_B, observed=18)
    
    trace = pm.sample(5000, return_inferencedata=True)

# Comparaison des posterioris
p_B_samples = trace.posterior["p_B"].values.flatten()
p_A_samples = trace.posterior["p_A"].values.flatten()
prob_B_better = np.mean(p_B_samples > p_A_samples)
prob_lift_5pct = np.mean(p_B_samples > p_A_samples * 1.05)

print(f"P(B > A) = {prob_B_better:.2%}")
print(f"P(B > A×1.05) = {prob_lift_5pct:.2%}")

Ce code s'exécute chaque jour ; le test s'arrête quand prob_B_better > 0,95 et prob_lift_5pct > 0,80. Si cette condition est remplie au jour 5, alors que le fréquentiste attendrait 12 jours, vous gagnez 7 jours.

Compromis : Sélection de la Priori et Analyse de Sensibilité

Le point critiqué du test bayésien : le choix de la priori est subjectif. Avec une priori faible (Beta(1, 1) — uniforme), la posteriori repose entièrement sur les données mais la convergence est lente. Avec une priori forte (Beta(300, 9700)), l'information antérieure domine la posteriori — l'impact des nouvelles données diminue. Un équilibre est nécessaire.

Stratégie de sélection de priori :

Pour évaluer l'impact de la priori, effectuez une analyse de sensibilité : exécutez les mêmes données avec Beta(1,1), Beta(10,990) et Beta(30,970). Si les posterioris diffèrent de plus de 5 %, votre priori est dominante — choisissez une priori plus faible ou collectez davantage de données.

Un autre compromis : le test bayésien n'est pas aussi "publication-ready" que le fréquentiste. Si vous écrivez un article académique, une p-value est requise ; pour une présentation au C-suite, un graphique posteriori suffit. Dans les processus d'Optimisation du Taux de Conversion, la vélocité est critique — sur des cycles de sprint hebdomadaires, le test bayésien séquentiel fournit des résultats 40 % plus rapides selon le benchmark VWO 2023 (5 jours au lieu de 8 jours en médiane).

Impact Métier de la Vélocité de Test

Le vrai gain du test bayésien séquentiel est la vélocité. En marketing de performance, la fatigue créative survient en 10-14 jours, le cycle de campagne est de 30 jours. Si vous clôturez un test de landing page en 12 jours, vous effectuez 2 itérations par mois. Avec le bayésien en 5 jours, vous en faites 6. En supposant une remontée de 5 % par itération, l'impact composé annuel passe de 12 % en approche fréquentiste à 34 % en bayésien (1,05^12 vs 1,05^6).

Le test séquentiel multiplie aussi les gains dans les tests multivariés (A/B/C/D). En fréquentiste, la correction de Bonferroni pour comparaisons multiples multiplie la taille d'échantillon par 3-4. En bayésien, chaque variante a sa propre posteriori, les comparaisons par paires se font sans dépense alpha. Avec 4 variantes, le fréquentiste demande 15 jours quand le bayésien termine en 6.

Un dernier point : l'arrêt précoce s'applique aussi aux tests perdants. Si la variante B affiche une chute de 20 % de conversion, vous atteindrez P(A > B) = 99 % au jour 3 — vous arrêtez le test, sauvant 9 jours de gaspillage de trafic. En fréquentiste, vous attendez les 12 jours complets, envoyant du trafic vers une page sous-performante. Le test bayésien séquentiel offre cette protection contre les pertes.

Le test A/B bayésien séquentiel n'est plus un luxe — c'est une nécessité. Après la dépréciation des cookies, l'attribution devient difficile, les cycles de campagne s'accélèrent, la fraîcheur créative devient critique. Les tests fréquentiste classiques ne peuvent pas suivre cette cadence. Avec la mise à jour séquentielle des posterioris bayésiennes, vous collectez chaque jour une nouvelle information et décidez dès que le seuil de confiance est atteint. L'arrêt précoce n'est pas un biais — c'est une fonctionnalité. Avec une discipline sur la sélection de la priori, la clarté des règles d'arrêt et un filtre de signification pratique, le test bayésien livre des résultats à la fois rapides et fiables.