Prise de Décision Rapide avec les Tests A/B Bayésiens

En marketing de performance, les tests A/B fonctionnent toujours selon la méthodologie fréquentiste des années 2010 : calcul de la taille d'échantillon fixe, seuil p<0,05, attente que les résultats deviennent « significatifs ». Vous testez trois créatives sur Meta Ads, une perd clairement, mais vous brûlez du budget pendant deux semaines supplémentaires parce que « la taille d'échantillon n'est pas suffisante ». L'approche bayésienne A/B casse ce cycle : elle vous donne le droit d'arrêter tôt, vous offre une mesure de l'incertitude, elle vous dit « la probabilité de gagner est de 94 % ». Google Optimize a disparu ; si vous construisez votre propre stack de tests, les mathématiques bayésiennes vous feront gagner de la vitesse.

Les Règles Figées des Tests Fréquentistes

Le test A/B classique fonctionne selon cette logique : calculez la taille d'échantillon à l'avance (analyse de puissance : 80 % de puissance, 5 % alpha, 10 % de lift attendu), attendez d'atteindre ce nombre, regardez la valeur p, décidez. Le problème : dans le monde réel, le lift que vous observez est de 3 %, pas 10 %, la taille d'échantillon passe de 2 semaines à 8 semaines. Pendant ce temps, la créative s'use, les effets saisonniers changent, le CPM que vous payez augmente de 40 %. Chez les fréquentistes, jeter un coup d'œil tôt est interdit — ce comportement appelé « peeking » gonfle l'erreur de type 1. Même si vous faites des tests séquentiels, la fonction de dépense alpha (Bonferroni, O'Brien-Fleming) ajoute de la complexité et exige toujours des seuils rigides.

Scénario e-commerce : le contrôle produit un taux de conversion de 2,1 %, le nouveau flux de paiement produit 2,3 %. Après 1 000 sessions, vous avez un lift de 9,5 % mais p=0,12. Le fréquentiste dit : « ce n'est pas significatif, continuez ». À 2 000 sessions, p=0,08, toujours insuffisant. À 3 500 sessions, p=0,047, significatif. Mais à ce stade, la variante B a fonctionné pendant 3 semaines, la saison a changé, il est impossible d'estimer le gain réel. La mathématique fréquentiste rend une décision binaire : significative ou non. L'intervalle d'incertitude (intervalle de confiance) existe, mais ne s'utilise que pour « décider si l'IC à 95 % est requis ».

Distribution de Probabilité dans l'Approche Bayésienne

L'approche bayésienne pose une question différente : « Quelle est la probabilité que la variante B soit meilleure que A ? » La réponse est une distribution a posteriori continuellement mise à jour. La croyance antérieure (prior) + les données = a posteriori. Chaque nouvelle session met à jour la distribution a posteriori. À 100 sessions, 72 % de probabilité de gagner ; à 500, 88 % ; à 1 000, 94 %. Pas de seuil fixe — c'est vous qui décidez : 90 % suffit-il, ou attendrez-vous 95 % ?

Les mathématiques : modèle bêta-binomial. Le prior du taux de conversion est Beta(α=1, β=1) (uniforme), chaque conversion augmente α de +1, chaque non-conversion augmente β de +1. La distribution a posteriori est Beta(α + conversions, β + non-conversions). Pour deux variantes, vous avez deux distributions bêta ; vous prélevez 10 000 échantillons par Monte Carlo et comptez la fréquence de « B > A ». Python : scipy.stats.beta.rvs. Vous pouvez aussi l'implémenter dans BigQuery avec une UDF, mais Python est plus rapide pour l'échantillonnage.

from scipy.stats import beta

# Variante A : 50 conversions, 2000 impressions
a_alpha, a_beta = 1 + 50, 1 + (2000 - 50)
# Variante B : 58 conversions, 2000 impressions
b_alpha, b_beta = 1 + 58, 1 + (2000 - 58)

samples_a = beta.rvs(a_alpha, a_beta, size=10000)
samples_b = beta.rvs(b_alpha, b_beta, size=10000)

prob_b_wins = (samples_b > samples_a).mean()
# Résultat : 0.847 → 84,7 % de probabilité de gagner

Mettez ce résultat sur votre tableau de bord quotidien : « La variante B gagne avec 84,7 % de probabilité, lift attendu de 15,3 %, intervalle de crédibilité à 95 % 2,1 %, 29,8 % ». Lorsque vous signalez au CMO, vous ne tombez pas dans le dilemme « significatif ou non », vous offrez une mesure du risque. Si 85 % de probabilité suffit, arrêtez ; sinon, continuez. Décision séquentielle — vous avez le droit de réévaluer chaque jour.

Échantillonnage Séquentiel et Critère d'Arrêt Anticipé

La véritable force du bayésien : vous pouvez arrêter le test quand vous le souhaitez. Chez le fréquentiste, regarder tôt est interdit parce que chaque coup d'œil gonfle l'erreur de type 1 ; chez le bayésien, la distribution a posteriori est mise à jour mais le concept d'erreur de type 1 n'existe pas (mise à jour des croyances à long terme plutôt que fréquence long-run). Vous définissez le critère d'arrêt : « Si la probabilité de gagner dépasse 95 % ou descend en dessous de 5 %, arrêtez ». Ce critère réduit la taille d'échantillon moyenne de 30 à 50 % (selon les benchmarks VWO 2024).

Mais attention : regarder trop tôt reste trompeur. Dans les 50 premières sessions, vous pouvez voir une probabilité de gain de 98 %, due aux fluctuations aléatoires. C'est là que la minimisation des regrets bayésiens intervient : vous calculez l'expected value of information (EVOI). EVOI = (gain attendu) - (coût de poursuite du test). Si EVOI est négatif, arrêtez. L'approche pratique : conservez une taille d'échantillon minimum (par exemple, 500 impressions par variante), puis appliquez la règle d'arrêt bayésienne.

Dans le processus d'Optimisation du Taux de Conversion, le test bayésien fonctionne ainsi sur Meta Ads : 3 variantes créatives, budget quotidien de 100 $ chacune. Le 2e jour, la variante C perd clairement (CTR de 2,1 % contre 3,8 % pour A/B), la distribution a posteriori dit « C perd avec 97 % de certitude ». Arrêtez C, réaffectez son budget à A/B. Le 5e jour, A gagne avec 91 % de probabilité, arrêtez B et passez entièrement à A. Vous avez décidé en 7 jours ; le fréquentiste aurait attendu 14 jours.

Perte Attendue et Gestion des Risques

La probabilité de gain n'est qu'une seule métrique. La variante B gagne avec 60 % de probabilité, mais si elle perd, la perte moyenne de taux de conversion est de -8 %, si elle gagne c'est +3 %. Il est alors risqué de basculer vers B. La métrique expected loss mesure cela : la différence moyenne de taux de conversion dans le scénario de perte. Formule : E[max(0, A - B)]. En Python : numpy.maximum(samples_a - samples_b, 0).mean(). Si la perte attendue est <1 % et la probabilité de gain >70 %, vous pouvez basculer en confiance.

Tableau : Matrice de décision bayésienne

Ce tableau reste dynamique sur votre tableau de bord. Vous ne demandez pas au responsable produit « Basculons vers B ? » ; vous dites « B gagne avec 78 % de probabilité mais la perte attendue est 1,2 %, collectons 200 sessions de plus ». La décision est claire, le risque est quantifié, pas de perte de temps.

Sélection du Prior et Analyse de Sensibilité

Les mathématiques bayésiennes dépendent du choix du prior. Un prior uniforme (Beta(1,1)) est le plus simple, les données le dominent. Mais si vous disposez de connaissances métier, utilisez un prior informatif : les tests passés montrent que le taux de conversion se situe entre 2 et 3 %, alors utilisez un prior Beta(20, 980) (moyenne %2). Ce prior stabilise la distribution a posteriori pendant les 100 premières sessions, réduisant la fluctuation aléatoire.

Testez la sensibilité au prior : exécutez la distribution a posteriori avec 3 priors différents (uniforme, faiblement informatif, fortement informatif). Si la probabilité de gain change de plus de 5 %, les données sont insuffisantes. Exemple : prior uniforme donne 82 %, fortement informatif donne 77 %, différence <5 %, vous pouvez avancer en confiance. Différence >10 % : collectez plus de données ou recalibrez le prior (avec l'historique des tests).

Code : sensibilité au prior

priors = [
    (1, 1),           # uniforme
    (10, 490),        # faiblement informatif, moyenne=2%
    (30, 1470)        # fortement informatif, moyenne=2%
]

for alpha, beta_prior in priors:
    a_posterior = beta.rvs(alpha + 50, beta_prior + 1950, size=10000)
    b_posterior = beta.rvs(alpha + 58, beta_prior + 1942, size=10000)
    prob = (b_posterior > a_posterior).mean()
    print(f"Prior Beta({alpha},{beta_prior}): P(B>A)={prob:.2f}")

Si les résultats sont cohérents (±3 %), le choix du prior est robuste.

Conclusion : Gain de Vitesse et Adaptation Organisationnelle

Le test A/B bayésien seul ne suffit pas ; vous devez aussi transformer votre processus de décision organisationnelle. Vous passez d'une culture « attendez jusqu'à ce que ce soit significatif » à une culture « évaluez le risque et progressez ». Au lieu de certitude à 100 %, vous offrez au CMO une probabilité à 90 %, ce qui nécessite un changement culturel. Mais les gains sont nets : le temps de test moyen passe de 14 jours à 7 jours, le coût des variantes perdantes chute de 50 %, la vitesse d'itération créative double. Sur Meta Ads, ce gain de vitesse se traduit directement par un meilleur ROAS — plus de tests, créatives gagnantes meilleures, CPA plus faible. Lorsque vous intégrez les mathématiques bayésiennes à votre flux de données (BigQuery + dbt + Looker), aucun calcul manuel, mise à jour a posteriori automatique, métriques de décision fraîches chaque matin.