Maison

Skill

Gestion de base de données

ab-test-analysis

phuryn/pm-skills

Analyser les résultats des tests A/B en tenant compte de la signification statistique, de la validation de la taille de l'échantillon, des intervalles de confiance et des recommandations concernant la mise en production, la prolongation ou l'arrêt des tests.

...Développer tout

Heure mise à jour 29 septembre 2026

# ab testing # sample size # statistical significance # product decisions # confidence intervals # p value

Analyse des tests A/B

Évaluez les résultats des tests A/B avec une rigueur statistique et traduisez ces conclusions en décisions claires concernant les produits.

Contexte

Vous analysez les résultats des tests A/B pour $ARGUMENTS.

Si l'utilisateur fournit des fichiers de données (CSV, Excel ou exportations d'outils d'analyse), lisez-les et analysez-les directement. Générez des scripts Python pour les calculs statistiques si nécessaire.

Instructions

Comprenez l'expérience :
- Quelle était l'hypothèse ?
- Qu'est-ce qui a été modifié (la variante) ?
- Quel est l'indicateur principal ? Y a-t-il des indicateurs de contrôle ?
- Combien de temps a duré le test ?
- Quelle est la répartition du trafic ?
Vérifiez la configuration du test :
- Taille de l'échantillon : l'échantillon est-il suffisamment grand pour l'ampleur d'effet attendue ?
  - Utilisez la formule : n = (Z²α/2 × 2 × p × (1-p)) / MDE²
  - Signalez si le test manque de puissance (< 80 % de puissance)
- Durée : le test s’est-il déroulé sur au moins 1 à 2 cycles économiques complets ?
- Randomisation : y a-t-il des signes de déséquilibre dans la répartition des échantillons (SRM) ?
- Effets de nouveauté/primauté : y a-t-il eu suffisamment de temps pour que les changements de comportement initiaux s’estompent ?
Calculer la signification statistique :
- Taux de conversion pour le groupe témoin et la variante
- Gain relatif : (variante - groupe témoin) / groupe témoin × 100
- Valeur p : à l’aide d’un test z bilatéral ou d’un test du chi carré
- Intervalle de confiance : IC à 95 % pour la différence
- Signification statistique : p < 0,05 ?
- Signification pratique : le gain est-il significatif pour l'entreprise ?
Si l’utilisateur fournit des données brutes, générez et exécutez un script Python pour calculer ces valeurs.
Vérifiez les indicateurs de sécurité :
- Certains indicateurs de sécurité (chiffre d’affaires, engagement, temps de chargement des pages) se sont-ils détériorés ?
- Un indicateur principal positif accompagné d’indicateurs de sécurité en baisse peut ne pas constituer un véritable succès

Interprétez les résultats :

Conclusion	Recommandation
Hausse significative et positive, aucun problème au niveau des seuils de sécurité	Lancez-la — déployez-la à 100 %
Effet positif significatif, mais problèmes liés aux garde-fous	Étudier — évaluer les compromis avant la mise en œuvre
Tendance positive, mais non significative	Prolonger le test — besoin de données supplémentaires ou d’un effet plus important
Non significatif, stagnation	Arrêter le test — aucune différence significative détectée
Hausse négative significative	Ne pas mettre en production — revenir à la version de contrôle, analyser les causes

Fournir le résumé de l’analyse :

## A/B Test Results: [Test Name]

**Hypothesis**: [What we expected]
**Duration**: [X days] | **Sample**: [N control / M variant]

| Metric | Control | Variant | Lift | p-value | Significant? |
|---|---|---|---|---|---|
| [Primary] | X% | Y% | +Z% | 0.0X | Yes/No |
| [Guardrail] | ... | ... | ... | ... | ... |

**Recommendation**: [Ship / Extend / Stop / Investigate]
**Reasoning**: [Why]
**Next steps**: [What to do]

Réfléchissez étape par étape. Enregistrez au format Markdown. Générez des scripts Python pour les calculs si les données brutes sont fournies.

Lectures complémentaires

Les tests A/B : le b.a.-ba + exemples
Tester des idées de produits : la bibliothèque ultime d'expériences de validation
Suivez-vous les bons indicateurs ?

Voir sur GitHub

---
name: ab-test-analysis
description: Analyze A/B test results with statistical significance, sample size validation, confidence intervals, and ship/extend/stop recommendations.
---

## A/B Test Analysis

Evaluate A/B test results with statistical rigor and translate findings into clear product decisions.

### Context

You are analyzing A/B test results for **$ARGUMENTS**.

If the user provides data files (CSV, Excel, or analytics exports), read and analyze them directly. Generate Python scripts for statistical calculations when needed.

### Instructions

1. **Understand the experiment**:
   - What was the hypothesis?
   - What was changed (the variant)?
   - What is the primary metric? Any guardrail metrics?
   - How long did the test run?
   - What is the traffic split?

2. **Validate the test setup**:
   - **Sample size**: Is the sample large enough for the expected effect size?
     - Use the formula: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
     - Flag if the test is underpowered (<80% power)
   - **Duration**: Did the test run for at least 1-2 full business cycles?
   - **Randomization**: Any evidence of sample ratio mismatch (SRM)?
   - **Novelty/primacy effects**: Was there enough time to wash out initial behavior changes?

3. **Calculate statistical significance**:
   - **Conversion rate** for control and variant
   - **Relative lift**: (variant - control) / control × 100
   - **p-value**: Using a two-tailed z-test or chi-squared test
   - **Confidence interval**: 95% CI for the difference
   - **Statistical significance**: Is p < 0.05?
   - **Practical significance**: Is the lift meaningful for the business?

   If the user provides raw data, generate and run a Python script to calculate these.

4. **Check guardrail metrics**:
   - Did any guardrail metrics (revenue, engagement, page load time) degrade?
   - A winning primary metric with degraded guardrails may not be a true win

5. **Interpret results**:

   | Outcome | Recommendation |
   |---|---|
   | Significant positive lift, no guardrail issues | **Ship it** — roll out to 100% |
   | Significant positive lift, guardrail concerns | **Investigate** — understand trade-offs before shipping |
   | Not significant, positive trend | **Extend the test** — need more data or larger effect |
   | Not significant, flat | **Stop the test** — no meaningful difference detected |
   | Significant negative lift | **Don't ship** — revert to control, analyze why |

6. **Provide the analysis summary**:
   ```
   ## A/B Test Results: [Test Name]

   **Hypothesis**: [What we expected]
   **Duration**: [X days] | **Sample**: [N control / M variant]

   | Metric | Control | Variant | Lift | p-value | Significant? |
   |---|---|---|---|---|---|
   | [Primary] | X% | Y% | +Z% | 0.0X | Yes/No |
   | [Guardrail] | ... | ... | ... | ... | ... |

   **Recommendation**: [Ship / Extend / Stop / Investigate]
   **Reasoning**: [Why]
   **Next steps**: [What to do]
   ```

Think step by step. Save as markdown. Generate Python scripts for calculations if raw data is provided.

---

### Further Reading

- [A/B Testing 101 + Examples](https://www.productcompass.pm/p/ab-testing-101-for-pms)
- [Testing Product Ideas: The Ultimate Validation Experiments Library](https://www.productcompass.pm/p/the-ultimate-experiments-library)
- [Are You Tracking the Right Metrics?](https://www.productcompass.pm/p/are-you-tracking-the-right-metrics)