Analizzatore Risultati A/B Test
L'Analizzatore Risultati A/B Test prende i dati del tuo esperimento e produce un'analisi statistica rigorosa con raccomandazioni operative chiare. Va oltre il semplice "statisticamente significativo: sì/no" per fornire intervalli di confidenza, effect size, valutazione della significatività pratica e insight a livello di segmento.
Product manager, growth engineer e analisti di dati usano questo template dopo che un A/B test ha raccolto dati sufficienti. È particolarmente prezioso quando gli stakeholder ti premono per "decidere subito" basandosi su numeri superficiali, perché fornisce un framework strutturato per prendere decisioni difendibili.
Il prompt applica una metodologia di test delle ipotesi corretta: verifica l'adeguatezza della dimensione campionaria, identifica il test statistico appropriato per il tipo di metrica, riporta l'effect size insieme ai p-value e affronta esplicitamente la differenza tra significatività statistica e significatività pratica. Questo previene l'errore comune di rilasciare una modifica "significativa" che migliora la conversione dello 0,01%.
This prompt is just the starting point
Score it with AI, optimize it with one click, track versions, and build your prompt library.
The Prompt
Analizza i seguenti risultati di un A/B test e fornisci una raccomandazione: **Nome Esperimento**: [NOME DELL'ESPERIMENTO] **Ipotesi**: [COSA TI ASPETTAVI, es. "Cambiare il pulsante CTA da blu a verde aumenterà il tasso di clic"] **Durata del Test**: [PER QUANTO TEMPO È STATO ESEGUITO IL TEST, es. "14 giorni, 1-14 marzo 2026"] **Suddivisione del Traffico**: [COME È STATO SUDDIVISO IL TRAFFICO, es. "50/50"] **Metrica Primaria**: [LA TUA METRICA DI SUCCESSO PRINCIPALE, es. "Tasso di clic (CTR)"] **Risultati**: ``` Controllo (A): - Dimensione campione: [NUMERO] - Conversioni (o valore della metrica): [NUMERO] - Tasso: [PERCENTUALE O MEDIA] Variante (B): - Dimensione campione: [NUMERO] - Conversioni (o valore della metrica): [NUMERO] - Tasso: [PERCENTUALE O MEDIA] ``` **Metriche Secondarie** (facoltative): ``` [ELENCA EVENTUALI METRICHE SECONDARIE E I RISPETTIVI VALORI PER ENTRAMBI I GRUPPI] ``` **Dati per Segmento** (facoltativi): ``` [SE DISPONIBILI: risultati suddivisi per dispositivo, paese, tipo di utente, ecc.] ``` Esegui questa analisi: ### 1. Test di Significatività Statistica - Enuncia le ipotesi nulla e alternativa - Scegli il test appropriato (z-test per proporzioni, t-test per medie, chi-quadrato, ecc.) e spiega perché - Riporta: p-value, intervallo di confidenza (95%) e se rigettare l'ipotesi nulla - Se il test è sotto-potente, calcola la dimensione campionaria minima necessaria e quanti giorni in più servono ### 2. Effect Size - Calcola l'effect size relativo e assoluto - Valuta la significatività pratica: l'effetto è abbastanza grande da contare per il business? - Se applicabile, stima l'impatto annualizzato su ricavi/engagement ### 3. Controlli di Validità - Sample Ratio Mismatch (SRM): la suddivisione effettiva è vicina a quella prevista? - Rischio effetto novità/primacy: in base alla durata del test, il risultato potrebbe essere temporaneo? - Problema dei confronti multipli: se stai testando più metriche, applica la correzione di Bonferroni ### 4. Analisi per Segmento (se i dati per segmento sono forniti) - Ci sono segmenti in cui la variante performa in modo significativamente diverso? - Segnala eventuali rischi di paradosso di Simpson ### 5. Raccomandazione - Verdetto chiaro: RILASCIARE, NON RILASCIARE o ESTENDERE IL TEST - Se RILASCIARE: cosa monitorare dopo il rilascio - Se NON RILASCIARE: cosa testare successivamente - Se ESTENDERE: quanti giorni/utenti in più servono
Usage Tips
- Includi numeri esatti, non arrotondati: arrotondare "34,7%" a "circa 35%" altera i risultati del test statistico. Fornisci conteggi grezzi quando possibile.
- Dichiara la suddivisione del traffico: un rapporto 50/50 è l'ideale, ma se hai usato 90/10, specificalo. Questo influenza la scelta del test statistico e il calcolo della potenza.
- Includi le metriche secondarie: anche se la metrica primaria è migliorata, un calo dei ricavi per utente o un aumento dei rimborsi potrebbe ribaltare la raccomandazione.
- Esegui per almeno un ciclo di business completo: se il tuo prodotto ha pattern settimanali, esegui per almeno 7 giorni. Menziona la durata così l'analisi può segnalare effetti di novità.
- Usa i dati per segmento per scoprire dinamiche nascoste: carica i risultati per dispositivo, paese o tipo di utente. Una variante vincente nel complesso potrebbe perdere nettamente su mobile.
Get more from this prompt
Save it, score it with AI, optimize it, and track every version. Free to start.