Analizzatore Risultati A/B Test
L'Analizzatore Risultati A/B Test prende i dati del tuo esperimento e produce un'analisi statistica rigorosa con raccomandazioni operative chiare. Va oltre il semplice "statisticamente significativo: sì/no" per fornire intervalli di confidenza, effect size, valutazione della significatività pratica e insight a livello di segmento.
Product manager, growth engineer e analisti di dati usano questo template dopo che un A/B test ha raccolto dati sufficienti. È particolarmente prezioso quando gli stakeholder ti premono per "decidere subito" basandosi su numeri superficiali, perché fornisce un framework strutturato per prendere decisioni difendibili.
Il prompt applica una metodologia di test delle ipotesi corretta: verifica l'adeguatezza della dimensione campionaria, identifica il test statistico appropriato per il tipo di metrica, riporta l'effect size insieme ai p-value e affronta esplicitamente la differenza tra significatività statistica e significatività pratica. Questo previene l'errore comune di rilasciare una modifica "significativa" che migliora la conversione dello 0,01%.
Fai tuo questo prompt
Registrati gratis e lo salviamo noi nella tua libreria. Poi valutalo con l'AI, ottimizzalo con un clic e tieni traccia di ogni versione.
Il Prompt
Analizza i seguenti risultati di un A/B test e fornisci una raccomandazione: **Nome Esperimento**: [NOME DELL'ESPERIMENTO] **Ipotesi**: [COSA TI ASPETTAVI, es. "Cambiare il pulsante CTA da blu a verde aumenterà il tasso di clic"] **Durata del Test**: [PER QUANTO TEMPO È STATO ESEGUITO IL TEST, es. "14 giorni, 1-14 marzo 2026"] **Suddivisione del Traffico**: [COME È STATO SUDDIVISO IL TRAFFICO, es. "50/50"] **Metrica Primaria**: [LA TUA METRICA DI SUCCESSO PRINCIPALE, es. "Tasso di clic (CTR)"] **Risultati**: ``` Controllo (A): - Dimensione campione: [NUMERO] - Conversioni (o valore della metrica): [NUMERO] - Tasso: [PERCENTUALE O MEDIA] Variante (B): - Dimensione campione: [NUMERO] - Conversioni (o valore della metrica): [NUMERO] - Tasso: [PERCENTUALE O MEDIA] ``` **Metriche Secondarie** (facoltative): ``` [ELENCA EVENTUALI METRICHE SECONDARIE E I RISPETTIVI VALORI PER ENTRAMBI I GRUPPI] ``` **Dati per Segmento** (facoltativi): ``` [SE DISPONIBILI: risultati suddivisi per dispositivo, paese, tipo di utente, ecc.] ``` Esegui questa analisi: ### 1. Test di Significatività Statistica - Enuncia le ipotesi nulla e alternativa - Scegli il test appropriato (z-test per proporzioni, t-test per medie, chi-quadrato, ecc.) e spiega perché - Riporta: p-value, intervallo di confidenza (95%) e se rigettare l'ipotesi nulla - Se il test è sotto-potente, calcola la dimensione campionaria minima necessaria e quanti giorni in più servono ### 2. Effect Size - Calcola l'effect size relativo e assoluto - Valuta la significatività pratica: l'effetto è abbastanza grande da contare per il business? - Se applicabile, stima l'impatto annualizzato su ricavi/engagement ### 3. Controlli di Validità - Sample Ratio Mismatch (SRM): la suddivisione effettiva è vicina a quella prevista? - Rischio effetto novità/primacy: in base alla durata del test, il risultato potrebbe essere temporaneo? - Problema dei confronti multipli: se stai testando più metriche, applica la correzione di Bonferroni ### 4. Analisi per Segmento (se i dati per segmento sono forniti) - Ci sono segmenti in cui la variante performa in modo significativamente diverso? - Segnala eventuali rischi di paradosso di Simpson ### 5. Raccomandazione - Verdetto chiaro: RILASCIARE, NON RILASCIARE o ESTENDERE IL TEST - Se RILASCIARE: cosa monitorare dopo il rilascio - Se NON RILASCIARE: cosa testare successivamente - Se ESTENDERE: quanti giorni/utenti in più servono
Consigli d'uso
- Includi numeri esatti, non arrotondati: arrotondare "34,7%" a "circa 35%" altera i risultati del test statistico. Fornisci conteggi grezzi quando possibile.
- Dichiara la suddivisione del traffico: un rapporto 50/50 è l'ideale, ma se hai usato 90/10, specificalo. Questo influenza la scelta del test statistico e il calcolo della potenza.
- Includi le metriche secondarie: anche se la metrica primaria è migliorata, un calo dei ricavi per utente o un aumento dei rimborsi potrebbe ribaltare la raccomandazione.
- Esegui per almeno un ciclo di business completo: se il tuo prodotto ha pattern settimanali, esegui per almeno 7 giorni. Menziona la durata così l'analisi può segnalare effetti di novità.
- Usa i dati per segmento per scoprire dinamiche nascoste: carica i risultati per dispositivo, paese o tipo di utente. Una variante vincente nel complesso potrebbe perdere nettamente su mobile.
Salva questo prompt nella tua libreria
Crea l'account gratuito e questo prompt entra subito nella tua libreria, pronto da valutare, ottimizzare e versionare.
Template correlati
Narratore di Data Storytelling
Trasforma dati grezzi e grafici in narrative aziendali persuasive che evidenziano insight chiave, trend e azioni raccomandate per ogni pubblico.
Vedi template →Analisi DatiFramework Definizione KPI
Definisci KPI chiari e misurabili per qualsiasi funzione aziendale con formule precise, target, fonti dati e responsabilità in un framework strutturato.
Vedi template →Analisi DatiGeneratore Checklist Pulizia Dati
Genera una checklist di pulizia dati su misura che identifica valori mancanti, duplicati, outlier e inconsistenze di formato nel tuo dataset.
Vedi template →