Il test è finito. Abbiamo due colonne di numeri, una per la variante A e una per la B, e una domanda che sembra semplice: la differenza che vediamo è reale, o è il caso?
Poi apriamo un manuale, o chiediamo in giro, e la domanda si moltiplica: test z o test t? Student o Welch? E il chi quadro, e Fisher, e quel Mann-Whitney che qualcuno raccomanda sempre? Per scegliere uno strumento sembra di dover già conoscere la risposta.
La buona notizia è che la scelta non è una questione di gusti. Abbiamo avuto modo di vedere, parlando di A/B testing, come si imposta un esperimento; qui facciamo il passo successivo. Il test giusto dipende da due o tre domande sui nostri dati, sempre le stesse, e una volta capite quelle la scelta viene quasi da sola. Le mettiamo in fila in un diagramma, e poi vediamo ogni test al lavoro su un caso concreto, con il codice R per rifarlo.
In sintesi: per scegliere il test di un A/B test contano tre cose. Che cosa misuriamo: proporzioni (conversioni, clic) o valori continui (tempo, valore dell’ordine). Quante varianti confrontiamo: due, o tre e più. Come sono fatti i dati: conteggi piccoli, distribuzioni molto asimmetriche, valori estremi. Per due tassi di conversione si usa il test z per due proporzioni (in R prop.test()), per tre o più varianti il chi quadro, con conteggi piccoli il test esatto di Fisher. Per due medie il test t di Welch, che a differenza del t di Student non assume varianze uguali; se invece la domanda non riguarda la media ma quale gruppo tende ad avere valori più alti, il test di Mann-Whitney; per tre o più varianti l’ANOVA. Tutti assumono gruppi indipendenti. E la regola “test z sopra i 30 casi, t sotto” è un luogo comune da dimenticare.
Di cosa parleremo:
La prima domanda è la più importante, ed è anche la più facile: che cosa stiamo misurando?
Se per ogni visitatore la risposta è “sì o no” (ha convertito, ha cliccato, ha lasciato il contatto), stiamo contando successi su tentativi, e il dato che confrontiamo è una proporzione. Se invece per ogni visitatore abbiamo un numero che può prendere molti valori (secondi sulla pagina, euro spesi, pagine viste), stiamo confrontando valori continui, e di solito le loro medie. Le due famiglie hanno test diversi, perché il caso si comporta in modo diverso nei due mondi.
La seconda domanda è quante varianti confrontiamo. Con due, ci sono test pensati apposta; con tre o più, servono test che le guardino tutte insieme, perché confrontarle a coppie moltiplica il rischio di trovare differenze che non esistono (è il problema dei confronti multipli).
La terza domanda cambia con la famiglia. Per le proporzioni: i conteggi attesi in ogni casella sono abbastanza grandi (la soglia tradizionale è 5)? Per i valori continui: ci interessa la media, o ci basta sapere se una variante tende ad avere valori più alti dell’altra? Con le metriche molto asimmetriche, come il ricavo, le due domande possono avere risposte diverse, e la prima va decisa prima di scegliere il test.
Tutto il ragionamento poggia su un presupposto che vale la pena dichiarare: i gruppi sono indipendenti, e ogni osservazione corrisponde all’unità che abbiamo assegnato a caso alle varianti (di solito l’utente). Se uno stesso utente compare più volte, o vede entrambe le varianti, le sessioni non sono osservazioni indipendenti, e servono procedure diverse da quelle di questa guida.
n.b. nel diagramma manca una domanda che molti manuali mettono al primo posto: “il campione supera i 30 casi?”. La regola “test z sopra i 30, test t sotto” è un luogo comune da dimenticare. Per le medie, quando la varianza della popolazione non la conosciamo (cioè sempre, nella pratica), si usa il test t, e la numerosità da sola non decide fra z e t: con molti dati i due danno praticamente lo stesso risultato. L’affidabilità del test t dipende piuttosto dalle sue assunzioni e dalla forma dei dati: con pochi dati molto asimmetrici, o con valori estremi, anche il t può sbagliare. Per le proporzioni, la condizione che conta non è il numero di visitatori ma il numero di successi e insuccessi attesi: mille visite con due conversioni sono “poche”, anche se mille è più di trenta.
Vediamo ora ogni test al lavoro.
È il test più usato negli A/B test, perché la metrica più usata è un tasso di conversione. Facciamo un esempio: due versioni di una landing page, 4.000 visite ciascuna. La A converte 200 volte (5,0%), la B 252 volte (6,3%).
L’idea del test è confrontare la differenza osservata fra i due tassi con la differenza che il caso produrrebbe da solo, se le due varianti fossero in realtà identiche. A parole: calcoliamo il tasso di conversione comune (\( \hat{p} \), tutte le conversioni diviso tutte le visite), da lì l’oscillazione tipica che ci aspettiamo fra due campioni di quelle dimensioni (l’errore standard), ed esprimiamo la differenza osservata in unità di errore standard: è lo z.
\( \displaystyle z = \frac{\hat{p}_B – \hat{p}_A}{\sqrt{\hat{p}\,(1 – \hat{p})\left(\frac{1}{n_A} + \frac{1}{n_B}\right)}} \)
dove \( \hat{p}_A \) e \( \hat{p}_B \) sono i tassi delle due varianti, \( n_A \) e \( n_B \) le visite, e \( \hat{p} \) il tasso comune.
Calcolo in R, prima a mano e poi con la funzione già pronta:
conv <- c(A = 200, B = 252)
visite <- c(A = 4000, B = 4000)
p <- conv / visite # 0,050 e 0,063
p_pool <- sum(conv) / sum(visite) # 0,0565
se <- sqrt(p_pool * (1 - p_pool) * (1 / visite[1] + 1 / visite[2]))
z <- (p[2] - p[1]) / se # 2,52
2 * pnorm(-abs(z)) # p-value: 0,0118
prop.test(conv, visite, correct = FALSE)
# X-squared = 6.341, df = 1, p-value = 0.0118 Lo z vale 2,52 e il p-value 0,012: con una soglia del 5% la differenza è statisticamente significativa. prop.test() con correct = FALSE restituisce lo stesso p-value, anche se stampa una statistica chiamata X-squared: è il quadrato dello z (2,52² = 6,34), perché con due gruppi il test z e il chi quadro senza correzione sono lo stesso test, scritto in due modi. (Senza correct = FALSE, prop.test() applica la correzione di continuità di Yates, più prudente, e il p-value cresce un poco.)
L’intervallo di confidenza della differenza va da 0,3 a 2,3 punti percentuali (prop.test lo stampa come A − B, cioè con il segno meno). È più informativo del solo p-value: ci dice che la B converte meglio, ma che il guadagno vero potrebbe essere modesto quanto tre decimi di punto.
Un avvertimento: la varianza di una proporzione non è un numero da scegliere. Ogni visita, che converta o no, ha varianza p(1 − p); il tasso di conversione calcolato su n visite ha varianza p(1 − p)/n. Un errore che capita di vedere è confrontare un tasso con quello storico usando una “varianza nota” presa da chissà dove: per esempio, verificare se passare dal 5% al 6% su 500 utenti è un miglioramento, con una varianza di 0,0025, dà z = 4,47, un risultato che sembra solidissimo. Con la varianza giusta, 0,05 × 0,95 / 500, lo z è 1,03 e il p-value (unilaterale, perché la domanda è se c’è un miglioramento) è 0,15: nessuna evidenza di miglioramento. Lo stesso dato, due conclusioni opposte, e a fare la differenza è una formula.
Con tre varianti di una pagina il test z non basta più, e la tentazione è fare tre test a coppie. Il chi quadro risponde con un test solo alla domanda giusta: le tre varianti convertono tutte allo stesso modo?
Facciamo un esempio: tre varianti di una call to action, 3.000 visite ciascuna, con 150, 165 e 201 conversioni (5,0%, 5,5% e 6,7%). Costruisco la tabella in R e lancio il test:
tab3 <- rbind(conversioni = c(A = 150, B = 165, C = 201),
no = c(A = 2850, B = 2835, C = 2799))
chisq.test(tab3)
# X-squared = 8.4742, df = 2, p-value = 0.01445 Il chi quadro confronta le frequenze osservate con quelle che ci aspetteremmo se le varianti fossero identiche (qui 172 conversioni ciascuna, cioè un terzo del totale). Con un p-value di 0,014 concludiamo che almeno una variante converte in modo diverso dalle altre. Quale, il test non lo dice: per saperlo servono confronti a coppie corretti per la loro molteplicità, per esempio con pairwise.prop.test(), che applica in automatico la correzione di Holm.
Il test z e il chi quadro funzionano bene quando i conteggi sono abbastanza grandi: la regola pratica chiede almeno 5 casi attesi in ogni casella della tabella. Nei siti B2B, dove si contano i contatti e non i clic, questa condizione salta spesso.
Facciamo un esempio: una landing page per la richiesta di un preventivo, 90 visite per variante. La A raccoglie 1 contatto (1,1%), la B 8 (8,9%). Se le varianti fossero identiche ci aspetteremmo 4,5 contatti ciascuna: sotto la soglia. Lancio in R il test esatto di Fisher, e per confronto il chi quadro:
lead <- rbind(A = c(lead = 1, no = 89),
B = c(lead = 8, no = 82))
fisher.test(lead)
# p-value = 0.03444
chisq.test(lead)
# X-squared = 4.2105, df = 1, p-value = 0.04017
# Messaggio di avvertimento: l'approssimazione al Chi-quadrato potrebbe essere inesatta Il test di Fisher non usa approssimazioni: calcola la probabilità esatta di osservare una tabella come questa (o più estrema) se le varianti fossero uguali, e dà un p-value di 0,034. Il chi quadro arriva a un numero simile, ma R stesso ci avverte che con conteggi così piccoli la sua approssimazione non è affidabile. Con pochi successi, il test di Fisher è la scelta sicura; con conteggi grandi, chi quadro e Fisher danno in genere risultati molto simili.
n.b. 9 contatti in tutto sono pochissimi. Il test dice che una differenza così netta difficilmente è solo caso, ma l’intervallo di confidenza dell’odds ratio (da 0,003 a 0,90) è larghissimo: sulla grandezza dell’effetto sappiamo ancora molto poco.
Passiamo ai valori continui. Il test t per due campioni confronta le medie di due gruppi, e la sua versione classica, quella di Student, assume che i due gruppi abbiano la stessa varianza.
Facciamo un esempio: il tempo sulla pagina (in secondi) di 25 sessioni per ciascuna di due varianti di un articolo. Simulo i dati in R e lancio il test, con var.equal = TRUE per chiedere proprio la versione di Student:
set.seed(2026)
tempo_A <- round(rnorm(25, 95, 18))
tempo_B <- round(rnorm(25, 108, 18))
t.test(tempo_B, tempo_A, var.equal = TRUE)
# t = 5.1168, df = 48, p-value = 5.409e-06
# 95 percent confidence interval: 14.71499 33.76501
# mean of x mean of y: 113.32 89.08 La variante B tiene i lettori in media 113 secondi contro 89, e la differenza (24 secondi, con un intervallo da 15 a 34) è nettamente significativa. Qui l’ipotesi delle varianze uguali è ragionevole: i dati li abbiamo simulati con la stessa deviazione standard, e quelle dei due campioni (17,2 e 16,3) sono vicine. Con dati veri, due deviazioni standard simili non dimostrano che le varianze siano uguali: è un’altra ragione per partire da Welch.
n.b. senza var.equal = TRUE, R non esegue il test di Student ma quello di Welch: è una scelta deliberata, e il prossimo paragrafo spiega perché.
Il test t di Welch è una variante del t di Student che non assume varianze uguali. Corregge l’errore standard e i gradi di libertà in base alle varianze dei due gruppi, e quando le varianze sono davvero simili dà praticamente lo stesso risultato di Student. Per questo R lo usa di default, ed è la scelta di partenza più sensata.
La differenza diventa importante quando i gruppi hanno numerosità e varianze diverse. Facciamo un esempio: il valore medio dell’ordine in un test su una nuova pagina carrello, con 40 ordini per la variante A e solo 22 per la B, che però sono molto più variabili (deviazione standard di circa 20 euro contro 9). Simulo i dati e confronto i due test:
set.seed(7)
ordine_A <- round(rnorm(40, 62, 9))
ordine_B <- round(rnorm(22, 71, 24))
t.test(ordine_B, ordine_A) # Welch, il default
# t = 2.0461, df = 26.441, p-value = 0.05081
t.test(ordine_B, ordine_A, var.equal = TRUE) # Student
# t = 2.4672, df = 60, p-value = 0.01649 Le medie sono 73,5 e 64,4 euro. Il test di Student dà un p-value di 0,016 e sembra chiudere la questione; quello di Welch dà 0,051. Student è troppo sicuro di sé, perché tratta il gruppo piccolo e molto variabile come se fosse stabile quanto quello grande. Più del p-value, conta l’intervallo che Welch restituisce per la differenza: da −0,03 a 18,3 euro. La B potrebbe valere quasi niente in più della A, o quasi venti euro a ordine; Student, con il suo intervallo da 1,7 a 16,5 euro, ci avrebbe fatto credere di saperne di più.
Alcune metriche web hanno una forma molto lontana dalla campana. Il ricavo per sessione è l’esempio tipico: tante sessioni con pochi euro, qualcuna con molti, e ogni tanto un ordine enorme che da solo sposta la media.
Facciamo un esempio: il ricavo di 30 sessioni con acquisto per ciascuna variante, con dati fortemente asimmetrici e, nel gruppo A, un ordine da 640 euro. Simulo i dati in R:
set.seed(11)
ricavo_A <- round(rlnorm(30, log(20), 1.0), 1)
ricavo_B <- round(rlnorm(30, log(32), 1.0), 1)
ricavo_A[1] <- 640 # un ordine enorme nel gruppo A
c(mean(ricavo_A), mean(ricavo_B)) # 40,0 e 43,4
c(median(ricavo_A), median(ricavo_B)) # 15,8 e 33,4
t.test(ricavo_B, ricavo_A) # Welch: p-value = 0.8784
wilcox.test(ricavo_B, ricavo_A) # Mann-Whitney: W = 645.5, p-value = 0.003938 Le medie sono quasi uguali, 40 e 43 euro, e il t di Welch non vede nessuna differenza (p = 0,88). Ma le mediane raccontano un’altra storia: 16 euro contro 33. L’ordine da 640 euro gonfia da solo la media del gruppo A e nasconde il fatto che, sessione per sessione, la B tende a incassare di più.
Il test di Mann-Whitney (che R chiama wilcox.test, perché è la stessa cosa del test di Wilcoxon per due campioni indipendenti) non lavora sui valori ma sui loro ranghi, cioè sulla posizione di ogni valore nella classifica di tutti: l’ordine da 640 euro conta come “il più grande”, non come 640. Con un p-value di 0,004 dice che i valori della B tendono a essere più alti di quelli della A.
Attenzione però a che cosa misura. Il test di Mann-Whitney non confronta le medie, ma la tendenza di un gruppo ad avere valori più alti dell’altro. Se per il business conta il ricavo totale, cioè la media, quell’ordine da 640 euro è vero e non va ignorato: in quel caso servono più dati, o metodi pensati per le medie di dati asimmetrici come il bootstrap. Ne parliamo nell’articolo sui test parametrici e non parametrici.
Con tre o più varianti e una metrica continua, l’equivalente del chi quadro è l’analisi della varianza, l’ANOVA. Confronta la variabilità fra le varianti con quella dentro le varianti, e risponde con un test solo alla domanda: le medie sono tutte uguali? Come il t di Student, nella versione classica assume gruppi indipendenti con varianze simili e dati non troppo lontani dalla normalità; quando le varianze sono diverse c’è l’ANOVA di Welch (oneway.test()), seguita da confronti a coppie che non assumono varianze uguali (per esempio quelli di Games-Howell) invece di Tukey.
Facciamo un esempio: tre varianti di una pagina, 20 sessioni ciascuna, e il tempo sulla pagina. Simulo i dati e lancio l’ANOVA, seguita dal test di Tukey per capire quali varianti differiscono:
set.seed(99)
tempo3 <- c(round(rnorm(20, 95, 20)), round(rnorm(20, 104, 20)), round(rnorm(20, 116, 20)))
variante <- factor(rep(c("A", "B", "C"), each = 20))
tapply(tempo3, variante, mean) # A 87,95 B 104,80 C 105,75
summary(aov(tempo3 ~ variante))
# Df Sum Sq Mean Sq F value Pr(>F)
# variante 2 4011 2005.6 5.473 0.00669
# Residuals 57 20886 366.4
TukeyHSD(aov(tempo3 ~ variante))
# diff lwr upr p adj
# B-A 16.85 2.283331 31.41667 0.0196284
# C-A 17.80 3.233331 32.36667 0.0129265
# C-B 0.95 -13.616669 15.51667 0.9865163 L’ANOVA dice che le medie non sono tutte uguali (F = 5,47, p = 0,007), e Tukey precisa dove: B e C tengono i lettori più a lungo di A (circa 17-18 secondi in più), mentre fra B e C non emerge una differenza significativa. Il che non vuol dire che siano equivalenti: l’intervallo per la loro differenza va da −13,6 a +15,5 secondi, troppo largo per escludere una differenza che conti. La quota di variabilità spiegata dalla variante (l’η²) è 0,16: un effetto grande per le convenzioni, ma con 20 sessioni per gruppo gli intervalli restano larghi.
Il t di Student e l’ANOVA classica sono casi particolari di un unico strumento, il modello lineare. Lo verifico in R sui dati del test di Student, scrivendo il confronto come una regressione con una variabile che indica la variante:
d <- data.frame(tempo = c(tempo_A, tempo_B),
variante = factor(rep(c("A", "B"), each = 25)))
summary(lm(tempo ~ variante, data = d))$coefficients
# Estimate Std. Error t value Pr(>|t|)
# (Intercept) 89.08 3.349786 26.592743 2.235587e-30
# varianteB 24.24 4.737313 5.116825 5.409094e-06 Il coefficiente della variante B è 24,24 secondi, cioè la differenza fra le medie, e il suo t (5,12) e il suo p-value sono identici a quelli del test di Student. (Con Welch l’equivalenza non è così diretta: servono errori standard che tengano conto delle varianze diverse.) Il vantaggio della regressione è che si possono aggiungere altre variabili: il dispositivo, la sorgente di traffico, il giorno della settimana. In un test randomizzato servono a ridurre il rumore e a rendere la stima più precisa; quando le varianti non sono state assegnate a caso aiutano, ma non bastano da sole a eliminare le differenze nascoste fra i gruppi. Il passo successivo è la regressione multipla.
| Che cosa misuriamo | Varianti | Dati | Test | In R |
|---|---|---|---|---|
| proporzioni | 2 | conteggi attesi ≥ 5 | test z per due proporzioni | prop.test(..., correct = FALSE) |
| proporzioni | 3 o più | conteggi attesi ≥ 5 | chi quadro | chisq.test() |
| proporzioni | 2 o più | conteggi attesi < 5 | test esatto di Fisher | fisher.test() |
| valori continui | 2 | varianze simili | t di Student | t.test(..., var.equal = TRUE) |
| valori continui | 2 | caso generale, ci interessa la media | test t di Welch | t.test() |
| valori continui | 2 | ci interessa quale gruppo tende ad avere valori più alti | Mann-Whitney | wilcox.test() |
| valori continui | 3 o più | varianze simili | ANOVA (+ Tukey) | aov(), TukeyHSD() |
| valori continui | 3 o più | varianze diverse | ANOVA di Welch | oneway.test() |
Qualunque test scegliamo, valgono sempre le stesse regole del gioco: il test si decide prima di guardare i dati (sceglierlo dopo, provandone diversi finché uno dà la risposta che speriamo, è una forma di p-hacking), la durata del test si fissa in anticipo invece di fermarsi al primo risultato favorevole (il peeking problem), e un p-value piccolo dice che una differenza difficilmente è caso, non che è grande. Per i conti al volo su due tassi di conversione c’è anche il calcolatore di significatività.
Quale test usare per confrontare due tassi di conversione?
Il test z per due proporzioni, che in R si esegue con prop.test(..., correct = FALSE). Se almeno una casella della tabella ha un conteggio atteso inferiore a 5 (conversioni o non conversioni), meglio il test esatto di Fisher (fisher.test()).
Che differenza c’è tra il t di Student e il t di Welch?
Il t di Student assume che i due gruppi abbiano la stessa varianza; il t di Welch no. Quando le varianze sono simili danno lo stesso risultato; quando sono diverse, soprattutto con gruppi di numerosità diversa, Student può essere troppo ottimista. Per questo Welch è la scelta di partenza, ed è il default di R.
Quando usare il test di Mann-Whitney invece del t?
Quando la domanda è se una variante tende ad avere valori più alti dell’altra, più che di quanto differiscono le medie: succede spesso con dati molto asimmetrici o con valori estremi. Se invece è la media a contare (il ricavo totale, per esempio), l’asimmetria non basta a giustificare Mann-Whitney: servono più dati o metodi come il bootstrap.
Serve un campione di almeno 30 per usare il test z?
No, è un luogo comune: la numerosità da sola non decide fra z e t. Per le medie con varianza ignota si usa il test t, la cui affidabilità dipende dalle assunzioni e dalla forma dei dati più che da una soglia. Per le proporzioni la condizione che conta è avere abbastanza successi e insuccessi attesi (almeno 5 per casella), non abbastanza visitatori.
Che test usare con tre o più varianti?
Per le proporzioni il chi quadro (o il test esatto di Fisher, se qualche conteggio atteso è sotto 5); per le medie l’ANOVA, o l’ANOVA di Welch (oneway.test()) se le varianze sono diverse. Poi confronti a coppie corretti per la molteplicità (per esempio pairwise.prop.test(), il test di Tukey o, con varianze diverse, quello di Games-Howell) per capire quali varianti differiscono.
Il codice di ogni sezione si può rieseguire e modificare. Tre esercizi per mettere alla prova la scelta del test:
Suggerimento: in tutti e tre i casi la domanda è la stessa. Non “quale test dà il risultato migliore”, ma “quale test fa le ipotesi giuste per questi dati”.
Scegliere il test giusto risolve metà del problema: ci dice se una differenza è credibile. L’altra metà viene prima, e riguarda la progettazione: quanti visitatori servono perché il test abbia una ragionevole probabilità di accorgersi di una differenza che ci interessa davvero? È il tema dell’effect size e della power analysis, il passo naturale da cui proseguire.
Per chi vuole fare sul serio con gli esperimenti online, Trustworthy Online Controlled Experiments di Kohavi, Tang e Xu è il libro di riferimento sull’A/B testing, scritto da chi ha guidato la sperimentazione in Microsoft e Google: dedica pagine preziose proprio alle metriche asimmetriche come il ricavo per utente. Per i fondamenti statistici dei test, Statistica di Newbold, Carlson e Thorne resta il manuale più completo.
Il report di settembre è quasi pronto, e c'è un numero che stona: ad agosto…
Il rifacimento del sito è deciso, la data di messa online pure, e prima o…
Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione…
Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e…
Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e…
Un report annuale si chiude spesso con una riga sola: i clic da Google sono…