In sintesi:<\/strong> il p-value<\/strong> \u00e8 la probabilit\u00e0 di osservare dati almeno cos\u00ec estremi come quelli ottenuti, supponendo che l’ipotesi nulla sia vera<\/strong> (cio\u00e8 che l’effetto non esista). Non \u00e8 la probabilit\u00e0 che l’ipotesi nulla sia vera, n\u00e9 la probabilit\u00e0 che il risultato sia dovuto al caso. Un p-value piccolo non dice che l’effetto \u00e8 grande, e un p-value sopra 0,05 non dice che l’effetto non c’\u00e8. La soglia di 0,05 \u00e8 una convenzione, non un confine naturale. Per decidere servono anche la dimensione dell’effetto, l’intervallo di confidenza e una stima di quante delle idee che testiamo funzionano davvero.<\/p>\n\n\n\n Di cosa parleremo<\/strong>:<\/p>\n\n\n\n Partiamo da un A\/B test su due titoli di annuncio: 4.000 impressioni ciascuno, 200 clic per il titolo A (CTR 5,0%) e 240 per il titolo B (CTR 6,0%). Il test sulle due proporzioni restituisce p = 0,0498.<\/p>\n\n\n\n Per leggere quel numero bisogna fare un piccolo esercizio di immaginazione. Supponiamo che i due titoli siano identici<\/strong>, che la differenza di CTR non esista e tutto dipenda dal caso dei clic. \u00c8 l’ipotesi nulla. In quel mondo immaginario, con quale probabilit\u00e0 vedremmo una differenza grande almeno quanto quella osservata, 40 clic su 4.000? La risposta \u00e8 il p-value: circa il 5%.<\/p>\n\n\n\n In formula, con H\u2080 l’ipotesi nulla:<\/p>\n\n\n\n \\(p = P(\\text{dati almeno cos\u00ec estremi} \\mid H_0 \\text{ vera})\\)<\/p>\n\n\n\n La barra verticale si legge \u00absupponendo che\u00bb: tutto il calcolo avviene dentro<\/em> l’ipotesi nulla. Il p-value misura quanto i dati sono sorprendenti se l’effetto non esiste.<\/strong> Non dice niente, direttamente, su quanto sia probabile che l’effetto esista. Ed \u00e8 proprio da qui che nascono quasi tutti i malintesi.<\/p>\n\n\n\n Una conseguenza che pochi conoscono, ma che aiuta a capire tutto il resto: quando l’ipotesi nulla \u00e8 vera, il p-value \u00e8 un numero a caso fra 0 e 1, con distribuzione uniforme<\/strong>. Un p di 0,03 \u00e8 raro esattamente quanto un p di 0,73. Lo verifichiamo simulando 10.000 A\/B test in cui B non cambia niente, e altri 10.000 in cui B porta il CTR dal 5% al 6%:<\/p>\n\n\n\n Senza effetto, il 4,8% dei test scende sotto 0,05 (il 5% promesso, a meno del caso) e i quartili cadono a 0,25, 0,50 e 0,75: la distribuzione \u00e8 piatta. Con l’effetto vero, i p-value si ammassano vicino a zero, ma solo la met\u00e0 scende sotto 0,05<\/strong>: con 4.000 impressioni per variante, la potenza<\/a> del test \u00e8 del 50%.<\/p>\n\n\n\n \u00c8 il malinteso pi\u00f9 diffuso, e il pi\u00f9 costoso. Un p di 0,03 non vuol dire che c’\u00e8 il 3% di probabilit\u00e0 che l’ipotesi nulla sia vera, n\u00e9 il 97% che l’effetto esista. Il p-value \u00e8 la probabilit\u00e0 dei dati supponendo H\u2080, non la probabilit\u00e0 di H\u2080 dati i dati. Sembra un gioco di parole, ma le due probabilit\u00e0 possono essere lontanissime.<\/p>\n\n\n\n Un esempio fuori dalla statistica. La probabilit\u00e0 che una persona sia italiana, sapendo che \u00e8 il Presidente della Repubblica, \u00e8 altissima. La probabilit\u00e0 che sia il Presidente della Repubblica, sapendo che \u00e8 italiana, \u00e8 di circa una su sessanta milioni. Invertire il \u00absapendo che\u00bb cambia tutto.<\/p>\n\n\n\n Per passare dal p-value alla domanda che ci interessa davvero (questa idea funziona?) manca un ingrediente: quante delle idee che mettiamo alla prova funzionano in partenza<\/strong>. Facciamo un esempio realistico. Testiamo 1.000 idee (titoli, meta description, call to action) e solo una su dieci funziona davvero; le altre nove sono neutre. Lo simulo in R con gli stessi test di prima:<\/p>\n\n\n\n Su 1.000 test, 97 risultano \u00absignificativi\u00bb. Cinquanta sono idee che funzionano davvero; 47 sono idee neutre che hanno superato la soglia per caso<\/strong>. Fra i nostri \u00abvincitori\u00bb, quasi uno su due \u00e8 un falso allarme, eppure ciascuno di loro aveva un p-value sotto 0,05.<\/p>\n\n\n\n Il conto si pu\u00f2 fare anche senza simulazione. Se \u03c0 \u00e8 la quota di idee che funzionano, \u03b1 la soglia e la potenza la probabilit\u00e0 di accorgersi di un’idea buona, la quota di falsi allarmi fra i risultati significativi \u00e8:<\/p>\n\n\n\n \\(\\text{quota di falsi allarmi} = \\frac{\\alpha \\, (1 – \\pi)}{\\alpha \\, (1 – \\pi) + \\text{potenza} \\cdot \\pi}\\)<\/p>\n\n\n\n Il numeratore sono le idee neutre che passano per caso (il 5% delle 900); al denominatore si aggiungono le idee buone che il test riconosce (il 50% delle 100). Con i nostri numeri: 45 \/ (45 + 50) = 47%<\/strong>. La tabella mostra come cambia la quota al variare delle due incognite:<\/p>\n\n\n\n
\n\n\n\nCos’\u00e8 il p-value, in una frase<\/h2>\n\n\n\n
un_test <- function(ctr_b, n = 4000, ctr_a = 0.05) {\n clic_a <- rbinom(1, n, ctr_a)\n clic_b <- rbinom(1, n, ctr_b)\n prop.test(c(clic_a, clic_b), c(n, n), correct = FALSE)$p.value\n}\n\nset.seed(1)\np_nulla <- replicate(10000, un_test(0.05)) # B non cambia niente\np_effetto <- replicate(10000, un_test(0.06)) # B funziona davvero (+20%)\n\nmean(p_nulla < 0.05)\n# [1] 0.0481\nquantile(p_nulla, c(0.25, 0.50, 0.75))\n# 25% 50% 75%\n# 0.2483948 0.4970851 0.7524771\nmean(p_effetto < 0.05)\n# [1] 0.501<\/code><\/pre>\n\n\n\n![\"La](\"https:\/\/www.gironi.it\/blog\/wp-content\/uploads\/2026\/10\/p-value-distribuzione.png\")
Malinteso 1: \u00abc’\u00e8 il 97% di probabilit\u00e0 che funzioni\u00bb<\/h2>\n\n\n\n
set.seed(5)\nfunziona <- seq_len(1000) <= 100 # le idee buone sono 100 su 1.000\np_idee <- sapply(funziona, function(f) un_test(ifelse(f, 0.06, 0.05)))\n\ntable(significativo = p_idee < 0.05, funziona)\n\n# funziona\n# significativo FALSE TRUE\n# FALSE 853 50\n# TRUE 47 50<\/code><\/pre>\n\n\n\n![\"Mille](\"https:\/\/www.gironi.it\/blog\/wp-content\/uploads\/2026\/10\/p-value-mille-idee.png\")