{"id":3691,"date":"2026-06-17T08:33:32","date_gmt":"2026-06-17T07:33:32","guid":{"rendered":"https:\/\/www.gironi.it\/blog\/?p=3691"},"modified":"2026-06-18T14:19:14","modified_gmt":"2026-06-18T13:19:14","slug":"effect-size-e-power-analysis","status":"publish","type":"post","link":"https:\/\/www.gironi.it\/blog\/effect-size-e-power-analysis\/","title":{"rendered":"Effect size e power analysis: quanto \u00e8 grande l’effetto (e quanti dati servono)"},"content":{"rendered":"\n

Abbiamo chiuso l’articolo sul calcolatore di significativit\u00e0<\/a> con una promessa. Dicevamo che il p-value risponde a una sola domanda \u2014 l’effetto esiste?<\/em> \u2014 e che a quella domanda, da solo, non ne aggiunge nessun’altra. Non ci dice quanto \u00e8 grande l’effetto, n\u00e9 se vale lo sforzo di portarlo in produzione. \u00c8 il momento di mantenere quella promessa, perch\u00e9 sono proprio le due domande che il p-value lascia in sospeso a separare chi legge i dati con metodo da chi si ferma alla prima soglia che luccica.<\/p>\n\n\n\n

Le due domande hanno un nome preciso. La prima \u2014 quanto \u00e8 grande?<\/em> \u2014 \u00e8 l’effect size<\/strong>. La seconda \u2014 con i dati che ho, avrei potuto vederlo, un effetto del genere?<\/em> \u2014 \u00e8 la potenza<\/strong> del test, e il ragionamento che ci porta a rispondere si chiama power analysis<\/strong>. Le esaminiamo una alla volta, come sempre con un esempio sotto mano.<\/p>\n\n\n\n\n\n\n\n

Significativo non vuol dire grande<\/h2>\n\n\n\n

Partiamo da una situazione che a chi gestisce test online capita pi\u00f9 spesso di quanto vorrebbe. Mettiamo di aver provato due title tag su una pagina ad altissimo traffico, e di aver raccolto un milione di sessioni per variante. Il CTR della versione A \u00e8 il 3,00%, quello della versione B il 3,05%: cinque centesimi di punto di differenza. Verifichiamo in R se lo scarto \u00e8 statisticamente significativo:<\/p>\n\n\n\n

# un milione di sessioni per variante, CTR 3,00% contro 3,05%\nprop.test(c(30000, 30500), c(1000000, 1000000), correct = FALSE)$p.value\n# [1] 0.03899<\/code><\/pre>\n\n\n\n
Il p-value \u00e8 0,039, sotto la soglia dello 0,05. Da manuale, dovremmo brindare: la differenza \u00e8 “significativa”. Ma fermiamoci un attimo. Stiamo davvero per riscrivere i title di tutto il sito per guadagnare cinque centesimi di punto di CTR? Quel risultato significativo nasconde un effetto di dimensioni ridicole, reso rilevabile soltanto dalla mole spropositata di dati.<\/p>\n\n\n\n
Questo \u00e8 il punto da cui non si torna indietro<\/strong>: con un campione abbastanza grande, qualsiasi<\/em> differenza diventa statisticamente significativa, anche la pi\u00f9 trascurabile. Il p-value misura quanto siamo sicuri che l’effetto non sia zero; non misura quanto l’effetto sia grande. Sono due cose diverse, e confonderle \u00e8 l’errore che porta a inseguire vittorie che sul fatturato non lasciano traccia. L’effect size esiste proprio per rimettere la grandezza al centro.<\/p>\n\n\n\n
L’effect size: misurare il “quanto”<\/h2>\n\n\n\n
L’idea dell’effect size \u00e8 semplice e, vista una volta, difficile da dimenticare: invece di chiederci solo se<\/em> due gruppi differiscono, misuriamo di quanto<\/em> differiscono, in una scala che non dipende dalla dimensione del campione. \u00c8 la differenza tra dire “B \u00e8 meglio di A” e dire “B \u00e8 meglio di A di mezza deviazione standard”. La prima \u00e8 una notizia; la seconda \u00e8 un’informazione su cui si pu\u00f2 decidere.<\/p>\n\n\n\n
Di misure di effect size ne esistono diverse, ciascuna tagliata su un tipo di confronto. Ne vediamo a fondo due \u2014 una per le medie, una per le proporzioni \u2014 perch\u00e9 coprono il grosso del lavoro quotidiano; delle altre daremo un cenno alla fine, con i rimandi giusti.<\/p>\n\n\n\n
Cohen’s d: l’effetto fra due medie<\/h2>\n\n\n\n
Quando confrontiamo due medie \u2014 il tempo medio sulla pagina di due varianti, la durata media di sessione di due segmenti \u2014 la misura di riferimento \u00e8 il Cohen’s d<\/strong>. L’intuizione \u00e8 questa: prendiamo la differenza tra le due medie e la esprimiamo in “unit\u00e0 di deviazione standard”, cos\u00ec da renderla confrontabile tra contesti diversi. Una differenza di tre secondi pesa molto se le sessioni durano tutte attorno a quel valore, pochissimo se variano di minuti.<\/p>\n\n\n\n
In formula, il Cohen’s d \u00e8 il rapporto tra la differenza delle medie e la deviazione standard combinata dei due gruppi:<\/p>\n\n\n\n\\( d = \\frac{\\bar{x}_B – \\bar{x}_A}{s_p} \\\\ \\)\n\n\n\n
dove x\u0304<\/em>A<\/sub> e x\u0304<\/em>B<\/sub> sono le medie dei due gruppi e s<\/em>p<\/sub> \u00e8 la deviazione standard pooled<\/strong>, cio\u00e8 una media ponderata delle due deviazioni standard, che mette insieme la variabilit\u00e0 interna di entrambi i gruppi:<\/p>\n\n\n\n\\( s_p = \\sqrt{\\frac{(n_A – 1)\\,s_A^2 + (n_B – 1)\\,s_B^2}{n_A + n_B – 2}} \\\\ \\)\n\n\n\n
con n<\/em>A<\/sub>, n<\/em>B<\/sub> le numerosit\u00e0 e s<\/em>A<\/sub>, s<\/em>B<\/sub> le deviazioni standard dei due gruppi. Il denominatore non \u00e8 altro che il modo corretto di fondere due variabilit\u00e0 in una sola misura di riferimento.<\/p>\n\n\n\n
Facciamo un esempio. Abbiamo misurato la durata di sessione (in secondi) su due versioni di una pagina, dodici sessioni per versione. Calcolo il Cohen’s d in R appoggiandomi al pacchetto effsize<\/code>, che fa il conto e ci restituisce anche l’etichetta qualitativa:<\/p>\n\n\n\n
A <- c(48, 55, 52, 60, 46, 58, 51, 57, 49, 54, 53, 50)  # versione A\nB <- c(50, 58, 52, 62, 49, 57, 60, 53, 61, 51, 59, 54)  # versione B\n\nlibrary(effsize)\ncohen.d(B, A)\n\n# Cohen's d\n#\n# d estimate: 0.6254922 (medium)\n# 95 percent confidence interval:\n#      lower      upper\n# -0.2416187  1.4926030<\/code><\/pre>\n\n\n\n
Il d stimato \u00e8 0,63<\/strong>, che effsize<\/code> classifica come effetto medio<\/strong>. Le soglie convenzionali, proposte da Jacob Cohen, sono 0,2 per un effetto piccolo, 0,5 per uno medio, 0,8 per uno grande \u2014 ma vanno prese per quello che sono: convenzioni utili a orientarsi, non leggi di natura. Lo stesso Cohen raccomandava di interpretarle alla luce del proprio campo, non di applicarle a scatola chiusa. Nella pratica quotidiana<\/em> della SEO, un d di 0,63 sul tempo di sessione \u00e8 un cambiamento che ha senso prendere sul serio.<\/p>\n\n\n\n
C’\u00e8 per\u00f2 un dettaglio che vale tutto il resto dell’articolo, ed \u00e8 gi\u00e0 visibile qui sopra: l’intervallo di confidenza del d va da \u22120,24 a 1,49. Attraversa lo zero. In altri termini, con dodici sole sessioni per gruppo, l’effetto stimato<\/em> \u00e8 medio, ma i dati non bastano a escludere che quello vero<\/em> sia nullo. E infatti, se sottoponiamo gli stessi numeri a un t-test, troviamo un p-value tutt’altro che rassicurante:<\/p>\n\n\n\n
t.test(B, A)\n#\n# \tWelch Two Sample t-test\n# t = 1.5321, df = 21.9, p-value = 0.1398<\/code><\/pre>\n\n\n\n
Un effetto medio che il test dichiara non<\/em> significativo. Non \u00e8 una contraddizione: \u00e8 esattamente il fenomeno che la potenza di un test serve a spiegare. Teniamolo a mente, ci torniamo tra poco.<\/p>\n\n\n\n
L’effect size per le proporzioni (CTR e conversioni)<\/h2>\n\n\n\n
Il tempo sulla pagina \u00e8 una media, ma il pane quotidiano di chi fa SEO sono le proporzioni: CTR, tasso di conversione, percentuale di rimbalzo. Qui il Cohen’s d non si applica direttamente, e la misura naturale di effect size \u00e8 il Cohen’s h<\/strong>, costruito apposta per la differenza tra due proporzioni.<\/p>\n\n\n\n
Il dettaglio tecnico che lo rende affidabile \u00e8 una trasformazione \u2014 l’arcoseno della radice della proporzione \u2014 che serve a stabilizzare la variabilit\u00e0 (in una proporzione, la variabilit\u00e0 dipende dal valore stesso, ed \u00e8 massima attorno al 50%). La formula \u00e8:<\/p>\n\n\n\n\\( h = 2\\arcsin\\sqrt{p_2} – 2\\arcsin\\sqrt{p_1} \\\\ \\)\n\n\n\n
dove p<\/em>1<\/sub> e p<\/em>2<\/sub> sono le due proporzioni a confronto. Non serve calcolarla a mano: ce la fornisce la funzione ES.h<\/code> del pacchetto pwr<\/code>. Ma prima di vederla all’opera conviene introdurre l’altra met\u00e0 del discorso, perch\u00e9 \u00e8 l\u00ec che il Cohen’s h d\u00e0 il meglio di s\u00e9.<\/p>\n\n\n\n
Prima per\u00f2 chiudiamo il capitolo effect size con un cenno onesto alle altre misure. Quando i gruppi a confronto sono pi\u00f9 di due \u2014 il classico scenario dell’ANOVA \u2014 la misura tipica \u00e8 l’eta quadro<\/strong> (\u03b7\u00b2), che dice quale frazione della variabilit\u00e0 totale \u00e8 spiegata dal fattore che stiamo studiando; ne abbiamo gettato le basi parlando di analisi della varianza<\/a>. Quando invece il risultato \u00e8 binario \u2014 converte \/ non converte \u2014 l’effect size si esprime spesso come odds ratio<\/strong>, il rapporto tra le quote di successo, lo stesso oggetto che governa la regressione logistica<\/a>. Strumenti diversi per domande diverse, ma l’idea di fondo non cambia: mettere un numero sulla grandezza, non solo sull’esistenza.<\/p>\n\n\n\n
La potenza di un test: avremmo potuto vederlo?<\/h2>\n\n\n\n
Torniamo al nostro effetto medio dichiarato non significativo. Come \u00e8 possibile che un d di 0,63 produca un p-value di 0,14? La risposta sta in un concetto che chiude il cerchio dell’inferenza: la potenza<\/strong> di un test.<\/p>\n\n\n\n
Quando facciamo un test delle ipotesi rischiamo due tipi di errore. Il primo, l’errore di tipo I, \u00e8 gridare a un effetto che non c’\u00e8: lo teniamo sotto controllo con la soglia \u03b1 (di solito 0,05). Il secondo, l’errore di tipo II, \u00e8 il suo opposto ed \u00e8 molto pi\u00f9 subdolo: non vedere<\/em> un effetto che invece c’\u00e8. La probabilit\u00e0 di commetterlo si indica con \u03b2, e la potenza<\/strong> \u00e8 il suo complemento:<\/p>\n\n\n\n\\( \\text{potenza} = 1 – \\beta \\\\ \\)\n\n\n\n
Detto in termini pi\u00f9 chiari e diretti, la potenza \u00e8 la probabilit\u00e0 di accorgersi di un effetto reale quando c’\u00e8 davvero. Una potenza di 0,80 \u2014 lo standard a cui si punta \u2014 significa che, se l’effetto esiste delle dimensioni ipotizzate, il nostro test lo individua quattro volte su cinque.<\/p>\n\n\n\n
Il punto cruciale \u00e8 che potenza, soglia \u03b1, effect size e dimensione del campione non sono quattro manopole indipendenti: sono legate da un vincolo<\/strong>. Fissati tre di questi valori, il quarto \u00e8 determinato. Questa \u00e8 l’intera idea della power analysis, ed \u00e8 ci\u00f2 che la rende cos\u00ec utile: a seconda di quale incognita lasciamo libera, risponde a due domande operative diverse.<\/p>\n\n\n\n
Ed ecco perch\u00e9 il nostro effetto medio \u00e8 rimasto invisibile. Con dodici sessioni per gruppo la potenza del test era bassissima: il test era, semplicemente, cieco<\/em>. Un risultato non significativo, in queste condizioni, non dice “l’effetto non c’\u00e8”; dice “non avevo occhi abbastanza buoni per vederlo”. Confondere le due cose \u00e8 uno degli errori pi\u00f9 costosi che si possano fare leggendo un A\/B test.<\/p>\n\n\n\n
Power analysis in R: quanti dati servono<\/h2>\n\n\n\n
La prima domanda che la power analysis sa risolvere \u00e8 quella che ogni test dovrebbe affrontare prima<\/em> di partire: quanti dati mi servono? Riprendiamo il nostro effetto medio. Se volessimo progettare un test capace di rilevare un d di 0,63 con potenza 0,80 e soglia 0,05, calcolo in R con il pacchetto pwr<\/code>:<\/p>\n\n\n\n
library(pwr)\npwr.t.test(d = 0.63, sig.level = 0.05, power = 0.80, type = \"two.sample\")\n#\n#      Two-sample t test power calculation\n#               n = 40.53396\n#               d = 0.63\n#       sig.level = 0.05\n#           power = 0.8\n#     alternative = two.sided\n# NOTE: n is number in *each* group<\/code><\/pre>\n\n\n\n
Servirebbero circa 41 sessioni per gruppo<\/strong>, non dodici. Ecco perch\u00e9 il nostro test era muto: stava cercando un effetto medio con un terzo dei dati necessari. La power analysis, fatta a monte<\/em>, ci avrebbe risparmiato un test inconcludente \u2014 ed \u00e8 esattamente il ragionamento che alimenta il calcolatore di sample size<\/a>: dimensione del campione e potenza sono le due facce della stessa medaglia.<\/p>\n\n\n\n
La seconda domanda \u00e8 speculare e si pone a posteriori<\/em>, quando il test l’abbiamo gi\u00e0 fatto: con i dati che avevo, quanta potenza avevo davvero? Lo vediamo meglio su un caso concreto.<\/p>\n\n\n\n
Un caso pratico: l’A\/B test che “non ha funzionato”<\/h2>\n\n\n\n
Mettiamo di aver testato due landing page. La A ha convertito 60 visitatori su 1.500 (4,0%), la B ne ha convertiti 78 su 1.500 (5,2%). A occhio la B sembra nettamente migliore \u2014 un punto e due decimi di conversione in pi\u00f9 non \u00e8 poco. Verifichiamo in R se la differenza regge:<\/p>\n\n\n\n
prop.test(c(60, 78), c(1500, 1500), correct = FALSE)\n#\n# \t2-sample test for equality of proportions\n# X-squared = 2.461, df = 1, p-value = 0.1167<\/code><\/pre>\n\n\n\n
Il p-value \u00e8 0,117: sopra lo 0,05. Verdetto da manuale: differenza non significativa, test fallito, si archivia. Ma noi adesso sappiamo di non fermarci qui. Calcoliamo la potenza che quel test aveva davvero, partendo dall’effect size osservato:<\/p>\n\n\n\n
library(pwr)\nh <- ES.h(0.052, 0.040)   # Cohen's h tra le due proporzioni\nh\n# [1] 0.0574024\n\npwr.2p.test(h = h, n = 1500, sig.level = 0.05)\n#               power = 0.3492384<\/code><\/pre>\n\n\n\n
La potenza era 0,35<\/strong>. In altri termini: anche se la B fosse stata davvero migliore di quel tanto, avevamo poco pi\u00f9 di una probabilit\u00e0 su tre di accorgercene. Il test non ha “dimostrato che le due pagine sono uguali”: era semplicemente troppo debole per pronunciarsi. E quanti dati sarebbero serviti per arrivare a una potenza decente?<\/p>\n\n\n\n
pwr.2p.test(h = h, power = 0.80, sig.level = 0.05)\n#               n = 4764.053<\/code><\/pre>\n\n\n\n
Quasi 4.800 visitatori per variante<\/strong>, contro i 1.500 che avevamo. La differenza tra un test che “non ha funzionato” e un test mai realmente in condizione di funzionare \u00e8 tutta qui \u2014 e si vede solo se all’effect size affianchiamo la potenza. Attenzione<\/strong> dunque a derubricare un risultato non significativo a “nessun effetto”: quasi sempre stiamo solo guardando un test sottodimensionato.<\/p>\n\n\n\n
Prova tu<\/h2>\n\n\n\n
Per fissare il meccanismo, ecco un esercizio con dati verosimili. Stiamo progettando un A\/B test su un modulo di contatto. Il tasso di conversione attuale (baseline) \u00e8 il 2,5%<\/strong>, e considereremmo un successo portarlo al 3,0%<\/strong>: mezzo punto di miglioramento. Vogliamo un test con potenza 0,80 e soglia 0,05.<\/p>\n\n\n\n
Il compito: calcolare l’effect size con ES.h(0.030, 0.025)<\/code>, passarlo a pwr.2p.test<\/code> fissando power = 0.80<\/code>, e leggere quanti visitatori per variante servono. Poi, come controprova, calcolare la potenza che avremmo se ci fermassimo a 3.000 visitatori per variante con pwr.2p.test(h = ..., n = 3000, ...)<\/code>.<\/p>\n\n\n\n
Per controllare i conti: l’effect size \u00e8 h<\/em> = 0,031, servono circa 16.759 visitatori per variante<\/strong> per avere una potenza dello 0,80, e con soli 3.000 la potenza crollerebbe a 0,22<\/strong>. La morale \u00e8 quella che ormai conosciamo: pi\u00f9 l’effetto che cerchiamo \u00e8 piccolo, pi\u00f9 dati servono per vederlo: dimezzare la differenza minima rilevabile non raddoppia il campione necessario, lo quadruplica.<\/p>\n\n\n\n
\n\n\n\n
Effect size e potenza completano la triade che il p-value, da solo, lasciava monca: non pi\u00f9 soltanto l’effetto esiste?<\/em>, ma anche quanto \u00e8 grande?<\/em> e avrei potuto vederlo?<\/em>. Sono le tre domande che trasformano un test da rito propiziatorio in uno strumento di decisione. E tutte e tre, a ben guardare, dipendono da una scelta che viene prima<\/em> del test: quanti dati raccogliere, e come. \u00c8 il terreno del disegno sperimentale e del campionamento<\/a> \u2014 il punto in cui la statistica smette di limitarsi a giudicare i numeri che le mettiamo davanti e comincia a dirci quali numeri andare a cercare.<\/p>\n\n\n\n
\n\n\n\n
Per approfondire<\/h3>\n\n\n\n
Sull’uso rigoroso di effect size, potenza e dimensionamento nel contesto degli esperimenti online, il riferimento pi\u00f9 completo resta Trustworthy Online Controlled Experiments<\/em><\/a> di Ron Kohavi, Diane Tang e Ya Xu: i capitoli su come dimensionare un test e interpretarne i risultati valgono da soli l’acquisto. Per i fondamenti statistici alle spalle di questi concetti \u2014 errori di tipo I e II, potenza, inferenza \u2014 un buon manuale italiano di riferimento \u00e8 Statistica<\/em><\/a> di Newbold, Carlson e Thorne.<\/p>\n","protected":false},"excerpt":{"rendered":"
Abbiamo chiuso l’articolo sul calcolatore di significativit\u00e0 con una promessa. Dicevamo che il p-value risponde a una sola domanda \u2014 l’effetto esiste? \u2014 e che a quella domanda, da solo, non ne aggiunge nessun’altra. Non ci dice quanto \u00e8 grande l’effetto, n\u00e9 se vale lo sforzo di portarlo in produzione. \u00c8 il momento di mantenere … Leggi tutto “Effect size e power analysis: quanto \u00e8 grande l’effetto (e quanti dati servono)”<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","footnotes":""},"categories":[629],"tags":[],"class_list":["post-3691","post","type-post","status-publish","format-standard","hentry","category-statistica-it"],"lang":"it","translations":{"it":3691,"en":3693},"uagb_featured_image_src":{"full":false,"thumbnail":false,"medium":false,"medium_large":false,"large":false,"1536x1536":false,"2048x2048":false,"post-thumbnail":false},"uagb_author_info":{"display_name":"Paolo Gironi","author_link":"https:\/\/www.gironi.it\/blog\/author\/autore-articoli\/"},"uagb_comment_info":0,"uagb_excerpt":"Abbiamo chiuso l’articolo sul calcolatore di significativit\u00e0 con una promessa. Dicevamo che il p-value risponde a una sola domanda \u2014 l’effetto esiste? \u2014 e che a quella domanda, da solo, non ne aggiunge nessun’altra. Non ci dice quanto \u00e8 grande l’effetto, n\u00e9 se vale lo sforzo di portarlo in produzione. \u00c8 il momento di mantenere…","_links":{"self":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/3691","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/comments?post=3691"}],"version-history":[{"count":4,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/3691\/revisions"}],"predecessor-version":[{"id":3706,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/3691\/revisions\/3706"}],"wp:attachment":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/media?parent=3691"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/categories?post=3691"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/tags?post=3691"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}