{"id":1190,"date":"2018-12-14T16:12:23","date_gmt":"2018-12-14T15:12:23","guid":{"rendered":"https:\/\/www.gironi.it\/blog\/?p=1190"},"modified":"2026-08-04T08:46:13","modified_gmt":"2026-08-04T07:46:13","slug":"il-test-delle-ipotesi","status":"publish","type":"post","link":"https:\/\/www.gironi.it\/blog\/il-test-delle-ipotesi\/","title":{"rendered":"Il test delle ipotesi: come stabilire se un risultato \u00e8 dovuto al caso"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Abbiamo due title tag in A\/B test su una pagina prodotto. La variante A genera 127 clic su 4.000 impression (CTR 3,17%), la variante B 152 clic su 4.000 impression (CTR 3,80%). Una differenza di 25 clic in pi\u00f9. \u00c8 un risultato reale o semplice rumore del campione?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Domande come questa \u2014 <em>questa differenza \u00e8 dovuta al caso?<\/em> \u2014 nascono in continuazione in ogni attivit\u00e0 basata su dati. Il <strong>test delle ipotesi<\/strong> \u00e8 la procedura statistica che ci permette di rispondere con metodo, distinguendo i risultati dovuti a un fenomeno reale da quelli che sono soltanto effetto del caso.<\/p>\n\n\n\n<!--more-->\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Di cosa parleremo<\/strong>:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><a href=\"#che-cose-un-test-delle-ipotesi\">Che cos&#8217;\u00e8 un test delle ipotesi<\/a><\/li><li><a href=\"#ipotesi-nulla-e-alternativa\">Cosa sono l&#8217;ipotesi nulla e l&#8217;ipotesi alternativa<\/a><\/li><li><a href=\"#errori-di-i-e-ii-tipo\">Cosa sono gli errori di I e II tipo<\/a><\/li><li><a href=\"#test-a-una-coda-o-a-due-code\">Test a una coda o a due code: quale scegliere<\/a><\/li><li><a href=\"#la-procedura-in-cinque-passaggi\">Qual \u00e8 la procedura in cinque passaggi<\/a><\/li><li><a href=\"#un-esempio-seo-ab-test-su-ctr\">Un esempio SEO: l&#8217;A\/B test sui title tag<\/a><\/li><li><a href=\"#il-p-value\">Cosa ci dice il p-value<\/a><\/li><li><a href=\"#la-potenza-del-test\">Cosa misura la potenza del test<\/a><\/li><li><a href=\"#la-dimensione-campionaria\">Come determinare la dimensione campionaria<\/a><\/li><li><a href=\"#domande-frequenti\">Domande frequenti<\/a><\/li><li><a href=\"#prova-tu\">Prova tu<\/a><\/li><li><a href=\"#per-approfondire\">Per approfondire<\/a><\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>In sintesi:<\/strong> il <strong>test delle ipotesi<\/strong> \u00e8 una procedura statistica che risponde a una domanda precisa: il risultato che osserviamo nel campione \u00e8 dovuto al caso oppure a un fenomeno reale? Si parte dall&#8217;ipotesi nulla (non c&#8217;\u00e8 effetto), si raccolgono i dati e si calcola il p-value. Se il p-value scende sotto la soglia prefissata, il caso non \u00e8 una spiegazione plausibile e rifiutiamo l&#8217;ipotesi nulla.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<h2 class=\"wp-block-heading\">Che cos&#8217;\u00e8 un test delle ipotesi<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Nella vita di tutti i giorni, dobbiamo spesso prendere decisioni basate su informazioni incomplete. Un nuovo title genera qualche clic in pi\u00f9: \u00e8 il title a funzionare meglio, o \u00e8 stata semplicemente una settimana fortunata?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il <strong>test delle ipotesi<\/strong> \u00e8 una procedura statistica che ci consente di porre un quesito sulla base di informazioni campionarie, al fine di raggiungere una decisione basata sui dati.<\/p>\n\n\n\n<div class=\"wp-block-group has-background\" style=\"background-color:#f5f7f9;margin-top:2.5rem;margin-bottom:2.5rem;padding-top:1.5rem;padding-right:1.5rem;padding-bottom:1.5rem;padding-left:1.5rem\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<p>In termini pi\u00f9 chiari e diretti: la mia scoperta sperimentale \u00e8 dovuta al caso? <strong>Il test delle ipotesi \u00e8 una procedura statistica per verificare se il caso sia una spiegazione plausibile di un risultato sperimentale.<\/strong><\/p>\n<\/div><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">La differenza tra <strong>probabilit\u00e0<\/strong> e <strong>inferenza<\/strong> \u00e8 il punto di partenza:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Se <strong>conosciamo i dati della popolazione<\/strong> e vogliamo sapere qual \u00e8 la probabilit\u00e0 di un dato risultato, siamo nel campo della <em>probabilit\u00e0<\/em>.<\/li><li>Se da un <strong>campione<\/strong> cerchiamo di risalire ai valori della popolazione, siamo nell&#8217;<em>inferenza<\/em>. Il test delle ipotesi \u00e8 lo strumento principale dell&#8217;inferenza statistica.<\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"ipotesi-nulla-e-alternativa\">Cosa sono l&#8217;ipotesi nulla e l&#8217;ipotesi alternativa<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Nel test delle ipotesi abbiamo sempre da soppesare due ipotesi. Lo <em>status quo<\/em> \u00e8 chiamato <strong>ipotesi nulla<\/strong>, simbolo H\u2080. \u00c8 l&#8217;ipotesi che non ci sia effetto, che non ci sia differenza, che tutto sia dovuto al caso.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Quello che facciamo \u00e8 testare l&#8217;ipotesi nulla contro un&#8217;<strong>ipotesi alternativa<\/strong>, simbolo H\u2090 \u2014 che \u00e8, in genere, l&#8217;ipotesi a cui crediamo o che vogliamo dimostrare.<\/p>\n\n\n\n<div class=\"wp-block-group has-background\" style=\"background-color:#f5f7f9;margin-top:2.5rem;margin-bottom:2.5rem;padding-top:1.5rem;padding-right:1.5rem;padding-bottom:1.5rem;padding-left:1.5rem\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<p><em>N.B. In molti contesti sperimentali l&#8217;ipotesi alternativa rappresenta l&#8217;effetto che stiamo cercando di verificare.<\/em><\/p>\n<\/div><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Scegliamo poi un <strong>livello di significativit\u00e0<\/strong> o <strong>alpha level<\/strong>, indicato con \u03b1. Lo standard comune \u00e8 \u03b1 = 0,05, che corrisponde a un <strong>livello di confidenza del 95%<\/strong>. In base all&#8217;alpha level possiamo stabilire la o le <strong>regioni critiche<\/strong>: le zone della distribuzione campionaria in cui, se cade il nostro risultato, rifiutiamo l&#8217;ipotesi nulla.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Se il valore che otteniamo cade in una regione critica, abbiamo evidenze statistiche sufficienti per rifiutare H\u2080 a favore di H\u2081.<\/strong><\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"errori-di-i-e-ii-tipo\">Cosa sono gli errori di I e II tipo<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Il risultato del test, ovviamente, non costituisce una certezza. Possiamo incorrere in due tipi di errore:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><strong>Errore di I tipo<\/strong>: rifiutare l&#8217;ipotesi nulla quando in realt\u00e0 \u00e8 vera. La probabilit\u00e0 di commettere questo errore \u00e8 esattamente \u03b1, il livello di significativit\u00e0 che abbiamo fissato.<\/li><li><strong>Errore di II tipo<\/strong>: non rifiutare l&#8217;ipotesi nulla quando in realt\u00e0 \u00e8 falsa. La probabilit\u00e0 di questo errore si indica con \u03b2, e dipende da diversi fattori (dimensione del campione, entit\u00e0 dell&#8217;effetto reale, livello di \u03b1).<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Il modo pi\u00f9 chiaro per visualizzare i due tipi di errore \u00e8 questa tabella:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/www.gironi.it\/blog\/wp-content\/uploads\/2024\/03\/typeItypeIIerrors-1024x412.png\" alt=\"Tabella errori I e II tipo\"\/><figcaption class=\"wp-element-caption\">Tabella errori I e II tipo<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Il calcolo della probabilit\u00e0 di incorrere in un errore di II tipo non \u00e8 diretto come quello dell&#8217;errore di I tipo. Lo affronteremo tra poco, quando parleremo di potenza del test.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"test-a-una-coda-o-a-due-code\">Test a una coda o a due code: quale scegliere<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Il test pu\u00f2 essere a <strong>una coda<\/strong>, quando l&#8217;ipotesi alternativa \u00e8 direzionale (ad esempio &#8220;la media \u00e8 maggiore di&#8221; oppure &#8220;la media \u00e8 minore di&#8221;), oppure a <strong>due code<\/strong>, quando l&#8217;ipotesi alternativa \u00e8 semplicemente &#8220;diverso da&#8221;:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/www.gironi.it\/blog\/wp-content\/uploads\/2026\/07\/test-regioni-critiche.png\" alt=\"Regioni critiche: una coda e due code\"\/><figcaption class=\"wp-element-caption\">Regioni critiche: una coda e due code<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Nell&#8217;ipotesi a una coda, tutta la regione critica \u00e8 concentrata su un lato della distribuzione. Nel test a due code, la regione critica \u00e8 suddivisa in due code simmetriche, ciascuna con area \u03b1\/2.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La scelta tra una coda e due code va fatta <strong>prima<\/strong> di raccogliere i dati, in base alla domanda di ricerca. Se vogliamo sapere solo se B \u00e8 <em>diverso<\/em> da A, usiamo due code. Se vogliamo sapere se B \u00e8 <em>migliore<\/em> di A, usiamo una coda (destra).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"la-procedura-in-cinque-passaggi\">Qual \u00e8 la procedura in cinque passaggi<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La sequenza operativa del test delle ipotesi si riassume in cinque passaggi:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li><strong>Stabilisco l&#8217;ipotesi nulla H\u2080 e l&#8217;ipotesi alternativa H\u2090.<\/strong><\/li><li><strong>Fisso il livello di significativit\u00e0 \u03b1<\/strong> (di solito 0,05).<\/li><li><strong>Scelgo la distribuzione appropriata<\/strong>: normale (z) o t di Student.<\/li><li><strong>Raccolgo i dati e calcolo la statistica test.<\/strong><\/li><li><strong>Traggo le conclusioni<\/strong>: rifiuto o non rifiuto H\u2080.<\/li><\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">La scelta tra distribuzione normale e t dipende da:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Conosco la deviazione standard \u03c3 della popolazione? Se s\u00ec, uso la normale.<\/li><li>Il campione \u00e8 sufficientemente numeroso (n &gt; 30)? Se s\u00ec, posso usare la normale anche senza conoscere \u03c3 (grazie al <a href=\"https:\/\/www.gironi.it\/blog\/teorema-del-limite-centrale\/\">teorema del limite centrale<\/a>).<\/li><li>Se la risposta a entrambe \u00e8 no, uso la <strong>distribuzione t di Student<\/strong>, di cui parliamo <a href=\"https:\/\/www.gironi.it\/blog\/la-distribuzione-t-e-il-test-delle-ipotesi\/\">nell&#8217;articolo dedicato<\/a>.<\/li><\/ul>\n\n\n\n<div class=\"wp-block-group has-background\" style=\"background-color:#f5f7f9;margin-top:2.5rem;margin-bottom:2.5rem;padding-top:1.5rem;padding-right:1.5rem;padding-bottom:1.5rem;padding-left:1.5rem\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<p>n.b. quando il campione diventa numeroso, la distribuzione t approssima sempre di pi\u00f9 la normale. Per n &gt; 30 la differenza \u00e8 trascurabile.<\/p>\n<\/div><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"un-esempio-seo-ab-test-su-ctr\">Un esempio SEO: come leggere un A\/B test sui CTR<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ripartiamo dall&#8217;esempio dell&#8217;inizio. Abbiamo messo in A\/B test due title tag:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><strong>Variante A<\/strong>: 127 clic su 4.000 impression \u2192 CTR 3,17%<\/li><li><strong>Variante B<\/strong>: 152 clic su 4.000 impression \u2192 CTR 3,80%<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">La differenza \u00e8 di 25 clic, pari a 0,63 punti percentuali. \u00c8 un effetto reale o rumore?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Seguiamo i cinque passaggi.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">1. Ipotesi<\/h3>\n\n\n\n<ul class=\"wp-block-list\"><li>H\u2080: il CTR di B \u00e8 uguale al CTR di A (differenza = 0)<\/li><li>H\u2090: il CTR di B \u00e8 maggiore del CTR di A (differenza &gt; 0, test a una coda)<\/li><\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">2. Livello di significativit\u00e0<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Fissiamo \u03b1 = 0,05 (il livello standard).<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">3. Distribuzione<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Per proporzioni, la distribuzione campionaria della differenza sotto H\u2080 \u00e8 approssimativamente normale (il TLC ci garantisce che con n = 4.000 possiamo stare tranquilli). Usiamo il <strong>test z per due proporzioni<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">4. Calcolo<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">In R:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code># Dati\nn &lt;- 4000\nclic_A &lt;- 127; clic_B &lt;- 152\n\n# Proporzione pooled sotto H0\np0 &lt;- (clic_A + clic_B) \/ (2 * n)      # 0.034875\n\n# Errore standard della differenza\nse &lt;- sqrt(p0 * (1 - p0) * (1\/n + 1\/n))  # ~0.00410\n\n# Z-score osservato\nz_oss &lt;- (clic_B\/n - clic_A\/n) \/ se      # ~2.22\nz_oss<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Output:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>[1] 2.224<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Il valore z osservato \u00e8 2,22, cio\u00e8 la differenza tra i due CTR si trova a pi\u00f9 di due deviazioni standard dal valore atteso sotto H\u2080 (zero). La figura mostra la posizione del valore osservato rispetto alla distribuzione campionaria:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/www.gironi.it\/blog\/wp-content\/uploads\/2026\/07\/test-pvalue.png\" alt=\"Test z per differenza CTR\"\/><figcaption class=\"wp-element-caption\">Test z per differenza CTR<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">L&#8217;area rossa a destra della linea blu tratteggiata \u00e8 il <strong>p-value<\/strong>: la probabilit\u00e0 di osservare una differenza pari o superiore a quella ottenuta, assumendo che H\u2080 sia vera.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">5. Conclusione<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Il p-value \u00e8 circa 0,013, inferiore alla soglia \u03b1 = 0,05. <strong>Rifiutiamo l&#8217;ipotesi nulla<\/strong>: la differenza \u00e8 statisticamente significativa. La variante B produce un CTR superiore alla variante A, e il caso non \u00e8 una spiegazione plausibile del risultato.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code># Calcolo del p-value (test a una coda destra)\np_val &lt;- 1 - pnorm(z_oss)\np_val<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Output:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>[1] 0.0131<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Possiamo verificare il risultato anche con il comando built-in di R:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>prop.test(c(127, 152), c(4000, 4000), alternative = \"greater\", correct = FALSE)<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"il-p-value\">Cosa ci dice il p-value<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Il <strong>p-value<\/strong> \u00e8 la probabilit\u00e0 di ottenere un risultato uguale o pi\u00f9 estremo di quello osservato, assumendo che l&#8217;ipotesi nulla sia vera. Un p-value piccolo indica che il risultato osservato \u00e8 improbabile sotto H\u2080, e quindi ci porta a rifiutarla.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Valori critici di z per i livelli di significativit\u00e0 pi\u00f9 comuni:<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table><thead><tr><th>Livello \u03b1<\/th><th>Una coda<\/th><th>Due code<\/th><\/tr><\/thead><tbody><tr><td>0,05<\/td><td>\u00b11,645<\/td><td>\u00b11,960<\/td><\/tr><tr><td>0,01<\/td><td>\u00b12,326<\/td><td>\u00b12,576<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<div class=\"wp-block-group has-background\" style=\"background-color:#f5f7f9;margin-top:2.5rem;margin-bottom:2.5rem;padding-top:1.5rem;padding-right:1.5rem;padding-bottom:1.5rem;padding-left:1.5rem\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<p>Attenzione: il p-value non \u00e8 la probabilit\u00e0 che H\u2080 sia vera. \u00c8 la probabilit\u00e0 dei dati <em>dato<\/em> H\u2080, non la probabilit\u00e0 di H\u2080 <em>dati<\/em> i dati. La differenza \u00e8 sottile ma fondamentale \u2014 ed \u00e8 la stessa che separa l&#8217;inferenza frequentista da quella bayesiana.<\/p>\n<\/div><\/div>\n\n\n\n<div class=\"wp-block-group has-background\" style=\"background-color:#f5f7f9;margin-top:2.5rem;margin-bottom:2.5rem;padding-top:1.5rem;padding-right:1.5rem;padding-bottom:1.5rem;padding-left:1.5rem\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<p><strong>Il test delle ipotesi non dimostra che H\u2080 sia vera o falsa.<\/strong> Misura soltanto quanto i dati osservati siano compatibili con H\u2080. Un p-value piccolo ci dice che i dati sono improbabili sotto H\u2080 \u2014 non che H\u2080 sia improbabile. \u00c8 una distinzione epistemologica che sembra un vezzo da statistici, ma \u00e8 il punto esatto in cui l&#8217;inferenza scientifica si separa dal prendere i desideri per realt\u00e0.<\/p>\n<\/div><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"la-potenza-del-test\">Cosa misura la potenza del test<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Nel test delle ipotesi la <strong>potenza<\/strong> \u00e8 la probabilit\u00e0 di rifiutare correttamente l&#8217;ipotesi nulla quando \u00e8 falsa. In formula: potenza = 1 \u2212 \u03b2, dove \u03b2 \u00e8 la probabilit\u00e0 di errore di II tipo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La potenza dipende da quattro fattori:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><strong>La dimensione dell&#8217;effetto<\/strong>: pi\u00f9 l&#8217;effetto reale \u00e8 grande, pi\u00f9 facile rilevarlo<\/li><li><strong>La dimensione del campione<\/strong>: pi\u00f9 dati abbiamo, maggiore \u00e8 la potenza<\/li><li><strong>Il livello di significativit\u00e0 \u03b1<\/strong>: abbassare \u03b1 riduce la potenza<\/li><li><strong>La variabilit\u00e0 dei dati<\/strong>: meno variabilit\u00e0, maggiore potenza<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Riprendiamo l&#8217;esempio del test su CTR. Il nostro test con n = 4.000 per variante ha rilevato una differenza di circa 0,63 punti percentuali. Ma se l&#8217;effetto reale fosse pi\u00f9 piccolo, diciamo 0,3 punti percentuali, quanta potenza avremmo avuto?<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/www.gironi.it\/blog\/wp-content\/uploads\/2026\/07\/test-potenza.png\" alt=\"Curva di potenza\"\/><figcaption class=\"wp-element-caption\">Curva di potenza<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">La curva mostra la potenza al variare del valore alternativo della proporzione (\u03bc\u2090). Con n = 4.000 e \u03b1 = 0,05, per rilevare una differenza corrispondente a \u03bc\u2090 = 4,5% (cio\u00e8 una differenza di 1,5 punti percentuali), la potenza \u00e8 circa il 76%. Per il nostro effetto osservato (3,80% \u2248 0,8 punti percentuali sopra il 3%), la potenza \u00e8 pi\u00f9 bassa, intorno al 50% \u2014 abbiamo cio\u00e8 una probabilit\u00e0 su due di commettere un errore di II tipo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se vogliamo aumentare la potenza, dobbiamo aumentare il campione. Il calcolatore di sample size ci aiuta a determinare quanti dati servono:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code># Potenza per diverse dimensioni campionarie\n# Usando pwr package\nlibrary(pwr)\npwr.2p.test(h = ES.h(0.038, 0.0317),   # effect size per proporzioni\n            n = 4000, sig.level = 0.05, alternative = \"greater\")<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Output:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>     Difference of proportion power calculation for binomial distribution\n\n              h = 0.0497\n              n = 4000\n      sig.level = 0.05\n          power = 0.5346\n    alternative = greater<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">La potenza del nostro test \u00e8 circa il 53%: poco sopra una moneta. Se l&#8217;effetto reale \u00e8 di questa dimensione, abbiamo quasi una probabilit\u00e0 su due di non rilevarlo. Per arrivare all&#8217;80% di potenza (lo standard considerato accettabile), dovremmo quasi triplicare il campione.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Vedi l&#8217;articolo dedicato a <a href=\"https:\/\/www.gironi.it\/blog\/effect-size-e-power-analysis\/\">effect size e power analysis<\/a> per una trattazione completa.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"la-dimensione-campionaria\">Come determinare la dimensione campionaria<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Prima di lanciare un test, possiamo determinare la dimensione del campione necessaria specificando:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li>Il valore atteso sotto H\u2080<\/li><li>Il valore alternativo che consideriamo importante<\/li><li>Il livello di significativit\u00e0 \u03b1<\/li><li>La potenza desiderata (di solito 80%)<\/li><li>La variabilit\u00e0 dei dati<\/li><\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">In R, usando <code>pwr<\/code>:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code># Quante impression servono per rilevare una differenza\n# da 3,2% a 3,8% con potenza 80%?\npwr.2p.test(h = ES.h(0.038, 0.032),\n            power = 0.80, sig.level = 0.05,\n            alternative = \"greater\")<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Output:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>     Difference of proportion power calculation\n\n              h = 0.0336\n              n = 13749.56\n      sig.level = 0.05\n          power = 0.80\n    alternative = greater<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Servono circa <strong>13.750 impression per variante<\/strong> per avere l&#8217;80% di probabilit\u00e0 di rilevare una differenza di 0,6 punti percentuali di CTR. Questo \u00e8 esattamente il tipo di analisi che va fatta <strong>prima<\/strong> di lanciare un test, non dopo aver visto i risultati. Puoi usare anche il nostro <a href=\"https:\/\/www.gironi.it\/blog\/calcolatore-sample-size-ab-test\/\">calcolatore di sample size<\/a> per fare queste valutazioni in modo interattivo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"domande-frequenti\">Domande frequenti<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">Che cos&#8217;\u00e8 un test delle ipotesi?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Il test delle ipotesi \u00e8 una procedura statistica che verifica se il caso sia una spiegazione plausibile di un risultato osservato. Confrontiamo ci\u00f2 che vediamo nel campione con ci\u00f2 che ci aspetteremmo se l&#8217;ipotesi nulla fosse vera.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Cosa significa &#8220;statisticamente significativo&#8221;?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Un risultato \u00e8 statisticamente significativo quando \u00e8 poco probabile che sia dovuto al caso: in pratica, quando il p-value scende sotto il livello di significativit\u00e0 scelto, di solito \u03b1 = 0,05. Attenzione per\u00f2: la significativit\u00e0 statistica non misura l&#8217;importanza pratica del risultato.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Cosa differenzia l&#8217;ipotesi nulla da quella alternativa?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">L&#8217;ipotesi nulla (H\u2080) afferma che non c&#8217;\u00e8 effetto: le due versioni si comportano allo stesso modo. L&#8217;ipotesi alternativa (H\u2081) afferma che c&#8217;\u00e8 una differenza. Il test non dimostra la verit\u00e0 di un&#8217;ipotesi: decide se i dati bastano a rifiutare H\u2080.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Che differenza c&#8217;\u00e8 tra p-value e livello di significativit\u00e0?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Il livello di significativit\u00e0 \u03b1 \u00e8 la soglia che scegliamo in anticipo (di solito 0,05): \u00e8 la probabilit\u00e0 massima di errore di I tipo che accettiamo. Il p-value \u00e8 invece calcolato sui dati ed esprime la probabilit\u00e0 di osservare un risultato almeno cos\u00ec estremo, assumendo che H\u2080 sia vera. Rifiutiamo H\u2080 quando p-value \u2264 \u03b1.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Quando serve una dimensione campionaria pi\u00f9 grande?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Per rilevare effetti piccoli, ottenere una potenza pi\u00f9 alta (es. 90% invece di 80%) o ridurre il livello di significativit\u00e0. Nell&#8217;esempio dell&#8217;articolo servono circa 13.750 impression per variante per rilevare un aumento di CTR da 3,2% a 3,8% con potenza 80%.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Il test delle ipotesi pu\u00f2 sbagliare?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">S\u00ec, in due modi: l&#8217;errore di I tipo (rifiutare H\u2080 quando \u00e8 vera) e l&#8217;errore di II tipo (non rifiutare H\u2080 quando \u00e8 falsa). Il livello \u03b1 controlla il primo; la potenza del test, che vorremmo attorno all&#8217;80%, \u00e8 la probabilit\u00e0 di evitare il secondo.<\/p>\n\n\n\n<script type=\"application\/ld+json\">{\"@context\": \"https:\/\/schema.org\", \"@type\": \"FAQPage\", \"mainEntity\": [{\"@type\": \"Question\", \"name\": \"Che cos'\u00e8 un test delle ipotesi?\", \"acceptedAnswer\": {\"@type\": \"Answer\", \"text\": \"Il test delle ipotesi \u00e8 una procedura statistica che verifica se il caso sia una spiegazione plausibile di un risultato osservato. Confrontiamo ci\u00f2 che vediamo nel campione con ci\u00f2 che ci aspetteremmo se l'ipotesi nulla fosse vera.\"}}, {\"@type\": \"Question\", \"name\": \"Cosa significa \\\"statisticamente significativo\\\"?\", \"acceptedAnswer\": {\"@type\": \"Answer\", \"text\": \"Un risultato \u00e8 statisticamente significativo quando \u00e8 poco probabile che sia dovuto al caso: in pratica, quando il p-value scende sotto il livello di significativit\u00e0 scelto, di solito \u03b1 = 0,05. Attenzione per\u00f2: la significativit\u00e0 statistica non misura l'importanza pratica del risultato.\"}}, {\"@type\": \"Question\", \"name\": \"Cosa differenzia l'ipotesi nulla da quella alternativa?\", \"acceptedAnswer\": {\"@type\": \"Answer\", \"text\": \"L'ipotesi nulla (H\u2080) afferma che non c'\u00e8 effetto: le due versioni si comportano allo stesso modo. L'ipotesi alternativa (H\u2081) afferma che c'\u00e8 una differenza. Il test non dimostra la verit\u00e0 di un'ipotesi: decide se i dati bastano a rifiutare H\u2080.\"}}, {\"@type\": \"Question\", \"name\": \"Che differenza c'\u00e8 tra p-value e livello di significativit\u00e0?\", \"acceptedAnswer\": {\"@type\": \"Answer\", \"text\": \"Il livello di significativit\u00e0 \u03b1 \u00e8 la soglia che scegliamo in anticipo (di solito 0,05): \u00e8 la probabilit\u00e0 massima di errore di I tipo che accettiamo. Il p-value \u00e8 invece calcolato sui dati ed esprime la probabilit\u00e0 di osservare un risultato almeno cos\u00ec estremo, assumendo che H\u2080 sia vera. Rifiutiamo H\u2080 quando p-value \u2264 \u03b1.\"}}, {\"@type\": \"Question\", \"name\": \"Quando serve una dimensione campionaria pi\u00f9 grande?\", \"acceptedAnswer\": {\"@type\": \"Answer\", \"text\": \"Per rilevare effetti piccoli, ottenere una potenza pi\u00f9 alta (es. 90% invece di 80%) o ridurre il livello di significativit\u00e0. Nell'esempio dell'articolo servono circa 13.750 impression per variante per rilevare un aumento di CTR da 3,2% a 3,8% con potenza 80%.\"}}, {\"@type\": \"Question\", \"name\": \"Il test delle ipotesi pu\u00f2 sbagliare?\", \"acceptedAnswer\": {\"@type\": \"Answer\", \"text\": \"S\u00ec, in due modi: l'errore di I tipo (rifiutare H\u2080 quando \u00e8 vera) e l'errore di II tipo (non rifiutare H\u2080 quando \u00e8 falsa). Il livello \u03b1 controlla il primo; la potenza del test, che vorremmo attorno all'80%, \u00e8 la probabilit\u00e0 di evitare il secondo.\"}}]}<\/script>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"prova-tu\">Prova tu<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Un test A\/B su una landing page ha raccolto i seguenti dati:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><strong>Versione A<\/strong>: 84 conversioni su 3.200 sessioni (tasso 2,62%)<\/li><li><strong>Versione B<\/strong>: 106 conversioni su 3.200 sessioni (tasso 3,31%)<\/li><\/ul>\n\n\n\n<ol class=\"wp-block-list\"><li>Formula le ipotesi nulla e alternativa per un test a una coda (destra).<\/li><li>Calcola lo z-score e il p-value in R (suggerimento: <code>prop.test<\/code>).<\/li><li>La differenza \u00e8 statisticamente significativa al livello \u03b1 = 0,05?<\/li><li>Con 3.200 sessioni per variante, quale potenza ha il test per rilevare un effetto di 0,7 punti percentuali? (suggerimento: <code>pwr.2p.test<\/code>)<\/li><li>Quante sessioni servirebbero per avere una potenza dell&#8217;80%?<\/li><\/ol>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"per-approfondire\">Per approfondire<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Per una trattazione completa e rigorosa del test delle ipotesi, con esercizi e tutti i passaggi formali, il manuale di riferimento in italiano \u00e8 <a href=\"https:\/\/www.amazon.it\/dp\/8891910651?tag=consulenzeinf-21&amp;ascsubtag=il-test-delle-ipotesi\" rel=\"nofollow sponsored noopener\" target=\"_blank\"><em>Statistica<\/em><\/a> di Newbold, Carlson e Thorne. Per un approccio pi\u00f9 applicato e direttamente utilizzabile in ambito SEO, vedi anche <a href=\"https:\/\/www.amazon.it\/dp\/1108724264?tag=consulenzeinf-21&amp;ascsubtag=il-test-delle-ipotesi\" rel=\"nofollow sponsored noopener\" target=\"_blank\"><em>Trustworthy Online Controlled Experiments<\/em><\/a> di Kohavi, Tang e Xu.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Questo articolo fa parte del percorso <a href=\"https:\/\/www.gironi.it\/blog\/inferenza-statistica\/\">\u00abL&#8217;inferenza statistica\u00bb<\/a>, la guida ragionata agli articoli su test, intervalli di confidenza e presa di decisioni basate sui dati.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Abbiamo due title tag in A\/B test su una pagina prodotto. La variante A genera 127 clic su 4.000 impression (CTR 3,17%), la variante B 152 clic su 4.000 impression (CTR 3,80%). Una differenza di 25 clic in pi\u00f9. \u00c8 un risultato reale o semplice rumore del campione? Domande come questa \u2014 questa differenza \u00e8 &hellip; <a href=\"https:\/\/www.gironi.it\/blog\/il-test-delle-ipotesi\/\" class=\"more-link\">Leggi tutto<span class=\"screen-reader-text\"> &#8220;Il test delle ipotesi: come stabilire se un risultato \u00e8 dovuto al caso&#8221;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","footnotes":""},"categories":[629],"tags":[785,891,893,793],"class_list":["post-1190","post","type-post","status-publish","format-standard","hentry","category-statistica-it","tag-alpha-it","tag-errore-di-seconda-specie-it","tag-potenza-it","tag-test-delle-ipotesi-it"],"lang":"it","translations":{"it":1190,"en":3470},"uagb_featured_image_src":{"full":false,"thumbnail":false,"medium":false,"medium_large":false,"large":false,"1536x1536":false,"2048x2048":false,"post-thumbnail":false},"uagb_author_info":{"display_name":"paolo","author_link":"https:\/\/www.gironi.it\/blog\/author\/paolo\/"},"uagb_comment_info":24,"uagb_excerpt":"Abbiamo due title tag in A\/B test su una pagina prodotto. La variante A genera 127 clic su 4.000 impression (CTR 3,17%), la variante B 152 clic su 4.000 impression (CTR 3,80%). Una differenza di 25 clic in pi\u00f9. \u00c8 un risultato reale o semplice rumore del campione? Domande come questa \u2014 questa differenza \u00e8&hellip;","_links":{"self":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/1190","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/comments?post=1190"}],"version-history":[{"count":5,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/1190\/revisions"}],"predecessor-version":[{"id":4403,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/1190\/revisions\/4403"}],"wp:attachment":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/media?parent=1190"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/categories?post=1190"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/tags?post=1190"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}