statistica Archives - Pagina 3 di 10

Calcolatore di Significatività per A/B Test

Il nostro A/B test è arrivato alla fine: la variante B mostra un tasso di conversione più alto della variante A. La tentazione di dichiarare il vincitore e implementare la modifica è forte. Ma prima c’è una domanda a cui rispondere, ed è la stessa che attraversa tutto il nostro percorso: la differenza che osserviamo è un segnale reale o solo rumore statistico?

Questo calcolatore è il complemento naturale del calcolatore di sample size: quello lavora prima del test e ci dice quanti utenti servono; questo lavora dopo e ci dice se il risultato ottenuto è statisticamente significativo. Chi ha letto l’articolo sul test delle ipotesi riconoscerà subito il meccanismo: dietro le quinte c’è un test z per il confronto tra due proporzioni.

Leggi tutto “Calcolatore di Significatività per A/B Test”

La biblioteca di Statistica e SEO: i libri che consiglio (e perché)

C’è una domanda che torna, puntuale, ogni volta che pubblico un articolo di questo percorso: «ma per studiare queste cose, che libro consigli?». Finora ho risposto un pezzo alla volta, nella sezione “Per approfondire” che chiude ogni articolo. Qui faccio l’operazione inversa: raccolgo tutta la biblioteca in una pagina sola, con il motivo per cui ogni titolo si è guadagnato il posto.

Non è una classifica e non è un catalogo: sono i libri che uso davvero, quelli da cui provengono molti degli esempi e delle spiegazioni che trovate negli articoli. Pochi, scelti con un criterio semplice: ogni libro deve far fare un passo avanti concreto a chi lavora con i dati nella SEO e nel marketing, senza richiedere una laurea in matematica.

Il Paradosso di Simpson nella SEO: quando i dati aggregati possono mentire

È l’ultimo giorno del mese. Stiamo preparando il report SEO per il cliente principale. Apriamo Google Search Console, impostiamo il confronto mese su mese e un brivido ci corre lungo la schiena: il CTR organico globale del sito è crollato dal 4,5% al 3,5%.

Prima di scrivere l’email con le cattive notizie e prepararci a giustificare il calo, facciamo la cosa giusta: disaggreghiamo i dati per capire dove stiamo perdendo colpi. Guardiamo le performance per dispositivo e scopriamo una cosa apparentemente impossibile:

Il CTR su Desktop è salito dal 5,0% al 5,5%.
Il CTR su Mobile è salito dal 2,0% al 2,5%.

Fissiamo lo schermo. Com’è matematicamente possibile che le performance siano migliorate ovunque, ma il totale generale sia crollato di un punto percentuale netto?

Campionamento e dimensione campionaria: quanti dati servono?

Due sondaggi politici: uno su 800 persone, uno su 20.000. È ovvio che il secondo sia più affidabile? Non necessariamente. Se il primo è stato estratto casualmente dalla popolazione e il secondo è composto da volontari raccolti online, il primo può essere molto più preciso del secondo.

La qualità del campione viene prima della sua dimensione. È una frase che vale la pena ricordare, perché ribalta l’intuizione comune.

Calcolatore Sample Size per A/B Test

Una delle domande più ricorrenti quando si progetta un A/B test è: quanti utenti mi servono per ottenere un risultato affidabile? La risposta non è un numero magico: dipende da quanto è grande l’effetto che vogliamo rilevare, dal tasso di conversione di partenza e dal livello di certezza statistica che desideriamo raggiungere.

Calcolare in anticipo la dimensione campionaria (sample size) è un passaggio fondamentale per evitare due errori classici: fermare il test troppo presto, dichiarando un vincitore che non c’è, oppure lasciarlo correre troppo a lungo, sprecando traffico e tempo. In altri termini, si tratta di trovare il punto di equilibrio tra risorse e rigore.

Chi ha letto l’articolo sul A/B Testing ricorderà che la power analysis è il metodo statistico che ci permette di determinare questa soglia. E chi ha approfondito gli intervalli di confidenza sa già che livello di significatività e potenza del test non sono concetti astratti, ma leve operative che influenzano direttamente la dimensione del campione.

Leggi tutto “Calcolatore Sample Size per A/B Test”