A/B test bayesiano: non solo “se” B è meglio di A, ma “di quanto”

Abbiamo avuto modo di esaminare, nell’articolo sull’A/B testing classico, come confrontare due varianti con il test per due proporzioni: calcoliamo una statistica, otteniamo un p-value, decidiamo se rifiutare l’ipotesi nulla. Funziona, ed è il pane quotidiano di chi fa esperimenti online. Ma c’è uno scarto sottile tra quello che il p-value ci dice e quello che vorremmo davvero sapere.
Il p-value risponde a una domanda contorta: “se A e B fossero identiche, quanto sarebbe improbabile osservare una differenza grande come questa?”. La domanda che ci interessa nella realtà operativa è un’altra, molto più diretta: qual è la probabilità che B sia meglio di A? E, subito dopo: di quanto è meglio, e quanto possiamo fidarci di quel “di quanto”?

L’approccio bayesiano risponde a queste due domande in modo nativo. In questo articolo lo applichiamo al confronto tra due varianti, riprendendo il filo lasciato in sospeso quando abbiamo stimato il conversion rate di una singola variante.

È la domanda di ogni test di conversione con un risvolto SEO: due versioni della stessa landing page che si contendono lo stesso traffico organico, oppure due formulazioni di title e meta description giudicate dal loro CTR reale rispetto a quello atteso nella SERP. Ovunque ci siano successi su tentativi — clic su impression, iscrizioni su visite, conversioni su sessioni — il ragionamento che segue è lo stesso.

Leggi tutto “A/B test bayesiano: non solo “se” B è meglio di A, ma “di quanto””

Stima bayesiana di un conversion rate: quanto possiamo fidarci dei pochi dati che abbiamo

Abbiamo avuto modo di esaminare, nell’articolo sulle fondamenta della statistica bayesiana, come l’aggiornamento bayesiano funzioni con la simulazione: generiamo campioni dal prior, simuliamo i dati, filtriamo. Un metodo intuitivo, ma che si scontra con un limite pratico non appena i dati diventano minimamente numerosi.
In questo articolo passiamo alla soluzione analitica elegante che l’approccio bayesiano mette a disposizione per uno dei problemi più comuni nell’analisi di marketing: stimare un conversion rate con pochi dati.

Il problema nasce sempre allo stesso modo. Un piccolo e-commerce ha raccolto 23 conversioni su 412 sessioni. Il tasso grezzo è 23/412 ≈ 5,6%. Un numero preciso, apparentemente. Ma quanta fiducia gli diamo? Potremmo trovarci davanti al 3% vero o al 9% vero — con quel campione, non lo sappiamo. La stima puntuale “5,6%” non dice niente sulla propria incertezza.

Leggi tutto “Stima bayesiana di un conversion rate: quanto possiamo fidarci dei pochi dati che abbiamo”

Il peeking problem: perché sbirciare l’A/B test gonfia i falsi positivi

Il 21 gennaio 2015 Optimizely — una delle piattaforme di A/B testing più usate al mondo — accese per tutti i suoi clienti un motore statistico completamente nuovo, il New Stats Engine.
Non era un capriccio tecnico: il vecchio motore, costruito attorno a un classico t-test a orizzonte fisso (Fixed Horizon) e sviluppato con statistici di Stanford, aveva un difetto che riguardava chiunque guardasse i risultati di un test prima della fine. E noi i risultati di un test li guardiamo sempre prima della fine.

Il problema lo avevano misurato loro stessi, simulando dei test A/A — due varianti identiche, dove per costruzione nessuna è migliore dell’altra, quindi qualunque “vincitore” dichiarato è un falso allarme.
Stando ai dati pubblicati da Optimizely, su test da 5.000 visitatori chi controllava i numeri dopo ogni visitatore vedeva il 57% dei test A/A dichiarare un falso vincitore almeno una volta; controllando ogni 500 visitatori il numero scendeva al 26%, ogni 1.000 al 20%. Numeri da brivido per uno strumento che dovrebbe servire a decidere con rigore. La riscrittura — inferenza sequenziale più controllo del false discovery rate, quella che chiamano always-valid — serviva proprio a riportare l’errore, come scrivevano loro, “da oltre il 30% al 5%”.

È lo stesso inganno che abbiamo incontrato chiudendo l’articolo sulla regressione verso la media: lì selezionavamo le pagine messe peggio — un istante estremo nello spazio dei dati — e ci facevamo ingannare dal loro rientro. Qui selezioniamo un istante estremo nel tempo: ci fermiamo appena il test ci dà ragione. Il meccanismo è cugino, il rischio identico.

Leggi tutto “Il peeking problem: perché sbirciare l’A/B test gonfia i falsi positivi”

Regressione verso la media: l’ottimizzazione SEO che ha funzionato… per caso

Nell’aeronautica militare israeliana, racconta Daniel Kahneman, gli istruttori erano convinti di una cosa: lodare un allievo dopo una manovra eccellente lo peggiorava, sgridarlo dopo una pessima lo migliorava.
L’avevano osservato mille volte sul campo, quindi doveva essere vero: con i piloti la severità funziona, i complimenti rovinano.
Solo che non era vero. Una manovra eccezionale — in un senso o nell’altro — è in parte bravura e in parte fortuna; e la fortuna, alla prova successiva, non si ripete. Dopo un volo splendido si tende a tornare verso la propria media (e sembra che la lode abbia nuociuto), dopo un volo disastroso si torna verso la media (e sembra che la sgridata abbia giovato). Gli istruttori stavano attribuendo a sé stessi un effetto che era solo regressione verso la media.

Lo stesso identico inganno ci aspetta ogni volta che guardiamo i dati di un sito e decidiamo se un nostro intervento “ha funzionato”.

Leggi tutto “Regressione verso la media: l’ottimizzazione SEO che ha funzionato… per caso”

Correlazione: Pearson, Spearman e Kendall (e perché non è causazione)

Chi guarda i dati di un sito lo fa di continuo, spesso senza nemmeno accorgersene, e talvolta nota che due cose sembrano muoversi insieme.
Le pagine che stanno più in alto in SERP prendono più clic; quelle dove gli utenti restano più a lungo convertono di più; gli articoli più lunghi paiono posizionarsi meglio.
Sono intuizioni preziose, ma restano vaghe finché non rispondiamo a una domanda precisa: quanto si muovono insieme, queste coppie di numeri? E in che senso?
Serve un indice che trasformi l’impressione “vanno di pari passo” in una misura confrontabile. Quell’indice è la correlazione, ed è uno degli strumenti più usati — e più fraintesi — di tutta la statistica applicata.

Leggi tutto “Correlazione: Pearson, Spearman e Kendall (e perché non è causazione)”