{"id":2225,"date":"2021-07-22T16:37:11","date_gmt":"2021-07-22T15:37:11","guid":{"rendered":"https:\/\/www.gironi.it\/blog\/?p=2225"},"modified":"2024-09-20T13:57:02","modified_gmt":"2024-09-20T12:57:02","slug":"regressione-multipla-spiegata-semplice","status":"publish","type":"post","link":"https:\/\/www.gironi.it\/blog\/regressione-multipla-spiegata-semplice\/","title":{"rendered":"L’analisi di regressione multipla, spiegata semplice."},"content":{"rendered":"\n

I fenomeni cui assistiamo, e che vogliamo studiare per approfondirne la comprensione, raramente si presentano in maniera cos\u00ec semplice da potersi definire attraverso due sole variabili, di cui una predittiva<\/strong> (indipendente<\/em>) e una responso<\/strong> (dipendente<\/em>).<\/p>\n\n\n\n

Per questo, se pure l’analisi di regressione lineare<\/a> presenta una fondamentale importanza teorica, nella pratica fornisce poca informazione in pi\u00f9 rispetto allo studio attraverso il semplice coefficiente di correlazione.<\/p>\n\n\n\n\n\n\n\n

E’ per questo che in letteratura scientifica \u00e8 la regressione multipla<\/strong> a svolgere un ruolo preponderante, potendo fornire un set completo di strumenti in grado di spiegare la variazione della nostra variabile dipendente per ogni diversa variabile predittiva presente nel modello, e per il complesso delle interazioni delle variabili indipendenti.<\/p>\n\n\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\tDi cosa parleremo\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t
  1. L'equazione della regressione multipla<\/a>
  2. Quali informazioni posso ricavare?<\/a>
  3. Un po' di requisiti per cominciare<\/a>
  4. In pratica, come procedere?<\/a>
  5. Mettiamoci all'opera!<\/a>
  6. Quanto \u00e8 valido il mio modello?<\/a>
  7. Sintesi finale<\/a>
  8. Risorse gratuite per approfondire<\/a><\/ol>\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\n\n\n

    L’equazione della regressione multipla<\/h2>\n\n\n\n

    Partiamo dall’equazione di regressione multipla, che ovviamente si presenta come una “espansione” di quella della regressione lineare semplice, ed ha questa forma generale:<\/p>\n\n\n\n\\(\n\\\\\ny = a_1 x_1 + a_2 x_2 + … + a_i x_i + b\n\\\\\n\\)\n\n\n\n

    dove
    y \u00e8 la variabile responso (n.b. : \u00e8 unica<\/strong>)
    a1,<\/sub>a2<\/sub>…ai<\/sub> sono i coefficienti di regressione per le variabili predittive
    x1<\/sub>,x2<\/sub>…xi<\/sub> sono le variabili predittive
    b \u00e8 l’intercetta (ed \u00e8 anch’essa unica<\/strong>)<\/p>\n\n\n\n

    Quali informazioni posso ricavare?<\/h2>\n\n\n\n

    Posso e devo, in prima istanza, capire quanto le mie variabili predittive, combinate, siano relate in maniera significativa alla variabile dipendente. E quanta parte del risultato \u00e8 spiegata dalla combinazione delle variabili predittive usate nel modello<\/strong>.<\/p>\n\n\n\n

    Poi devo capire quanto ciascuna variabile predittiva sia legata alla variabile dipendente, mentre controllo l’altra variabile indipendente (suppongo per semplicit\u00e0 che le variabili predittive siano solo due).<\/p>\n\n\n\n

    Devo poi capire quale dei miei due predittori sia quello pi\u00f9 “forte” nello stimare la variabile dipendente.<\/p>\n\n\n\n

    Queste e molte altre cose possono essere esaminate con gli strumenti messi a disposizione dall’analisi di regressione multipla e questi primi accenni mostrano gi\u00e0 la potenza e l’utilit\u00e0 pratica di questa tecnica.<\/p>\n\n\n\n

    Un po’ di requisiti per cominciare<\/h2>\n\n\n\n

    L’analisi di regressione multipla \u00e8 una tecnica potente e di ampio utilizzo, ma per poterla utilizzare in maniera corretta \u00e8 necessario che siano rispettate alcune assunzioni fondamentali:<\/p>\n\n\n\n

      \n
    1. La variabile dipendente deve essere misurata su una scala di tipo intervallo o rapporto, e la variabile predittiva deve essere anch’essa di tipo intervallo\/rapporto, oppure dicotomica.<\/li>\n\n\n\n
    2. Deve esserci una relazione di tipo lineare tra la variabile predittiva e la variabile dipendente.<\/li>\n\n\n\n
    3. Tutte le variabili nell’analisi di regressione devono presentare una distribuzione di tipo normale.<\/li>\n\n\n\n
    4. Le variabili predittive non devono essere strettamente correlate tra loro (si parla di multicollinearit\u00e0<\/a>). Gli errori nella previsione devono essere tra loro indipendenti.<\/li>\n\n\n\n
    5. Si assume l’eteroschedasticit\u00e0<\/a>. Gli errori nella previsione di Y sono cio\u00e8 circa gli stessi, in grandezza e direzione, a tutti i livelli di X.<\/li>\n<\/ol>\n\n\n\n

      In pratica, come procedere?<\/h2>\n\n\n\n

      Il mio suggerimento per impratichirsi \u00e8 quello di procedere per passaggi. Io suggerisco questi:<\/p>\n\n\n\n

        \n
      1. Tracciamo i grafici di dispersione (scatterplot<\/em>) per ogni variabile predittiva rispetto alla variabile responso, per valutare l’esistenza o meno di correlazione. <\/li>\n\n\n\n
      2. Calcoliamo l’equazione di regressione multipla. <\/li>\n\n\n\n
      3. Verifichiamo che siamo rispettate le assunzioni di normalit\u00e0 e omoschedasticit\u00e0.<\/li>\n\n\n\n
      4. Analizziamo il coefficiente di determinazione.<\/li>\n<\/ol>\n\n\n\n

        Per ognuno di questi passaggi, R si dimostra come di consueto un compagno fidatissimo, capace di fornirci le elaborazioni richieste con pochi comandi.<\/p>\n\n\n\n

        Mettiamoci all’opera!<\/h2>\n\n\n\n

        Scaldiamo i motori di R e vediamo un esempio pratico, sia pur semplificando al massimo. Ovviamente, sfioriamo solo la superficie dell’argomento. Lo scopo infatti \u00e8 quello di gettare le prime basi per iniziare la navigazione in un argomento sterminato. Star\u00e0 alla passione di chi legge continuare ad approfondire…

        Basta con i preamboli: scegliamo un dataset di esempio.
        R ci fornisce tra gli altri il Longley’s Economic Regression Data<\/em>, che user\u00f2 in questo articolo.
        Di cosa si tratta? Di un data frame<\/em> che contiene 7 variabili di tipo economico, dall’anno 1947 al 1962.<\/p>\n\n\n\n

        Apriamo R Studio, carichiamo il dataset e diamogli una prima occhiata:<\/p>\n\n\n\n

        data(longley)\ndim(longley)\nhead(longley)<\/pre>\n\n\n\n
        Vediamo le varie metriche. Per il nostro esempio, andremo a testare come variabile responso il numero degli occupati, e come variabili predittive indipendenti il GNP (Gross National Product<\/em>, il prodotto interno lordo) e la popolazione. <\/p>\n\n\n\n
        Ok, vediamo come si presentano gli scatterplot:
        <\/p>\n\n\n\n
        plot(longley$Employed, longley$GNP)<\/pre>\n\n\n
        \n
        \"\"
        impiegati \/prodotto interno lordo<\/figcaption><\/figure>\n<\/div>\n\n\n
        plot(longley$Employed, longley$Population)<\/pre>\n\n\n
        \n
        \"Residui
        impiegati \/ popolazione<\/figcaption><\/figure>\n<\/div>\n\n\n
        La correlazione crescente di tipo lineare appare evidente.  Procediamo con la regressione multipla. Il comando lo conosciamo gi\u00e0: \u00e8 lm(). La sintassi per pi\u00f9 variabili predittive \u00e8 la seguente:<\/p>\n\n\n\n
        regressione = lm(Employed ~ GNP + Population, data=longley)\nsummary(regressione)<\/pre>\n\n\n\n
        Il risultato \u00e8 una miniera di informazioni!<\/p>\n\n\n\n
        Call:\nlm(formula = Employed ~ GNP + Population, data = longley)\n\nResiduals:\n     Min       1Q   Median       3Q      Max \n-0.80899 -0.33282 -0.02329  0.25895  1.08800 \n\nCoefficients:\n            Estimate Std. Error t value Pr(>|t|)    \n(Intercept) 88.93880   13.78503   6.452 2.16e-05 ***\nGNP          0.06317    0.01065   5.933 4.96e-05 ***\nPopulation  -0.40974    0.15214  -2.693   0.0184 *  \n---\nSignif. codes:  0 \u2018***\u2019 0.001 \u2018**\u2019 0.01 \u2018*\u2019 0.05 \u2018.\u2019 0.1 \u2018 \u2019 1\n\nResidual standard error: 0.5459 on 13 degrees of freedom\nMultiple R-squared:  0.9791,\tAdjusted R-squared:  0.9758 \nF-statistic: 303.9 on 2 and 13 DF,  p-value: 1.221e-11<\/pre>\n\n\n\n
        Notiamo per prima cosa il valore p della Statistica F. E’ un valore molto piccolo (1.211e-11), altamente significante. Quindi, almeno una delle nostre variabili predittive \u00e8 relata in maniera statisticamente significativa alla variabile risultato. Dunque, procediamo.<\/p>\n\n\n\n
        Tracciamo anche il grafico dei residui:<\/p>\n\n\n\n
        plot(longley$Year, summary(regressione)$res, type='o')\nabline(h=0, lty=2, col=\"red\", lwd=2)<\/pre>\n\n\n\n
        \"\"<\/figure>\n\n\n\n
        Idealmente, la somma dei residui, cio\u00e8 le differenze tra i valori reali e quelli predetti, dovrebbe tendere a zero, o quantomeno essere la pi\u00f9 bassa possibile. Uno sguardo a questa sezione dell’output del comando summary ci dice che in questo caso la condizione \u00e8 rispettata:<\/p>\n\n\n
        \n
        \"\"
        la mediana dei residui \u00e8 vicina allo 0, vero?<\/figcaption><\/figure>\n<\/div>\n\n\n
        Controlliamo graficamente l’assunzione di normalit\u00e0 dei residui:<\/p>\n\n\n\n
        hist(resid(regressione),main='Istogramma dei residui',xlab='Residui Standardizzati',ylab='Frequenza')<\/pre>\n\n\n\n
        Il grafico che otteniamo ci mostra che l’assunzione di normalit\u00e0 \u00e8 rispettata:<\/p>\n\n\n\n
        \"\"
        i residui rispettano l’assunzione di normalit\u00e0<\/figcaption><\/figure>\n\n\n\n
        E’ giunto il momento di andare a vedere in dettaglio cosa ci dice l’output del comando summary relativo alla nostra regressione.<\/p>\n\n\n\n
        La mediana \u00e8 vicina allo 0, i residui sono distribuiti in maniera approssimativamente normale. Quindi possiamo procedere.<\/p>\n\n\n\n
        I valori dei coefficienti angolari per le nostre due variabili predittive e quello dell’intercetta li troviamo nel nostro output:<\/p>\n\n\n
        \n
        \"\"
        R ci fornisce…la pappa pronta!<\/figcaption><\/figure>\n<\/div>\n\n\n
        La retta di regressione \u00e8 dunque:<\/p>\n\n\n\n\\(\n\\\\\ny = 0.06317x_1 – 0.40974 x_2 + 88.9388\n\\\\\n\\)\n\n\n\n
        Prestiamo attenzione ai valori p per quanto riguarda i coefficienti angolari. L’output ci dice che le nostre variabili indipendenti sono significative per predire il valore della variabile dipendente. I p-value infatti sono inferiori al valore standard 0.05.  Il prodotto nazionale lordo ha addirittura un valore inferiore al livello  dello 0.001. Possiamo dunque rigettare l’ipotesi nulla (le variabili predittive non sono significative) e ritenere valido il nostro modello, notando come il GNP sia l’elemento pi\u00f9 “fedele” per la stima rispetto alla popolazione<\/strong>. Molto utile la rappresentazione con gli asterischi restituita dal nostro output, capace di fornirci subito il colpo d’occhio del risultato.<\/p>\n\n\n
        \n
        \"\"
        Occhio agli asterischi!<\/figcaption><\/figure>\n<\/div>\n\n\n
        Possiamo anche chiedere a R il calcolo dell’intervallo di confidenza per il nostro modello, con il comando:<\/p>\n\n\n\n
        confint(regressione)<\/pre>\n\n\n\n
        Nel nostro esempio otterremo questo output:<\/p>\n\n\n\n
                          2.5 %       97.5 %\n(Intercept) 59.15805807 118.71953854\nGNP          0.04017053   0.08617434\nPopulation  -0.73841447  -0.08107138<\/pre>\n\n\n\n
        Quanto \u00e8 valido il mio modello?<\/h2>\n\n\n\n
         A questo punto entra in scena un protagonista che abbiamo gi\u00e0 incontrato nei precedenti articoli, il coefficiente di determinazione<\/strong>, o r2<\/sup><\/p>\n\n\n\n
        E’ proprio lui a dirci una cosa fondamentale, cio\u00e8 quanto vicini sono i dati alla nostra retta di regressione. In altri termini pi\u00f9 pratici, quale percentuale dei “movimenti” della variabile dipendente sono spiegati dalle nostre variabili predittive. Il valore \u00e8 standardizzato tra 0 e 1, ed \u00e8 superfluo notare come il nostro modello sia tanto pi\u00f9 utile quanto pi\u00f9 questo valore si avvicina a 1.<\/p>\n\n\n\n
        R, come al solito formidabile, ci ha gi\u00e0 dato in output questo utilissimo valore. Eccolo:<\/p>\n\n\n
        \n
        \"\"
        quando due variabili spiegano tutto…o quasi!<\/figcaption><\/figure>\n<\/div>\n\n\n
        Ok, ma cos’\u00e8 il valore Adjusted R-squared? E’ il valore da considerare, per superare un paradosso del valore r2<\/sup>, che ha un valore sempre crescente al crescere del numero delle variabili (anche se quelle variabili non sono affatto significative).  Il valore r quadro adjusted corregge questa anomalia e restituisce un valore (sempre inferiore a r quadro) perfettamente utilizzabile. <\/p>\n\n\n\n
        Sintesi finale<\/h2>\n\n\n\n
        Sar\u00f2 brevissimo: un valore elevato di r quadrato e un valore molto basso, tendente a zero, dei residui indicano che il modello \u00e8 buono<\/strong>.<\/p>\n\n\n\n
        Non \u00e8 tutto, anzi \u00e8 solo l’inizio. Ma \u00e8 il primo passo per iniziare a padroneggiare uno strumento, come l’analisi di regressione lineare multipla, che ha grandissima utilit\u00e0 pratica. Vi lascio, spero, la curiosit\u00e0 di approfondire e andare oltre (e qua sotto alcune utile risorse gratuite online). Buon lavoro!<\/p>\n\n\n\n
        \n\n\n\n
        Risorse gratuite per approfondire<\/h2>\n\n\n\n