Correlazione canonica - Canonical correlation

Parte di una serie su
Apprendimento automatico e data mining
I problemi Classificazione Raggruppamento Regressione Rilevamento anomalie AutoML Regole dell'associazione Insegnamento rafforzativo Previsione strutturata Ingegneria delle caratteristiche Apprendimento delle funzioni Apprendimento online Apprendimento semi-supervisionato Apprendimento non supervisionato Imparare a classificarsi Induzione grammaticale
Apprendimento supervisionato ( classificazione  • regressione ) Alberi decisionali Ensemble insaccamento potenziamento foresta casuale k -NN Regressione lineare Ingenuo Bayes Reti neurali artificiali Regressione logistica Perceptron Macchina vettoriale di pertinenza (RVM) Supporta la macchina vettoriale (SVM)
Raggruppamento BETULLA CURA gerarchico k -significa Aspettativa-massimizzazione (EM) DBSCAN OTTICA spostamento medio
Riduzione della dimensionalità Analisi fattoriale CCA ICA LDA NMF PCA PGD t-SNE
Previsione strutturata Modelli grafici Rete di Bayes Campo casuale condizionale MarkovHidden nascosto
Rilevamento anomalie k -NN Fattore outlier locale
Rete neurale artificiale codificatore automatico Calcolo cognitivo Apprendimento profondo DeepDream Perceptron multistrato RNN LSTM GRUPPO ESN Macchina Boltzmann con restrizioni GAN SOM Rete neurale convoluzionale U-Net Trasformatore Spiking rete neurale Memtransistor RAM elettrochimica (ECRAM)
Insegnamento rafforzativo Q-learning SARSA Differenza temporale (TD)
Teoria Bias-varianza tradeoff Teoria dell'apprendimento computazionale Minimizzazione empirica del rischio Occam apprendimento PAC apprendimento Apprendimento statistico teoria VC
Luoghi di apprendimento automatico NeurIPS ICML ML JMLR ArXiv:cs.LG
Articoli Correlati Glossario dell'intelligenza artificiale Elenco dei set di dati per la ricerca sull'apprendimento automatico Cenni sull'apprendimento automatico
v T e

In statistica , l' analisi di correlazione canonica ( CCA ), chiamata anche analisi delle variabili canoniche , è un modo per dedurre informazioni da matrici di covarianza incrociata . Se abbiamo due vettori X  = ( X ₁ , ...,  X _n ) e Y  = ( Y ₁ , ...,  Y _m ) di variabili casuali e ci sono correlazioni tra le variabili, allora l'analisi di correlazione canonica sarà trova combinazioni lineari di X e Y che hanno la massima correlazione tra loro. TR Knapp osserva che "praticamente tutti i test parametrici di significatività comunemente incontrati possono essere trattati come casi speciali di analisi di correlazione canonica, che è la procedura generale per investigare le relazioni tra due insiemi di variabili". Il metodo è stato introdotto per la prima volta da Harold Hotelling nel 1936, sebbene nel contesto degli angoli tra gli appartamenti il concetto matematico sia stato pubblicato da Jordan nel 1875.

Definizione

Dati due vettori colonna e di variabili casuali con momenti secondi finiti , si può definire la covarianza incrociata come la matrice il cui ingresso è la covarianza . In pratica, stimeremmo la matrice di covarianza sulla base dei dati campionati da e (cioè da una coppia di matrici di dati). ${\displaystyle X=(x_{1},\dots ,x_{n})'}$${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ ${\displaystyle \Sigma _{XY}=\nomeoperatore {cov} (X,Y)}$${\displaystyle n\volte m}$ ${\displaystyle (i,j)}$ ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$${\displaystyle X}$${\displaystyle Y}$

Analisi canonica-correlazione cerca vettori ( ) e ( ) in modo tale che le variabili aleatorie e massimizzare la correlazione . Le variabili casuali e sono la prima coppia di variabili canoniche . Si cercano allora vettori che massimizzano la stessa correlazione, con il vincolo di non essere correlati con la prima coppia di variabili canoniche; questo dà la seconda coppia di variabili canoniche . Questa procedura può essere continuata fino a volte. ${\displaystyle a}$${\displaystyle a\in \mathbb {R} ^{n}}$${\displaystyle b}$${\displaystyle b\in \mathbb {R} ^{m}}$${\displaystyle a^{T}X}$${\displaystyle b^{T}Y}$ ${\displaystyle \rho =\operatorname {corr} (a^{T}X,b^{T}Y)}$${\displaystyle U=a^{T}X}$${\displaystyle V=b^{T}Y}$${\displaystyle \min\{m,n\}}$

$${\displaystyle (a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)}$$

Calcolo

Derivazione

Sia la matrice di covarianza incrociata per qualsiasi variabile casuale e . La funzione target da massimizzare è ${\displaystyle \Sigma _{UV}}$${\displaystyle U}$${\displaystyle V}$

${\displaystyle \rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T }\Sigma _{YY}b}}}}.}$

Il primo passo è definire un cambio di base e definire

${\displaystyle c=\Sigma _{XX}^{1/2}a,}$

${\displaystyle d=\Sigma _{YY}^{1/2}b.}$

E così abbiamo

${\displaystyle \rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.}$

Per la disuguaglianza di Cauchy-Schwarz , abbiamo

${\displaystyle \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\ leq \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2 },}$

${\displaystyle \rho \leq {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}} .}$

Si ha uguaglianza se i vettori e sono collineari. Inoltre, il massimo di correlazione è raggiunto se è l' autovettore con l'autovalore massimo per la matrice (vedi quoziente di Rayleigh ). Le coppie successive si trovano utilizzando autovalori di magnitudo decrescente. L'ortogonalità è garantita dalla simmetria delle matrici di correlazione. ${\displaystyle d}$${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$${\displaystyle c}$${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}}$

Un altro modo di visualizzare questo calcolo è che e sono i vettori singolari sinistro e destro della matrice di correlazione di X e Y corrispondenti al valore singolare più alto. ${\displaystyle c}$${\displaystyle d}$

Soluzione

La soluzione è quindi:

• ${\displaystyle c}$ è un autovettore di ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}}$
• ${\displaystyle d}$ è proporzionale a ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$

Reciprocamente, c'è anche:

• ${\displaystyle d}$ è un autovettore di ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/ 2}}$
• ${\displaystyle c}$ è proporzionale a ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}$

Invertendo il cambio di coordinate, abbiamo che

• ${\displaystyle a}$è un autovettore di ,${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}}$
• ${\displaystyle b}$ è proporzionale a ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}a;}$
• ${\displaystyle b}$ è un autovettore di ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},}$
• ${\displaystyle a}$è proporzionale a .${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}b}$

Le variabili canoniche sono definite da:

${\displaystyle U=c'\Sigma _{XX}^{-1/2}X=a'X}$

${\displaystyle V=d'\Sigma _{YY}^{-1/2}Y=b'Y}$

Implementazione

Il CCA può essere calcolato utilizzando la scomposizione in valori singolari su una matrice di correlazione. È disponibile come funzione in

• MATLAB come canoncorr ( anche in Octave )
• R come funzione standard cancor e molti altri pacchetti, inclusi CCA e vegan . CCP per la verifica di ipotesi statistiche nell'analisi della correlazione canonica.
• SAS come proc cancorr
• Python nella libreria scikit-learn , come Cross decomposition e in statsmodels , come CanCorr .
• SPSS come macro CanCorr fornito con il software principale
• Julia (linguaggio di programmazione) nel pacchetto MultivariateStats.jl .

Il calcolo del CCA utilizzando la scomposizione in valori singolari su una matrice di correlazione è correlato al coseno degli angoli tra i piani . La funzione coseno è mal condizionata per piccoli angoli, portando a un calcolo molto impreciso di vettori principali altamente correlati nell'aritmetica del computer a precisione finita . Per risolvere questo problema , sono disponibili algoritmi alternativi in

• SciPy come funzione di algebra lineare subspace_angles
• MATLAB come funzione FileExchange sottospazioa

Controllo di un'ipotesi

Ogni riga può essere verificata per la significatività con il seguente metodo. Poiché le correlazioni sono ordinate, dire che la riga è zero implica che anche tutte le ulteriori correlazioni siano zero. Se abbiamo osservazioni indipendenti in un campione ed è la correlazione stimata per . Per la riga, la statistica del test è: ${\displaystyle i}$${\displaystyle p}$${\displaystyle {\widehat {\rho}}_{i}}$${\displaystyle i=1,\dots,\min\{m,n\}}$${\displaystyle i}$

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

che è distribuito asintoticamente come un chi quadrato con gradi di libertà per grandi . Poiché tutte le correlazioni da a sono logicamente nulle (e stimate anche in questo modo) il prodotto per i termini dopo questo punto è irrilevante. ${\displaystyle (m-i+1)(n-i+1)}$ ${\displaystyle p}$${\displaystyle \min\{m,n\}}$${\displaystyle p}$

Si noti che nel limite di piccole dimensioni del campione con allora siamo garantiti che le correlazioni superiori saranno identiche a 1 e quindi il test è privo di significato. ${\displaystyle p<n+m}$${\displaystyle m+np}$

Usi pratici

Un uso tipico della correlazione canonica nel contesto sperimentale è prendere due insiemi di variabili e vedere cosa è comune tra i due insiemi. Ad esempio, nei test psicologici, si potrebbero prendere due test di personalità multidimensionali ben consolidati come il Minnesota Multiphasic Personality Inventory (MMPI-2) e il NEO . Vedendo come i fattori MMPI-2 si relazionano con i fattori NEO, è possibile ottenere informazioni su quali dimensioni erano comuni tra i test e quanta varianza era condivisa. Ad esempio, si potrebbe scoprire che una dimensione di estroversione o nevroticismo rappresentava una notevole quantità di varianza condivisa tra i due test.

Si può anche utilizzare l'analisi della correlazione canonica per produrre un'equazione modello che metta in relazione due insiemi di variabili, ad esempio un insieme di misure di performance e un insieme di variabili esplicative, o un insieme di output e un insieme di input. È possibile imporre restrizioni di vincoli a tale modello per garantire che rifletta requisiti teorici o condizioni intuitivamente ovvie. Questo tipo di modello è noto come modello di correlazione massima.

La visualizzazione dei risultati della correlazione canonica avviene solitamente tramite grafici a barre dei coefficienti dei due insiemi di variabili per le coppie di variabili canoniche che mostrano una correlazione significativa. Alcuni autori suggeriscono di visualizzarli meglio tracciandoli come eliografi, un formato circolare con barre simili a raggi, con ciascuna metà che rappresenta i due insiemi di variabili.

Esempi

Sia con valore atteso nullo , cioè . Se , ie, e sono perfettamente correlati, allora, eg, e , in modo che la prima (e solo in questo esempio) coppia di variabili canoniche sia e . Se , ie, e sono perfettamente anticorrelate, allora, eg, e , in modo che la prima (e solo in questo esempio) coppia di variabili canoniche sia e . Notiamo che in entrambi i casi , il che dimostra che l'analisi di correlazione canonica tratta le variabili correlate e anticorrelate in modo simile. ${\displaystyle X=x_{1}}$${\displaystyle \nomeoperatore {E} (X)=0}$${\displaystyle Y=X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle a=1}$${\displaystyle b=1}$${\displaystyle U=X}$${\displaystyle V=Y=X}$${\displaystyle Y=-X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle a=1}$${\displaystyle b=-1}$${\displaystyle U=X}$${\displaystyle V=-Y=X}$${\displaystyle U=V}$

Collegamento agli angoli principali

Assumendo che e abbiano valori attesi zero , cioè , le loro matrici di covarianza e possono essere viste come matrici di Gram in un prodotto interno per le voci di e , corrispondentemente. In questa interpretazione, le variabili casuali, gli elementi di e di sono trattati come elementi di uno spazio vettoriale con un prodotto interno dato dalla covarianza ; vedi Covarianza#Relazione con i prodotti interni . ${\displaystyle X=(x_{1},\dots ,x_{n})'}$${\displaystyle Y=(y_{1},\dots ,y_{m})'}$${\displaystyle \nomeoperatore {E} (X)=\nomeoperatore {E} (Y)=0}$${\displaystyle \Sigma _{XX}=\nomeoperatore {Cov} (X,X)=\nomeoperatore {E} [XX']}$${\displaystyle \Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle x_{i}}$${\displaystyle X}$${\displaystyle y_{j}}$${\displaystyle Y}$ ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$

La definizione delle variabili canoniche e ' quindi equivalente alla definizione dei vettori principali per la coppia di sottospazi attraversati dalle entrate di e rispetto a questo prodotto interno . Le correlazioni canoniche sono uguali al coseno degli angoli principali . ${\displaystyle U}$${\displaystyle V}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \operatorname {corr} (U,V)}$

Whitening e analisi di correlazione canonica probabilistica

CCA può anche essere visto come una speciale trasformazione di sbiancamento in cui i vettori casuali e vengono trasformati simultaneamente in modo tale che la correlazione incrociata tra i vettori sbiancati e sia diagonale. Le correlazioni canoniche vengono interpretati come coefficienti di regressione collegamento e e possono anche essere negativo. La vista di regressione di CCA fornisce anche un modo per costruire un modello generativo probabilistico variabile latente per CCA, con variabili nascoste non correlate che rappresentano la variabilità condivisa e non condivisa. ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X^{CCA}}$${\displaystyle Y^{CCA}}$${\displaystyle X^{CCA}}$${\displaystyle Y^{CCA}}$

Guarda anche

• Correlazione canonica generalizzata
• Apprendimento subspaziale multilineare
• coefficiente RV
• Angoli tra i piani
• Analisi del componente principale
• Analisi discriminante lineare
• Analisi di correlazione canonica regolarizzata
• Scomposizione di un valore singolo
• Regressione parziale ai minimi quadrati

Riferimenti

link esterno

• Analisi di correlazione discriminante (DCA) ( MATLAB )
• Hardoon, DR; Szedmak, S.; Shawe-Taylor, J. (2004). "Analisi della correlazione canonica: una panoramica con l'applicazione ai metodi di apprendimento". Calcolo neurale . 16 (12): 2639–2664. CiteSeerX  10.1.1.14.6452 . doi : 10.1162/0899766042321814 . PMID  15516276 .
• Una nota sull'analisi della correlazione canonica ordinale di due serie di punteggi di classifica (fornisce anche un programma FORTRAN ) - in Journal of Quantitative Economics 7(2), 2009, pp. 173-199
• Analisi della correlazione canonica vincolata alla rappresentazione: un'ibridazione della correlazione canonica e delle analisi dei componenti principali (fornisce anche un programma FORTRAN ) - in Journal of Applied Economic Sciences 4 (1), 2009, pp. 115-124