Apprendimento subspaziale multilineare - Multilinear subspace learning

Un video o una sequenza di immagini rappresentata come un tensore del terzo ordine della colonna x riga x tempo per l'apprendimento del sottospazio multilineare.

L'apprendimento multilineare del subspazio è un approccio alla riduzione della dimensionalità. La riduzione della dimensionalità può essere eseguita su un tensore di dati le cui osservazioni sono state vettorizzate e organizzate in un tensore di dati, o le cui osservazioni sono matrici concatenate in un tensore di dati. Di seguito sono riportati alcuni esempi di tensori di dati le cui osservazioni sono vettorializzate o le cui osservazioni sono matrici concatenate in immagini di tensori di dati (2D / 3D), sequenze video (3D / 4D) e cubi iperspettrali (3D / 4D).

La mappatura da uno spazio vettoriale ad alta dimensione a un insieme di spazi vettoriali di dimensione inferiore è una proiezione multilineare. Quando le osservazioni sono conservate nella stessa struttura organizzativa in cui le fornisce il sensore; come matrici o tensori di ordine superiore, le loro rappresentazioni vengono calcolate eseguendo N proiezioni lineari multiple.

Gli algoritmi di apprendimento subspaziale multilineare sono generalizzazioni di ordine superiore di metodi di apprendimento subspaziale lineare come analisi delle componenti principali (PCA), analisi delle componenti indipendenti (ICA), analisi discriminante lineare (LDA) e analisi di correlazione canonica (CCA).

sfondo

Con i progressi nell'acquisizione dei dati e nella tecnologia di archiviazione , i big data (o enormi set di dati) vengono generati quotidianamente in un'ampia gamma di applicazioni emergenti. La maggior parte di questi big data sono multidimensionali. Inoltre, sono generalmente di dimensioni molto elevate , con una grande quantità di ridondanza e occupano solo una parte dello spazio di input. Pertanto, la riduzione della dimensionalità viene spesso impiegata per mappare dati ad alta dimensione in uno spazio a bassa dimensione pur conservando quante più informazioni possibile.

Gli algoritmi di apprendimento del sottospazio lineare sono tecniche tradizionali di riduzione della dimensionalità che rappresentano i dati di input come vettori e risolvono una mappatura lineare ottimale in uno spazio di dimensione inferiore. Sfortunatamente, spesso diventano inadeguati quando si tratta di dati multidimensionali di massa. Si traducono in vettori di dimensioni molto elevate, che portano alla stima di un gran numero di parametri.

Multilinear Subspace Learning impiega diversi tipi di strumenti di analisi del tensore dei dati per la riduzione della dimensionalità. L'apprendimento multilineare del subspazio può essere applicato alle osservazioni le cui misurazioni sono state vettorializzate e organizzate in un tensore di dati, o le cui misurazioni sono trattate come una matrice e concatenate in un tensore.

Algoritmi

Analisi multilineare delle componenti principali

Storicamente, l' analisi delle componenti principali multilineari è stata definita "M-mode PCA", una terminologia coniata da Peter Kroonenberg. Nel 2005, Vasilescu e Terzopoulos hanno introdotto la terminologia Multilinear PCA come un modo per differenziare meglio tra decomposizioni tensoriali multilineari che hanno calcolato statistiche di 2 ° ordine associate a ciascuna modalità (asse) del tensore dei dati e il successivo lavoro sull'analisi multilineare dei componenti indipendenti che ha calcolato statistiche di ordine superiore associato a ciascuna modalità / asse tensore. MPCA è un'estensione di PCA .

Analisi multilineare delle componenti indipendenti

L'analisi multilineare delle componenti indipendenti è un'estensione dell'ICA .

Analisi discriminante lineare multilineare

  • Estensione multilineare dell'ADL
    • Basato su TTP: analisi discriminante con rappresentazione tensoriale (DATER)
    • Basato su TTP: analisi tensor discriminante generale (GTDA)
    • Basato su TVP: analisi discriminante multilineare non correlata (UMLDA)

Analisi di correlazione canonica multilineare

  • Estensione multilineare di CCA
    • Basato su TTP: Tensor Canonical Correlation Analysis (TCCA)
    • Basato su TVP: Multilinear Canonical Correlation Analysis (MCCA)
    • Basato su TVP: Bayesian Multilinear Canonical Correlation Analysis (BMTF)
  • Un TTP è una proiezione diretta di un tensore ad alta dimensione su un tensore a bassa dimensione dello stesso ordine, utilizzando N matrici di proiezione per un tensore di ordine N -esimo. Può essere eseguito in N passaggi con ogni passaggio che esegue una moltiplicazione matrice-tensore (prodotto). Gli N passaggi sono intercambiabili. Questa proiezione è un'estensione della decomposizione del valore singolare di ordine superiore (HOSVD) all'apprendimento subspaziale. Quindi, la sua origine è fatta risalire alla decomposizione di Tucker negli anni '60.
  • Un TVP è una proiezione diretta di un tensore ad alta dimensione su un vettore a bassa dimensione, che viene anche chiamata proiezioni di rango uno. Poiché TVP proietta un tensore su un vettore, può essere visto come proiezioni multiple da un tensore a uno scalare. Pertanto, il TVP di un tensore a un vettore P- dimensionale è costituito da proiezioni P dal tensore a uno scalare. La proiezione da un tensore a uno scalare è una proiezione multilineare elementare (EMP). In EMP, un tensore viene proiettato in un punto attraverso N vettori di proiezione unitari. È la proiezione di un tensore su una singola linea (risultante uno scalare), con un vettore di proiezione in ciascuna modalità. Pertanto, il TVP di un oggetto tensore rispetto a un vettore in uno spazio vettoriale P- dimensionale è costituito da P EMP. Questa proiezione è un'estensione della decomposizione canonica , nota anche come decomposizione dei fattori paralleli (PARAFAC).

Approccio tipico in MSL

Ci sono N set di parametri da risolvere, uno in ciascuna modalità. La soluzione a un insieme dipende spesso dagli altri insiemi (tranne quando N = 1 , il caso lineare). Pertanto, viene seguita la procedura iterativa non ottimale in.

  1. Inizializzazione delle proiezioni in ciascuna modalità
  2. Per ciascuna modalità, fissando la proiezione in tutte le altre modalità e risolvendo la proiezione nella modalità corrente.
  3. Eseguire l'ottimizzazione in base alla modalità per alcune iterazioni o fino alla convergenza.

Questo è originato dal metodo dei minimi quadrati alternati per l'analisi dei dati a più vie.

Pro e contro

Questa figura confronta il numero di parametri da stimare per la stessa quantità di riduzione delle dimensioni mediante proiezione da vettore a vettore (VVP), (cioè, proiezione lineare,) proiezione da tensore a vettore (TVP) e da tensore a proiezione tensoriale (TTP). Le proiezioni multilineari richiedono molti meno parametri e le rappresentazioni ottenute sono più compatte. (Questa cifra è prodotta sulla base della tabella 3 del documento del sondaggio)

I vantaggi di MSL rispetto alla tradizionale modellazione subspaziale lineare, in domini comuni in cui la rappresentazione è naturalmente alquanto tensoriale, sono:

  • MSL preserva la struttura e la correlazione che i dati originali avevano prima della proiezione, operando su una rappresentazione tensoriale naturale dei dati multidimensionali.
  • MSL può apprendere rappresentazioni più compatte rispetto alla sua controparte lineare; in altre parole, deve stimare un numero di parametri molto inferiore. Pertanto, MSL può gestire i dati di grandi tensori in modo più efficiente, eseguendo calcoli su una rappresentazione con molte meno dimensioni. Ciò porta a una minore domanda di risorse di calcolo.

Tuttavia, gli algoritmi MSL sono iterativi e non è garantito che convergono; dove un algoritmo MSL converge, può farlo a un ottimo locale . (Al contrario, le tecniche tradizionali di modellazione subspaziale lineare spesso producono una soluzione esatta in forma chiusa.) I problemi di convergenza MSL possono spesso essere mitigati scegliendo una dimensionalità subspaziale appropriata e da strategie appropriate per l'inizializzazione, per la terminazione e per la scelta dell'ordine in cui le proiezioni sono risolte.

Risorse pedagogiche

Codice

Set di dati tensoriali

Guarda anche

Riferimenti