Multilineární podprostorové učení - Multilinear subspace learning

Video nebo obrazová sekvence reprezentovaná jako tenzor třetího řádu sloupce x řady x času pro multilineární podprostorové učení.

Multilineární podprostorové učení je přístupem ke snižování rozměrů. Snížení rozměrů lze provést na datovém tenzoru, jehož pozorování byla vektorizována a uspořádána do datového tenzoru, nebo jehož pozorování jsou matice, které jsou zřetězeny do datového tenzoru. Zde je několik příkladů datových tenzorů, jejichž pozorování jsou vektorizovaná nebo jejichž pozorování jsou matice zřetězené do datových tenzorových obrazů (2D / 3D), videosekvencí (3D / 4D) a hyperspektrálních kostek (3D / 4D).

Mapování z vysokodimenzionálního vektorového prostoru do sady nízkorozměrných vektorových prostorů je multilineární projekce. Pokud jsou pozorování zachována ve stejné organizační struktuře, jakou poskytuje senzor; jako matice nebo tenzory vyššího řádu se jejich reprezentace počítají provedením N více lineárních projekcí.

Multilineární podprostorové algoritmy učení jsou generacemi vyšších řádů metod lineárního podprostorového učení, jako je analýza hlavních komponent (PCA), analýza nezávislých komponent (ICA), lineární diskriminační analýza (LDA) a analýza kanonické korelace (CCA).

Pozadí

S pokroky v získávání dat a skladovací technologie , zpracování velkých objemů dat (nebo masivní datové soubory) jsou generovány na denní bázi v celé řadě rozvíjejících se aplikací. Většina těchto velkých dat je vícerozměrná. Navíc jsou obvykle velmi vysoce dimenzionální , s velkým množstvím redundance a zabírají pouze část vstupního prostoru. Z tohoto důvodu snížení počtu rozměrů je často použito k mapování high-dimenzionální dat do prostoru s nízkým rozměrný při zachování co nejvíce informací jak je to možné.

Algoritmy lineárního podprostorového učení jsou tradiční techniky redukce rozměrů, které představují vstupní data jako vektory a řeší optimální lineární mapování do prostoru nižší dimenze. Bohužel se často stávají nedostatečnými při práci s masivními vícerozměrnými daty. Výsledkem jsou velmi vysoce dimenzionální vektory, které vedou k odhadu velkého počtu parametrů.

Multilineární subprostorové učení využívá různé typy nástrojů pro analýzu datových tenzorů pro snížení dimenze. Multilineární subprostorové učení lze použít na pozorování, jejichž měření byla vektorizována a organizována do datového tenzoru, nebo jejichž měření jsou považována za matici a zřetězena do tenzoru.

Algoritmy

Multilineární analýza hlavních komponent

Historicky byla multilineární analýza hlavních komponent označována jako „M-mode PCA“, což je terminologie, kterou vytvořil Peter Kroonenberg. V roce 2005 představili Vasilescu a Terzopoulos multilineární terminologii PCA jako způsob, jak lépe rozlišovat mezi multilineárními tenzorovými rozklady, které vypočítávaly statistiky druhého řádu spojené s každým režimem (osou) tenzorů dat, a následnou prací na multilineární analýze nezávislých komponent, která počítala statistiku vyššího řádu přidružené ke každému tenzorovému režimu / ose. MPCA je rozšíření PCA .

Multilineární nezávislá analýza komponent

Multilineární analýza nezávislých komponent je rozšířením ICA .

Multilineární lineární diskriminační analýza

  • Multilineární rozšíření LDA
    • Na základě TTP: Diskriminační analýza se zobrazením tenzoru (DATER)
    • Na základě TTP: Obecná tenzorová diskriminační analýza (GTDA)
    • Na základě TVP: Nekorelovaná multilineární diskriminační analýza (UMLDA)

Multilineární kanonická korelační analýza

  • Multilineární rozšíření CCA
    • Na základě TTP: Tensorová kanonická korelační analýza (TCCA)
    • Na základě TVP: Multilineární kanonická korelační analýza (MCCA)
    • TVP: Bayesian Multilineární kanonická korelační analýza (BMTF)
  • TTP je přímá projekce vysokorozměrného tenzoru na nízkodimenzionální tenzor stejného řádu pomocí N projekčních matic pro tenzor N -tého řádu. Může být provedeno v N krocích, přičemž každý krok provádí násobení tenzor-matice (produkt). Tyto N kroky jsou vyměnitelné. Tato projekce je rozšířením rozkladu singulárních hodnot vyššího řádu (HOSVD) na podprostorové učení. Proto je jeho původ sahá až do Tuckerova rozkladu v 60. letech.
  • TVP je přímá projekce vysokorozměrného tenzoru na nízkodimenzionální vektor, který se také označuje jako jednorázové projekce. Jak TVP promítá tenzor na vektor, lze jej zobrazit jako více projekcí od tenzoru po skalární. TVP tenzoru na P -dimenzionální vektor se tedy skládá z P projekcí od tenzoru po skalární. Projekce od tenzoru ke skalární je základní multilineární projekce (EMP). V EMP se tenzor promítá do bodu přes N projekční vektory jednotky. Jedná se o projekci tenzoru na jednu linii (výsledná skalární), s jedním projekčním vektorem v každém režimu. TVP tenzorového objektu na vektor v P -rozměrném vektorovém prostoru se tedy skládá z P EMP. Tato projekce je rozšířením kanonického rozkladu , také známého jako rozklad paralelních faktorů (PARAFAC).

Typický přístup v MSL

Je třeba vyřešit N sad parametrů, po jednom v každém režimu. Řešení jedné sady často závisí na ostatních sadách (kromě případů, kdy N = 1 , lineární případ). Proto se postupuje podle suboptimálního iteračního postupu.

  1. Inicializace projekcí v každém režimu
  2. Pro každý režim opravte projekci ve všech ostatních režimech a vyřešte projekci v aktuálním režimu.
  3. Proveďte optimalizaci podle režimu pro několik iterací nebo do konvergence.

Vychází to ze metody střídání nejmenších čtverců pro vícesměrnou analýzu dat.

Výhody a nevýhody

Tento obrázek porovnává počet parametrů, které mají být odhadnuty pro stejnou míru zmenšení dimenze pomocí projekce vektor na vektor (VVP), (tj. Lineární projekce), projekce tenzor na vektor (TVP) a tenzor na vektor tenzorová projekce (TTP). Vícelineární projekce vyžadují mnohem méně parametrů a získané reprezentace jsou kompaktnější. (Tento údaj je vytvořen na základě tabulky 3 průzkumového dokumentu)

Výhody MSL oproti tradičnímu lineárnímu podprostorovému modelování v běžných doménách, kde je reprezentace přirozeně poněkud tenzorická, jsou:

  • MSL zachovává strukturu a korelaci, které měla původní data před projekcí, provozováním přirozené tenzorové reprezentace multidimenzionálních dat.
  • MSL se může naučit kompaktnější reprezentace než jeho lineární protějšek; jinými slovy, potřebuje odhadnout mnohem menší počet parametrů. MSL tedy může efektivněji zpracovávat velká tenzorová data tím, že provádí výpočty na reprezentaci s mnohem menším počtem dimenzí. To vede k nižší poptávce po výpočetních zdrojích.

Algoritmy MSL jsou však iterativní a není zaručeno jejich konvergování; kde algoritmus MSL konverguje, může tak činit při lokálním optimu . (Naproti tomu tradiční techniky modelování lineárního podprostoru často vytvářejí přesné řešení v uzavřené formě.) Problémy konvergence MSL lze často zmírnit výběrem vhodné dimenzionality podprostoru a vhodnými strategiemi pro inicializaci, ukončení a pro výběr pořadí, ve kterém projekce jsou vyřešeny.

Pedagogické zdroje

Kód

Sady dat tenzoru

Viz také

Reference