Multilineární podprostorové učení - Multilinear subspace learning
Multilineární podprostorové učení je přístupem ke snižování rozměrů. Snížení rozměrů lze provést na datovém tenzoru, jehož pozorování byla vektorizována a uspořádána do datového tenzoru, nebo jehož pozorování jsou matice, které jsou zřetězeny do datového tenzoru. Zde je několik příkladů datových tenzorů, jejichž pozorování jsou vektorizovaná nebo jejichž pozorování jsou matice zřetězené do datových tenzorových obrazů (2D / 3D), videosekvencí (3D / 4D) a hyperspektrálních kostek (3D / 4D).
Mapování z vysokodimenzionálního vektorového prostoru do sady nízkorozměrných vektorových prostorů je multilineární projekce. Pokud jsou pozorování zachována ve stejné organizační struktuře, jakou poskytuje senzor; jako matice nebo tenzory vyššího řádu se jejich reprezentace počítají provedením N více lineárních projekcí.
Multilineární podprostorové algoritmy učení jsou generacemi vyšších řádů metod lineárního podprostorového učení, jako je analýza hlavních komponent (PCA), analýza nezávislých komponent (ICA), lineární diskriminační analýza (LDA) a analýza kanonické korelace (CCA).
Pozadí
S pokroky v získávání dat a skladovací technologie , zpracování velkých objemů dat (nebo masivní datové soubory) jsou generovány na denní bázi v celé řadě rozvíjejících se aplikací. Většina těchto velkých dat je vícerozměrná. Navíc jsou obvykle velmi vysoce dimenzionální , s velkým množstvím redundance a zabírají pouze část vstupního prostoru. Z tohoto důvodu snížení počtu rozměrů je často použito k mapování high-dimenzionální dat do prostoru s nízkým rozměrný při zachování co nejvíce informací jak je to možné.
Algoritmy lineárního podprostorového učení jsou tradiční techniky redukce rozměrů, které představují vstupní data jako vektory a řeší optimální lineární mapování do prostoru nižší dimenze. Bohužel se často stávají nedostatečnými při práci s masivními vícerozměrnými daty. Výsledkem jsou velmi vysoce dimenzionální vektory, které vedou k odhadu velkého počtu parametrů.
Multilineární subprostorové učení využívá různé typy nástrojů pro analýzu datových tenzorů pro snížení dimenze. Multilineární subprostorové učení lze použít na pozorování, jejichž měření byla vektorizována a organizována do datového tenzoru, nebo jejichž měření jsou považována za matici a zřetězena do tenzoru.
Algoritmy
Multilineární analýza hlavních komponent
Historicky byla multilineární analýza hlavních komponent označována jako „M-mode PCA“, což je terminologie, kterou vytvořil Peter Kroonenberg. V roce 2005 představili Vasilescu a Terzopoulos multilineární terminologii PCA jako způsob, jak lépe rozlišovat mezi multilineárními tenzorovými rozklady, které vypočítávaly statistiky druhého řádu spojené s každým režimem (osou) tenzorů dat, a následnou prací na multilineární analýze nezávislých komponent, která počítala statistiku vyššího řádu přidružené ke každému tenzorovému režimu / ose. MPCA je rozšíření PCA .
Multilineární nezávislá analýza komponent
Multilineární analýza nezávislých komponent je rozšířením ICA .
Multilineární lineární diskriminační analýza
- Multilineární rozšíření LDA
- Na základě TTP: Diskriminační analýza se zobrazením tenzoru (DATER)
- Na základě TTP: Obecná tenzorová diskriminační analýza (GTDA)
- Na základě TVP: Nekorelovaná multilineární diskriminační analýza (UMLDA)
Multilineární kanonická korelační analýza
- Multilineární rozšíření CCA
- Na základě TTP: Tensorová kanonická korelační analýza (TCCA)
- Na základě TVP: Multilineární kanonická korelační analýza (MCCA)
- TVP: Bayesian Multilineární kanonická korelační analýza (BMTF)
- TTP je přímá projekce vysokorozměrného tenzoru na nízkodimenzionální tenzor stejného řádu pomocí N projekčních matic pro tenzor N -tého řádu. Může být provedeno v N krocích, přičemž každý krok provádí násobení tenzor-matice (produkt). Tyto N kroky jsou vyměnitelné. Tato projekce je rozšířením rozkladu singulárních hodnot vyššího řádu (HOSVD) na podprostorové učení. Proto je jeho původ sahá až do Tuckerova rozkladu v 60. letech.
- TVP je přímá projekce vysokorozměrného tenzoru na nízkodimenzionální vektor, který se také označuje jako jednorázové projekce. Jak TVP promítá tenzor na vektor, lze jej zobrazit jako více projekcí od tenzoru po skalární. TVP tenzoru na P -dimenzionální vektor se tedy skládá z P projekcí od tenzoru po skalární. Projekce od tenzoru ke skalární je základní multilineární projekce (EMP). V EMP se tenzor promítá do bodu přes N projekční vektory jednotky. Jedná se o projekci tenzoru na jednu linii (výsledná skalární), s jedním projekčním vektorem v každém režimu. TVP tenzorového objektu na vektor v P -rozměrném vektorovém prostoru se tedy skládá z P EMP. Tato projekce je rozšířením kanonického rozkladu , také známého jako rozklad paralelních faktorů (PARAFAC).
Typický přístup v MSL
Je třeba vyřešit N sad parametrů, po jednom v každém režimu. Řešení jedné sady často závisí na ostatních sadách (kromě případů, kdy N = 1 , lineární případ). Proto se postupuje podle suboptimálního iteračního postupu.
- Inicializace projekcí v každém režimu
- Pro každý režim opravte projekci ve všech ostatních režimech a vyřešte projekci v aktuálním režimu.
- Proveďte optimalizaci podle režimu pro několik iterací nebo do konvergence.
Vychází to ze metody střídání nejmenších čtverců pro vícesměrnou analýzu dat.
Výhody a nevýhody
Výhody MSL oproti tradičnímu lineárnímu podprostorovému modelování v běžných doménách, kde je reprezentace přirozeně poněkud tenzorická, jsou:
- MSL zachovává strukturu a korelaci, které měla původní data před projekcí, provozováním přirozené tenzorové reprezentace multidimenzionálních dat.
- MSL se může naučit kompaktnější reprezentace než jeho lineární protějšek; jinými slovy, potřebuje odhadnout mnohem menší počet parametrů. MSL tedy může efektivněji zpracovávat velká tenzorová data tím, že provádí výpočty na reprezentaci s mnohem menším počtem dimenzí. To vede k nižší poptávce po výpočetních zdrojích.
Algoritmy MSL jsou však iterativní a není zaručeno jejich konvergování; kde algoritmus MSL konverguje, může tak činit při lokálním optimu . (Naproti tomu tradiční techniky modelování lineárního podprostoru často vytvářejí přesné řešení v uzavřené formě.) Problémy konvergence MSL lze často zmírnit výběrem vhodné dimenzionality podprostoru a vhodnými strategiemi pro inicializaci, ukončení a pro výběr pořadí, ve kterém projekce jsou vyřešeny.
Pedagogické zdroje
- Průzkum : Průzkum multilineárního podprostorového učení pro tenzorová data ( verze s otevřeným přístupem ).
- Přednáška : Video přednáška o UMPCA na 25. mezinárodní konferenci o strojovém učení (ICML 2008).
Kód
- Sada nástrojů MATLAB Tensor od Sandia National Laboratories .
- Algoritmus MPCA napsaný v Matlabu (MPCA + LDA v ceně) .
- Algoritmus UMPCA napsaný v Matlabu (včetně dat) .
- Algoritmus UMLDA napsaný v Matlabu (včetně dat) .
Sady dat tenzoru
- Data 3D chůze (tenzory třetího řádu): 128x88x20 (21,2M) ; 64x44x20 (9,9M) ; 32x22x10 (3,2M) ;
Viz také
- CP rozklad
- Zmenšení rozměrů
- Multilineární algebra
- Multilineární analýza hlavních komponent
- Tenzor
- Rozklad tenzoru
- Tenzorový software
- Tuckerův rozklad