Vzájemná korelace - Cross-correlation

Část série o statistikách
Korelace a kovariance
Pro náhodné vektory Matice autokorelace Matice křížové korelace Auto-kovarianční matice Křížová kovarianční matice
Pro stochastické procesy Funkce autokorelace Funkce křížové korelace Funkce Autocovariance Funkce křížové kovariance
Pro deterministické signály Funkce autokorelace Funkce křížové korelace Funkce Autocovariance Funkce křížové kovariance
proti t E

Vizuální srovnání konvoluce , křížové korelace a autokorelace . Pro operace zahrnující funkci f a za předpokladu, že výška f je 1,0, je hodnota výsledku v 5 různých bodech označena stínovanou oblastí pod každým bodem. Důvodem je také svislá symetrie f a v tomto příkladu jsou totožné.${\ displaystyle f*g}$${\ displaystyle f \ star g}$

Při zpracování signálu , vzájemná korelace je mírou podobnosti dvou řad v závislosti na přemístění jedné vzhledem k druhé. Toto je také známé jako produkt s posuvnými tečkami nebo posuvný vnitřní produkt . Obvykle se používá k hledání dlouhého signálu pro kratší, známou funkci. Má aplikace v rozpoznávání vzorů , analýze jednotlivých částic , elektronové tomografii , průměrování , kryptanalýze a neurofyziologii . Křížová korelace je svou povahou podobná konvoluci dvou funkcí. V autokorelaci , což je vzájemná korelace signálu se sebou samým, vždy bude vrchol s zpožděním nuly a jeho velikost bude energie signálu.

V pravděpodobnosti a statistiky , termín vzájemné korelace se vztahuje na korelací mezi údaje dvou náhodných vektorů a , zatímco korelace náhodného vektoru jsou korelace mezi údaje o sobě, těch, které tvoří korelační matice z . Jestliže každý z a je skalární náhodná veličina, která je realizována opakovaně v časové řadě , pak korelace různých časových instance jsou známé jako autokorelace z , a křížových korelací s napříč času jsou časové vzájemné korelace. V pravděpodobnosti a statistikách definice korelace vždy zahrnuje standardizační faktor takovým způsobem, že korelace mají hodnoty mezi −1 a +1. ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$

Pokud a jsou dvě nezávislé náhodné proměnné s funkcí hustoty pravděpodobnosti a , v uvedeném pořadí, pak je hustota pravděpodobnosti rozdílu formálně dán vzájemné korelace (ve zpracování signálu slova smyslu) ; tato terminologie se však nepoužívá v pravděpodobnosti a statistice. Naproti tomu konvoluce (ekvivalentní křížové korelaci a ) udává funkci hustoty pravděpodobnosti součtu . ${\ displaystyle X}$${\ displaystyle Y}$ ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle YX}$${\ displaystyle f \ star g}$ ${\ displaystyle f*g}$${\ displaystyle f (t)}$${\ displaystyle g (-t)}$${\ displaystyle X+Y}$

Křížová korelace deterministických signálů

Pro spojité funkce a je vzájemná korelace definována jako: ${\ displaystyle f}$${\ displaystyle g}$

${\ Displaystyle (f \ star g) (\ tau) \ \ triangleq \ int _ {-\ infty}^{\ infty} {\ overline {f (t)}} g (t+\ tau) \, dt}$

( Rovnice 1 )

což je ekvivalentní

${\ Displaystyle (f \ star g) (\ tau) \ \ triangleq \ int _ {-\ infty}^{\ infty} {\ overline {f (t- \ tau)}} g (t) \, dt}$

kde označuje komplexní konjugát z , a je posuv, také známý jako zpoždění (funkce v v se vyskytuje v v ). ${\ displaystyle {\ overline {f (t)}}}$${\ displaystyle f (t)}$${\ displaystyle \ tau}$${\ displaystyle f}$${\ displaystyle t}$${\ displaystyle g}$${\ displaystyle t+\ tau}$

Pokud a jsou obě spojité periodické funkce období , integrace od do je nahrazena integrací v libovolném intervalu délky : ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle T}$${\ displaystyle -\ infty}$${\ displaystyle \ infty}$${\ displaystyle [t_ {0}, t_ {0}+T]}$${\ displaystyle T}$

${\ Displaystyle (f \ star g) (\ tau) \ \ triangleq \ int _ {t_ {0}}^{t_ {0}+T} {\ overline {f (t)}} g (t+\ tau) \, dt}$

( Rovnice 2 )

což je ekvivalentní

${\ Displaystyle (f \ star g) (\ tau) \ \ triangleq \ int _ {t_ {0}}^{t_ {0}+T} {\ overline {f (t- \ tau)}} g (t ) \, dt}$

Podobně pro diskrétní funkce je vzájemná korelace definována jako:

${\ Displaystyle (f \ star g) [n] \ \ triangleq \ sum _ {m =-\ infty}^{\ infty} {\ overline {f [m]}} g [m+n]}$

( Rovnice 3 )

což je ekvivalentní

${\ Displaystyle (f \ star g) [n] \ \ triangleq \ sum _ {m =-\ infty}^{\ infty} {\ overline {f [mn]}} g [m]}$.

Pro konečné diskrétní funkce je (kruhová) křížová korelace definována jako: ${\ Displaystyle f, g \ in \ mathbb {C} ^{N}}$

${\ Displaystyle (f \ star g) [n] \ \ triangleq \ sum _ {m = 0}^{N-1} {\ overline {f [m]}} g [(m+n) _ {{\ text {mod}} ~ N}]}$

( Rovnice 4 )

což je ekvivalentní

${\ Displaystyle (f \ star g) [n] \ \ triangleq \ sum _ {m = 0}^{N-1} {\ overline {f [(mn) _ {{\ text {mod}} ~ N} ]}} g [m]}$.

Pro konečné diskrétní funkce , jádro vzájemná korelace je definován takto: ${\ Displaystyle f \ in \ mathbb {C} ^{N}}$${\ Displaystyle g \ in \ mathbb {C} ^{M}}$

${\ Displaystyle (f \ star g) [n] \ \ triangleq \ sum _ {m = 0}^{N-1} {\ overline {f [m]}} K_ {g} [(m+n) _ {{\ text {mod}} ~ N}]}$

( Rovnice 5 )

kde je vektor funkcí jádra a je afinní transformací . ${\ Displaystyle K_ {g} = [k (g, T_ {0} (g)), k (g, T_ {1} (g)), \ tečky, k (g, T_ {N-1} (g ))]}$${\ Displaystyle k (\ cdot, \ cdot) \ colon \ mathbb {C} ^{M} \ times \ mathbb {C} ^{M} \ to \ mathbb {R}}$${\ Displaystyle T_ {i} (\ cdot) \ colon \ mathbb {C} ^{M} \ to \ mathbb {C} ^{M}}$

Konkrétně to může být transformace kruhového překladu, transformace rotace nebo transformace měřítka atd. Křížová korelace jádra rozšiřuje křížovou korelaci z lineárního prostoru do prostoru jádra. Křížová korelace je ekvivalentní k překladu; křížová korelace jádra je ekvivalentní jakékoli afinní transformaci, včetně translace, rotace a měřítka atd. ${\ displaystyle T_ {i} (\ cdot)}$

Vysvětlení

Jako příklad uvažujme dvě skutečné hodnotě funkce a liší se pouze od neznámého posunu podél osy x. Pomocí křížové korelace lze zjistit, kolik se musí posunout podél osy x, aby byla identická s . Vzorec v podstatě posouvá funkci podél osy x a vypočítává integrál jejich součinu v každé poloze. Když se funkce shodují, hodnota je maximalizována. Důvodem je, že když jsou vrcholy (kladné oblasti) zarovnány, významně přispívají k integrálu. Podobně, když jsou žlaby (záporné oblasti) zarovnány, také pozitivně přispívají k integrálu, protože součin dvou záporných čísel je kladný. ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle g}$${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle (f \ star g)}$

Animace zobrazující vizuálně, jak se vypočítává křížová korelace

S komplexními hodnotami funkcí a , přičemž konjugát z zajišťuje, že vyrovnané vrcholy (nebo spojené žlaby) s imaginární složky pozitivně přispěje k integrálu. ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle f}$

V ekonometrii je zpožděná křížová korelace někdy označována jako křížová autokorelace.

Vlastnosti

Křížová korelace náhodných vektorů

Definice

U náhodných vektorů a , z nichž každá obsahuje náhodné prvky , jejichž střední hodnota a rozptyl existuje, vzájemná korelace matrice z a je definován ${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {m})^{\ rm {T}}}$${\ Displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {n})^{\ rm {T}}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$

${\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {Y}} \ triangleq \ \ operatorname {E} \ left [\ mathbf {X} \ mathbf {Y} ^{\ rm {T}} \že jo]}$

( Rovnice 3 )

a má rozměry . Písemné komponenty: ${\ displaystyle m \ times n}$

${\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {Y}} = {\ begin {bmatrix} \ operatorname {E} [X_ {1} Y_ {1}] & \ operatorname {E} [ X_ {1} Y_ {2}] & \ cdots & \ operatorname {E} [X_ {1} Y_ {n}] \\\\\ operator name {E} [X_ {2} Y_ {1}] & \ operatorname {E} [X_ {2} Y_ {2}] & \ cdots & \ operatorname {E} [X_ {2} Y_ {n}] \\\\\ vdots & \ vdots & \ ddots & \ vdots \\\ \\ operatorname {E} [X_ {m} Y_ {1}] & \ operatorname {E} [X_ {m} Y_ {2}] & \ cdots & \ operatorname {E} [X_ {m} Y_ {n} ] \ end {bmatrix}}}$

Náhodné vektory a nemusí mít stejnou dimenzi a obě mohou být skalární hodnoty. ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$

Příklad

Například pokud a jsou náhodné vektory, pak je matice, jejíž -th položka je . ${\ Displaystyle \ mathbf {X} = \ left (X_ {1}, X_ {2}, X_ {3} \ right)^{\ rm {T}}}$${\ displaystyle \ mathbf {Y} = \ left (Y_ {1}, Y_ {2} \ right)^{\ rm {T}}}$${\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {Y}}}$${\ displaystyle 3 \ times 2}$${\ displaystyle (i, j)}$${\ displaystyle \ operatorname {E} [X_ {i} Y_ {j}]}$

Definice pro komplexní náhodné vektory

Pokud a jsou komplexní náhodné vektory , z nichž každý obsahuje náhodné proměnné, jejichž očekávaná hodnota a rozptyl existují, matice křížové korelace a je definována ${\ Displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {m})^{\ rm {T}}}$${\ Displaystyle \ mathbf {W} = (W_ {1}, \ ldots, W_ {n})^{\ rm {T}}}$${\ displaystyle \ mathbf {Z}}$${\ displaystyle \ mathbf {W}}$

${\ displaystyle \ operatorname {R} _ {\ mathbf {Z} \ mathbf {W}} \ triangleq \ \ operatorname {E} [\ mathbf {Z} \ mathbf {W} ^{\ rm {H}}]}}$

kde označuje hermitovskou transpozici . ${\ displaystyle {}^{\ rm {H}}}$

Křížová korelace stochastických procesů

V analýze časových řad a statistikách je vzájemná korelace dvojice náhodných procesů korelací mezi hodnotami procesů v různých časech jako funkce těchto dvou časů. Nechť je dvojice náhodných procesů a libovolný časový okamžik ( může to být celé číslo pro proces s diskrétním časem nebo skutečné číslo pro proces s nepřetržitým časem ). Pak je hodnota (nebo realizace ) vyprodukovaná daným spuštěním procesu v čase . ${\ displaystyle (X_ {t}, Y_ {t})}$${\ displaystyle t}$${\ displaystyle t}$${\ displaystyle X_ {t}}$${\ displaystyle t}$

Funkce křížové korelace

Předpokládejme, že proces má prostředky a odchylky a v čase pro každého . Potom definice vzájemné korelace mezi časy a je ${\ displaystyle \ mu _ {X} (t)}$${\ displaystyle \ mu _ {Y} (t)}$${\ Displaystyle \ sigma _ {X}^{2} (t)}$${\ Displaystyle \ sigma _ {Y}^{2} (t)}$${\ displaystyle t}$${\ displaystyle t}$${\ displaystyle t_ {1}}$${\ displaystyle t_ {2}}$

${\ displaystyle \ operatorname {R} _ {XY} (t_ {1}, t_ {2}) \ triangleq \ \ operatorname {E} \ left [X_ {t_ {1}} {\ overline {Y_ {t_ {2 }}}}\že jo]}$

( Rovnice 4 )

kde je operátor očekávané hodnoty . Tento výraz nemusí být definován. ${\ displaystyle \ operatorname {E}}$

Funkce křížové kovariance

Odečtením průměru před násobením se získá křížová kovariance mezi časy a : ${\ displaystyle t_ {1}}$${\ displaystyle t_ {2}}$

${\ displaystyle \ operatorname {K} _ {XY} (t_ {1}, t_ {2}) \ triangleq \ \ operatorname {E} \ left [\ left (X_ {t_ {1}}-\ mu _ {X } (t_ {1}) \ right) {\ overline {(Y_ {t_ {2}}-\ mu _ {Y} (t_ {2}))}} \ right]}$

( Rovnice 5 )

Všimněte si, že tento výraz není dobře definován pro všechny časové řady nebo procesy, protože průměr nebo rozptyl nemusí existovat.

Definice pro stacionární stochastický proces s širokým smyslem

Představme dvojici stochastických procesů, které jsou společně široce stacionární . Poté jsou funkce křížové kovariance a funkce vzájemné korelace uvedeny následovně. ${\ displaystyle (X_ {t}, Y_ {t})}$

Funkce křížové korelace

${\ displaystyle \ operatorname {R} _ {XY} (\ tau) \ triangleq \ \ operatorname {E} \ left [X_ {t} {\ overline {Y_ {t+\ tau}}} \ right]}$

( Rovnice 6 )

nebo ekvivalentně

${\ displaystyle \ operatorname {R} _ {XY} (\ tau) = \ operatorname {E} \ left [X_ {t- \ tau} {\ overline {Y_ {t}}} \ right]}$

Funkce křížové kovariance

${\ displaystyle \ operatorname {K} _ {XY} (\ tau) \ triangleq \ \ operatorname {E} \ left [\ left (X_ {t}-\ mu _ {X} \ right) {\ overline {\ left (Y_ {t+\ tau}-\ mu _ {Y} \ right)}} \ right]}$

( Rovnice 7 )

nebo ekvivalentně

${\ displaystyle \ operatorname {K} _ {XY} (\ tau) = \ operatorname {E} \ left [\ left (X_ {t- \ tau}-\ mu _ {X} \ right) {\ overline {\ vlevo (Y_ {t}-\ mu _ {Y} \ right)}} \ right]}$

kde a kde jsou průměr a standardní odchylka procesu , které jsou v důsledku stacionarity v průběhu času konstantní; a podobně pro , resp. označuje očekávanou hodnotu . To, že křížová kovariance a vzájemná korelace jsou nezávislé na tom, jsou právě doplňkové informace (kromě toho, že jsou jednotlivě stacionární v širokém smyslu) zprostředkované požadavkem, které jsou společně široce smyslové stacionární. ${\ displaystyle \ mu _ {X}}$${\ displaystyle \ sigma _ {X}}$${\ displaystyle (X_ {t})}$${\ displaystyle (Y_ {t})}$${\ displaystyle \ operatorname {E} [\]}$${\ displaystyle t}$${\ displaystyle (X_ {t}, Y_ {t})}$

Křížovou korelaci dvojice společně širokých smyslových stacionárních stochastických procesů lze odhadnout průměrováním součinu vzorků měřených z jednoho procesu a vzorků měřených z druhého procesu (a jeho časových posunů). Vzorky zahrnuté v průměru mohou být libovolnou podmnožinou všech vzorků v signálu (např. Vzorky v rámci konečného časového okna nebo dílčí vzorkování jednoho ze signálů). U velkého počtu vzorků průměr konverguje ke skutečné křížové korelaci.

Normalizace

V některých oborech je běžnou praxí (např. Statistika a analýza časových řad ) normalizovat funkci křížové korelace, aby se získal časově závislý Pearsonův korelační koeficient . V jiných oborech (např. Strojírenství) je však normalizace obvykle zrušena a pojmy „vzájemná korelace“ a „křížová kovariance“ jsou používány zaměnitelně.

Definice normalizované křížové korelace stochastického procesu je

${\ Displaystyle \ rho _ {XX} (t_ {1}, t_ {2}) = {\ frac {\ operatorname {K} _ {XX} (t_ {1}, t_ {2})} {\ sigma _ {X} (t_ {1}) \ sigma _ {X} (t_ {2})}} = {\ frac {\ operatorname {E} \ left [\ left (X_ {t_ {1}}-\ mu _ {t_ {1}} \ right) {\ overline {\ left (X_ {t_ {2}}-\ mu _ {t_ {2}} \ right)}} \ right]} {\ sigma _ {X} ( t_ {1}) \ sigma _ {X} (t_ {2})}}}$.

Pokud je funkce dobře definována, musí její hodnota ležet v rozsahu , přičemž 1 označuje dokonalou korelaci a −1 označuje dokonalou antikorlaci . ${\ displaystyle \ rho _ {XX}}$${\ Displaystyle [-1,1]}$

Pro společně široké stacionární stochastické procesy je definice

${\ Displaystyle \ rho _ {XY} (\ tau) = {\ frac {\ operatorname {K} _ {XY} (\ tau)} {\ sigma _ {X} \ sigma _ {Y}}} = {\ frac {\ operatorname {E} \ left [\ left (X_ {t}-\ mu _ {X} \ right) {\ overline {\ left (Y_ {t+\ tau}-\ mu _ {Y} \ right) }} \ right]} {\ sigma _ {X} \ sigma _ {Y}}}}$.

Normalizace je důležitá jednak proto, že interpretace autokorelace jako korelace poskytuje měřítko síly statistické závislosti a jednak proto, že normalizace má vliv na statistické vlastnosti odhadovaných autokorelací.

Vlastnosti

Vlastnost symetrie

Pro společně široké stacionární stochastické procesy má funkce křížové korelace následující vlastnost symetrie:

${\ displaystyle \ operatorname {R} _ {XY} (t_ {1}, t_ {2}) = {\ overline {\ operatorname {R} _ {YX} (t_ {2}, t_ {1})}} }$

Respektive pro společně procesy WSS:

${\ displaystyle \ operatorname {R} _ {XY} (\ tau) = {\ overline {\ operatorname {R} _ {YX} (-\ tau)}}}$

Analýza časového zpoždění

Křížové korelace jsou užitečné pro určení časového zpoždění mezi dvěma signály, např. Pro určení časových zpoždění pro šíření akustických signálů přes pole mikrofonu. Po výpočtu vzájemné korelace mezi dvěma signály maximum (nebo minimum, pokud jsou signály negativně korelovány) funkce křížové korelace indikuje časový okamžik, kdy jsou signály nejlépe zarovnány; tj, doba prodlevy mezi těmito dvěma signály je určena argumentem maxima nebo arg max o vzájemné korelace , jako v

${\ Displaystyle \ tau _ {\ mathrm {delay}} = {\ underset {t \ in \ mathbb {R}} {\ operatorname {arg \, max}}} ((f \ star g) (t))}$

Terminologie zpracování obrazu

Zero-normalizovaná křížová korelace (ZNCC)

U aplikací pro zpracování obrazu, ve kterých se jas obrázku a šablony může měnit v závislosti na světelných a expozičních podmínkách, lze obrázky nejprve normalizovat. To se obvykle provádí v každém kroku odečtením průměru a vydělením standardní odchylkou . To znamená, že vzájemná korelace šablony s podobrazem je ${\ Displaystyle t (x, y)}$${\ Displaystyle f (x, y)}$

${\ Displaystyle {\ frac {1} {n}} \ sum _ {x, y} {\ frac {1} {\ sigma _ {f} \ sigma _ {t}}} \ left (f (x, y )-\ mu _ {f} \ right) \ left (t (x, y)-\ mu _ {t} \ right)}$.

kde je počet pixelů a , je průměr a je směrodatná odchylka z . ${\ displaystyle n}$${\ Displaystyle t (x, y)}$${\ Displaystyle f (x, y)}$${\ Displaystyle \ mu _ {f}}$${\ displaystyle f}$${\ Displaystyle \ sigma _ {f}}$${\ displaystyle f}$

Z hlediska funkční analýzy to lze považovat za bodový součin dvou normalizovaných vektorů . Tedy pokud

${\ Displaystyle F (x, y) = f (x, y)-\ mu _ {f}}$

a

${\ Displaystyle T (x, y) = t (x, y)-\ mu _ {t}}$

pak se výše uvedený součet rovná

${\ Displaystyle \ left \ langle {\ frac {F} {\ | F \ |}}, {\ frac {T} {\ | T \ |}} \ right \ rangle}$

kde je vnitřní produkt a je norma L ² . Cauchy – Schwarz pak naznačuje, že ZNCC má rozsah . ${\ Displaystyle \ langle \ cdot, \ cdot \ rangle}$${\ displaystyle \ | \ cdot \ |}$${\ Displaystyle [-1,1]}$

Pokud tedy a jsou reálné matice, jejich normalizovaná křížová korelace se rovná kosinu úhlu mezi jednotkovými vektory a je tedy právě tehdy, pokud se rovná, vynásobena kladným skalárem. ${\ displaystyle f}$${\ displaystyle t}$${\ displaystyle F}$${\ displaystyle T}$${\ displaystyle 1}$${\ displaystyle F}$${\ displaystyle T}$

Normalizovaná korelace je jednou z metod používaných pro přizpůsobování šablon , což je proces používaný k hledání výskytů vzoru nebo objektu v obraze. Je to také dvourozměrná verze Pearsonova koeficientu korelace momentů produktu .

Normalizovaná křížová korelace (NCC)

NCC je podobný ZNCC s jediným rozdílem v tom, že neodečítá místní průměrnou hodnotu intenzit:

${\ Displaystyle {\ frac {1} {n}} \ sum _ {x, y} {\ frac {1} {\ sigma _ {f} \ sigma _ {t}}} f (x, y) t ( x, y)}$

Nelineární systémy

Při použití křížové korelace pro nelineární systémy je nutná opatrnost. Za určitých okolností, které závisí na vlastnostech vstupu, může být křížová korelace mezi vstupem a výstupem systému s nelineární dynamikou zcela slepá k určitým nelineárním efektům. K tomuto problému dochází, protože některé kvadratické momenty se mohou rovnat nule, a to může nesprávně naznačovat, že mezi dvěma signály je jen malá „korelace“ (ve smyslu statistické závislosti), přičemž ve skutečnosti jsou tyto dva signály silně nelineární dynamikou.

Viz také

Reference

Další čtení

• Tahmasebi, Pejman; Hezarkhani, Ardeshir; Sahimi, Mohamed (2012). „Vícebodové geostatistické modelování založené na funkcích křížové korelace“. Výpočetní geovědy . 16 (3): 779–797. doi : 10,1007/s10596-012-9287-1 .

externí odkazy

• Křížová korelace z Mathworldu
• http://scribblethink.org/Work/nvisionInterface/nip.html
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf