Kovariance - Covariance

Znamení kovariance dvou náhodných proměnných X a Y

V teorii pravděpodobnosti a statistice je kovariance měřítkem společné variability dvou náhodných proměnných . Pokud větší hodnoty jedné proměnné odpovídají hlavně vyšším hodnotám druhé proměnné a totéž platí pro menší hodnoty (to znamená, že proměnné mají tendenci vykazovat podobné chování), kovariance je kladná. V opačném případě, kdy větší hodnoty jedné proměnné odpovídají hlavně nižším hodnotám druhé (tj. Proměnné mají tendenci vykazovat opačné chování), je kovariance záporná. Znaménko kovariance tedy ukazuje tendenci v lineárním vztahu mezi proměnnými. Velikost kovariance není snadné interpretovat, protože není normalizována, a proto závisí na velikostech proměnných. Normalizovaná verze kovariance je korelační koeficient , však ukazuje, podle své velikosti pevnost lineární vztah.

Je třeba rozlišovat mezi (1) kovariancí dvou náhodných proměnných, což je populační parametr, který lze považovat za vlastnost společného rozdělení pravděpodobnosti , a (2) kovariancí vzorku , která kromě toho, že slouží jako deskriptor vzorku, slouží také jako odhadovaná hodnota parametru populace.

Definice

Pro dvě společně distribuované reálné hodnocené náhodné veličiny a s konečnými sekundovými momenty je kovariance definována jako očekávaná hodnota (nebo průměr) součinu jejich odchylek od jejich jednotlivých očekávaných hodnot:

 

 

 

 

( Rovnice 1 )

kde je očekávaná hodnota z , také známý jako průměr . Kovariance je také někdy označována nebo , analogicky s rozptylem . Použitím vlastnosti linearity očekávání to lze zjednodušit na očekávanou hodnotu jejich produktu mínus součin jejich očekávaných hodnot:

ale tato rovnice je náchylná ke katastrofickému zrušení (viz níže část o numerických výpočtech ).

Tyto jednotky měření z kovariance jsou ty časy ti . Naproti tomu korelační koeficienty , které závisí na kovarianci, jsou bezrozměrným měřítkem lineární závislosti. (Ve skutečnosti lze korelační koeficienty jednoduše chápat jako normalizovanou verzi kovariance.)

Definice pro komplexní náhodné proměnné

Kovariance mezi dvěma komplexními náhodnými proměnnými je definována jako

Všimněte si komplexní konjugace druhého faktoru v definici.

Lze také definovat související pseudokovarianci .

Diskrétní náhodné proměnné

Pokud (skutečná) dvojice náhodných proměnných může nabývat hodnot pro , se stejnou pravděpodobností , pak kovarianci lze ekvivalentně zapsat z hlediska průměrů a jako

Může být také ekvivalentně vyjádřen, aniž by přímo odkazoval na prostředky, jako

Obecněji, v případě, že jsou možné realizace , a to ale s případně nestejné pravděpodobností k , pak je kovariance

Příklad

Geometrická interpretace příkladu kovariance. Každý kvádr je ohraničující rámeček svého bodu ( x , y , f  ( x , y )) a X a Y znamená (purpurový bod). Kovariance je součet objemů červených kvádrů minus modrých kvádrů.

Předpokládejme, že a mají následující společné pravděpodobnostní funkce , ve které je šest centrální buňky dát diskrétní společné pravděpodobnosti z šesti hypotetických realizací :

X
5 6 7
y 8 0 0,4 0,1 0,5
9 0,3 0 0,2 0,5
0,3 0,4 0,3 1

může nabývat tří hodnot (5, 6 a 7), zatímco může nabývat dvou (8 a 9). Jejich prostředky jsou a . Pak,

Vlastnosti

Soulad sám se sebou

Rozptyl je zvláštní případ kovariance, ve kterém dvě proměnné jsou identické (tj, ve kterém jedna proměnná je vždy na stejnou hodnotu jako druhý):

Kovariance lineárních kombinací

V případě , , a jsou reálná náhodné veličiny a jsou reálná konstanty, pak tyto skutečnosti jsou důsledkem definice kovariance:

Pro posloupnost náhodných proměnných v reálných hodnotách a konstantách máme

Hoeffdingova kovarianční identita

Užitečnou identitou pro výpočet kovariance mezi dvěma náhodnými proměnnými je Hoeffdingova kovarianční identita:

kde je společná kumulativní distribuční funkce náhodného vektoru a jsou okrajové .

Nekorelace a nezávislost

Náhodné proměnné, jejichž kovariance je nulová, se nazývají nekorelované . Podobně součásti náhodných vektorů, jejichž kovarianční matice je nulová v každém záznamu mimo hlavní diagonálu, se také nazývají nekorelované.

Pokud a jsou nezávislé náhodné proměnné , pak je jejich kovariance nulová. To vyplývá z toho, že pod nezávislostí

Opak není obecně pravdivý. Například nechte se rovnoměrně rozložit a nechat . Je zřejmé, a nejsou nezávislé, ale

V tomto případě je vztah mezi a nelineární, zatímco korelace a kovariance jsou měřítky lineární závislosti mezi dvěma náhodnými proměnnými. Tento příklad ukazuje, že pokud jsou dvě náhodné proměnné nekorelované, neznamená to obecně, že jsou nezávislé. Nicméně, pokud dvě proměnné jsou společně normálně distribuovaný (ale ne v případě, že jsou pouze individuálně normálně distribuovaný ), uncorrelatedness dělá znamenat nezávislost.

Vztah k vnitřním produktům

Mnoho vlastností kovariance lze elegantně extrahovat pozorováním, že splňuje podobné vlastnosti jako vnitřní produkt :

  1. bilinear : konstant a a náhodných veličin ,
  2. symetrický:
  3. pozitivní semi-definitivní : pro všechny náhodné proměnné a znamená, že je téměř jistě konstantní .

Ve skutečnosti tyto vlastnosti naznačují, že kovariance definuje vnitřní součin přes prostor vektorového kvocientu získaný tak, že subprostor náhodných proměnných vezmeme s konečným druhým momentem a identifikujeme libovolné dva, které se liší konstantou. (Tato identifikace mění pozitivní semi-definitivitu na pozitivní definitivitu.) Tento kvocient vektorového prostoru je izomorfní k podprostoru náhodných proměnných s konečným druhým momentem a střední nulou; v tomto podprostoru je kovariance přesně vnitřním součinem L 2 skutečných funkcí ve vzorkovém prostoru.

Výsledkem je, že pro náhodné proměnné s konečným rozptylem nerovnost

platí přes Cauchy – Schwarzovu nerovnost .

Důkaz: Pokud , tak to platí triviálně. V opačném případě nechte náhodnou proměnnou

Pak máme

Výpočet kovariance vzorku

Ukázkové kovariance mezi proměnnými na základě pozorování každé, získané z jinak nepozorované populace, jsou dány maticí se záznamy

což je odhad kovariance mezi proměnnou a proměnnou .

Vzorek střední hodnota a vzorek kovarianční matice jsou Nestranná odhady z střední a kovarianční matice z náhodného vektoru , vektor, jehož j tý prvek je jedním z náhodných proměnných. Důvod, proč má matice kovarianční výběry spíše ve jmenovateli než ve jmenovateli, je v podstatě ten, že průměr populace není znám a je nahrazen průměrem výběrového souboru . Je -li průměr populace znám, je analogický nezaujatý odhad dán vztahem

.

Zobecnění

Auto-kovarianční matice skutečných náhodných vektorů

Pro vektoru ze společně distribuovaných náhodných proměnných s omezenou dobou druhý moment, jeho automatické kovarianční matice (také známý jako variance-kovarianční matice nebo jednoduše kovarianční matice ) (také označené nebo ) je definována jako

Nechť je náhodný vektor s kovarianční maticí Σ a A je matice, na kterou může působit vlevo. Kovarianční matice produktu matice-vektor AX je:

Toto je přímý důsledek linearity očekávání a je užitečné při použití lineární transformace , jako je například bělící transformace , na vektor.

Křížová kovarianční matice skutečných náhodných vektorů

U reálných náhodných vektorů a je příčný kovarianční matice je roven

 

 

 

 

( Rovnice 2 )

kde je transpozice vektoru (nebo matice) .

Tý prvek této matice je roven kovariance mezi i -tý skalární složky a j -tý skalární složky . Zejména je přemístit z .

Numerické výpočty

Když je rovnice je náchylný ke katastrofickému zrušení , pokud a nejsou počítány přesně, a proto je třeba se vyhnout v počítačových programech, pokud data nebyla na střed dříve. V tomto případě by měly být upřednostňovány numericky stabilní algoritmy .

Komentáře

Kovariance se někdy říká míra „lineární závislosti“ mezi dvěma náhodnými proměnnými. To neznamená totéž jako v kontextu lineární algebry (viz lineární závislost ). Když je kovariance normalizována, získá se Pearsonův korelační koeficient , který dává vhodnost pro nejlepší možnou lineární funkci popisující vztah mezi proměnnými. V tomto smyslu je kovariance lineárním měřidlem závislosti.

Aplikace

V genetice a molekulární biologii

Kovariance je důležitým opatřením v biologii . Některé sekvence DNA jsou mezi druhy konzervovány více než jiné, a proto se pro studium sekundárních a terciárních struktur proteinů nebo struktur RNA porovnávají sekvence u blízce příbuzných druhů. Pokud jsou nalezeny změny sekvence nebo nejsou nalezeny žádné změny v nekódující RNA (jako je mikroRNA ), bylo shledáno, že sekvence jsou nezbytné pro běžné strukturální motivy, jako je smyčka RNA. V genetice slouží kovariance jako základ pro výpočet matice genetického vztahu (GRM) (aka matice příbuznosti), která umožňuje odvození struktury populace ze vzorku bez známých blízkých příbuzných, jakož i odvození odhadu dědičnosti komplexních znaků.

V teorii evoluce a přirozený výběr je cena rovnice popisuje, jak genetický rys změní frekvence v průběhu času. Rovnice používá kovarianci mezi rysem a kondicí , aby poskytla matematický popis evoluce a přirozeného výběru. Poskytuje způsob, jak porozumět účinkům přenosu genů a přirozeného výběru na podíl genů v každé nové generaci populace. Cenová rovnice byla odvozena Georgem R. Priceem , aby byla odvozena práce WD Hamilton o výběru příbuzných . Příklady cenové rovnice byly vytvořeny pro různé evoluční případy.

Ve finanční ekonomii

Covariances hrají klíčovou roli ve finanční ekonomii , zejména v moderní teorii portfolia a v modelu oceňování kapitálových aktiv . Covariances mezi výnosy různých aktiv se používají k určení, za určitých předpokladů, relativních částek různých aktiv, která by investoři měli (v normativní analýze ) nebo se předpokládá, že (v pozitivní analýze ) se rozhodnou držet v kontextu diverzifikace .

V asimilaci meteorologických a oceánografických dat

Kovarianční matice je důležitá při odhadu počátečních podmínek potřebných pro spouštění modelů předpovědi počasí, což je postup známý jako asimilace dat . „Matice kovarianční předpovědi chyb“ je obvykle konstruována mezi poruchami kolem průměrného stavu (buď klimatologického nebo souborového průměru). „Matice kovarianční chyby chyby pozorování“ je konstruována tak, aby reprezentovala velikost kombinovaných pozorovacích chyb (na diagonále) a korelovaných chyb mezi měřeními (mimo diagonálu). Toto je příklad jeho rozšířené aplikace na Kalmanově filtrování a obecnějšího odhadu stavu u časově proměnných systémů.

V mikrometeorologii

Vířivé kovariance technika je klíčovým měřítkem atmosférické technika, kdy je kovariance mezi okamžité odchylky ve vertikální rychlosti větru od střední hodnoty a okamžité odchylky v koncentraci plynu základem pro výpočet vertikální turbulentní toky.

Při zpracování signálu

Kovarianční matice se používá k zachycení spektrální variability signálu.

Ve statistikách a zpracování obrazu

Kovarianční matice se používá v analýze hlavních komponent ke snížení dimenzionality funkcí v předzpracování dat .

Viz také

Reference