Measure of the joint variability
Znamení kovariance dvou náhodných proměnných
X a
Y
V teorii pravděpodobnosti a statistice je kovariance měřítkem společné variability dvou náhodných proměnných . Pokud větší hodnoty jedné proměnné odpovídají hlavně vyšším hodnotám druhé proměnné a totéž platí pro menší hodnoty (to znamená, že proměnné mají tendenci vykazovat podobné chování), kovariance je kladná. V opačném případě, kdy větší hodnoty jedné proměnné odpovídají hlavně nižším hodnotám druhé (tj. Proměnné mají tendenci vykazovat opačné chování), je kovariance záporná. Znaménko kovariance tedy ukazuje tendenci v lineárním vztahu mezi proměnnými. Velikost kovariance není snadné interpretovat, protože není normalizována, a proto závisí na velikostech proměnných. Normalizovaná verze kovariance je korelační koeficient , však ukazuje, podle své velikosti pevnost lineární vztah.
Je třeba rozlišovat mezi (1) kovariancí dvou náhodných proměnných, což je populační parametr, který lze považovat za vlastnost společného rozdělení pravděpodobnosti , a (2) kovariancí vzorku , která kromě toho, že slouží jako deskriptor vzorku, slouží také jako odhadovaná hodnota parametru populace.
Definice
Pro dvě společně distribuované reálné hodnocené náhodné veličiny a s konečnými sekundovými momenty je kovariance definována jako očekávaná hodnota (nebo průměr) součinu jejich odchylek od jejich jednotlivých očekávaných hodnot:
|
|
( Rovnice 1 )
|
kde je očekávaná hodnota z , také známý jako průměr . Kovariance je také někdy označována nebo , analogicky s rozptylem . Použitím vlastnosti linearity očekávání to lze zjednodušit na očekávanou hodnotu jejich produktu mínus součin jejich očekávaných hodnot:
ale tato rovnice je náchylná ke katastrofickému zrušení (viz níže část o numerických výpočtech ).
Tyto jednotky měření z kovariance jsou ty časy ti . Naproti tomu korelační koeficienty , které závisí na kovarianci, jsou bezrozměrným měřítkem lineární závislosti. (Ve skutečnosti lze korelační koeficienty jednoduše chápat jako normalizovanou verzi kovariance.)
Definice pro komplexní náhodné proměnné
Kovariance mezi dvěma komplexními náhodnými proměnnými je definována jako
Všimněte si komplexní konjugace druhého faktoru v definici.
Lze také definovat související pseudokovarianci .
Diskrétní náhodné proměnné
Pokud (skutečná) dvojice náhodných proměnných může nabývat hodnot pro , se stejnou pravděpodobností , pak kovarianci lze ekvivalentně zapsat z hlediska průměrů a jako
Může být také ekvivalentně vyjádřen, aniž by přímo odkazoval na prostředky, jako
Obecněji, v případě, že jsou možné realizace , a to ale s případně nestejné pravděpodobností k , pak je kovariance
Příklad
Geometrická interpretace příkladu kovariance. Každý kvádr je ohraničující rámeček svého bodu (
x ,
y ,
f (
x ,
y )) a
X a
Y znamená (purpurový bod). Kovariance je součet objemů červených kvádrů minus modrých kvádrů.
Předpokládejme, že a mají následující společné pravděpodobnostní funkce , ve které je šest centrální buňky dát diskrétní společné pravděpodobnosti z šesti hypotetických realizací :
|
X
|
|
|
5
|
6
|
7
|
y
|
8
|
0
|
0,4
|
0,1
|
0,5
|
9
|
0,3
|
0
|
0,2
|
0,5
|
|
|
0,3
|
0,4
|
0,3
|
1
|
může nabývat tří hodnot (5, 6 a 7), zatímco může nabývat dvou (8 a 9). Jejich prostředky jsou a . Pak,
Vlastnosti
Soulad sám se sebou
Rozptyl je zvláštní případ kovariance, ve kterém dvě proměnné jsou identické (tj, ve kterém jedna proměnná je vždy na stejnou hodnotu jako druhý):
Kovariance lineárních kombinací
V případě , , a jsou reálná náhodné veličiny a jsou reálná konstanty, pak tyto skutečnosti jsou důsledkem definice kovariance:
Pro posloupnost náhodných proměnných v reálných hodnotách a konstantách máme
Hoeffdingova kovarianční identita
Užitečnou identitou pro výpočet kovariance mezi dvěma náhodnými proměnnými je Hoeffdingova kovarianční identita:
kde je společná kumulativní distribuční funkce náhodného vektoru a jsou okrajové .
Nekorelace a nezávislost
Náhodné proměnné, jejichž kovariance je nulová, se nazývají nekorelované . Podobně součásti náhodných vektorů, jejichž kovarianční matice je nulová v každém záznamu mimo hlavní diagonálu, se také nazývají nekorelované.
Pokud a jsou nezávislé náhodné proměnné , pak je jejich kovariance nulová. To vyplývá z toho, že pod nezávislostí
Opak není obecně pravdivý. Například nechte se rovnoměrně rozložit a nechat . Je zřejmé, a nejsou nezávislé, ale
V tomto případě je vztah mezi a nelineární, zatímco korelace a kovariance jsou měřítky lineární závislosti mezi dvěma náhodnými proměnnými. Tento příklad ukazuje, že pokud jsou dvě náhodné proměnné nekorelované, neznamená to obecně, že jsou nezávislé. Nicméně, pokud dvě proměnné jsou společně normálně distribuovaný (ale ne v případě, že jsou pouze individuálně normálně distribuovaný ), uncorrelatedness dělá znamenat nezávislost.
Vztah k vnitřním produktům
Mnoho vlastností kovariance lze elegantně extrahovat pozorováním, že splňuje podobné vlastnosti jako vnitřní produkt :
-
bilinear : konstant a a náhodných veličin ,
- symetrický:
-
pozitivní semi-definitivní : pro všechny náhodné proměnné a znamená, že je téměř jistě konstantní .
Ve skutečnosti tyto vlastnosti naznačují, že kovariance definuje vnitřní součin přes prostor vektorového kvocientu získaný tak, že subprostor náhodných proměnných vezmeme s konečným druhým momentem a identifikujeme libovolné dva, které se liší konstantou. (Tato identifikace mění pozitivní semi-definitivitu na pozitivní definitivitu.) Tento kvocient vektorového prostoru je izomorfní k podprostoru náhodných proměnných s konečným druhým momentem a střední nulou; v tomto podprostoru je kovariance přesně vnitřním součinem L 2 skutečných funkcí ve vzorkovém prostoru.
Výsledkem je, že pro náhodné proměnné s konečným rozptylem nerovnost
platí přes Cauchy – Schwarzovu nerovnost .
Důkaz: Pokud , tak to platí triviálně. V opačném případě nechte náhodnou proměnnou
Pak máme
Výpočet kovariance vzorku
Ukázkové kovariance mezi proměnnými na základě pozorování každé, získané z jinak nepozorované populace, jsou dány maticí se záznamy
což je odhad kovariance mezi proměnnou a proměnnou .
Vzorek střední hodnota a vzorek kovarianční matice jsou Nestranná odhady z střední a kovarianční matice z náhodného vektoru , vektor, jehož j tý prvek je jedním z náhodných proměnných. Důvod, proč má matice kovarianční výběry spíše ve jmenovateli než ve jmenovateli, je v podstatě ten, že průměr populace není znám a je nahrazen průměrem výběrového souboru . Je -li průměr populace znám, je analogický nezaujatý odhad dán vztahem
-
.
Zobecnění
Auto-kovarianční matice skutečných náhodných vektorů
Pro vektoru ze společně distribuovaných náhodných proměnných s omezenou dobou druhý moment, jeho automatické kovarianční matice (také známý jako variance-kovarianční matice nebo jednoduše kovarianční matice ) (také označené nebo ) je definována jako
Nechť je náhodný vektor s kovarianční maticí Σ a A je matice, na kterou může působit vlevo. Kovarianční matice produktu matice-vektor AX je:
Toto je přímý důsledek linearity očekávání a je užitečné při použití lineární transformace , jako je například bělící transformace , na vektor.
Křížová kovarianční matice skutečných náhodných vektorů
U reálných náhodných vektorů a je příčný kovarianční matice je roven
|
|
( Rovnice 2 )
|
kde je transpozice vektoru (nebo matice) .
Tý prvek této matice je roven kovariance mezi i -tý skalární složky a j -tý skalární složky . Zejména je přemístit z .
Numerické výpočty
Když je rovnice je náchylný ke katastrofickému zrušení , pokud a nejsou počítány přesně, a proto je třeba se vyhnout v počítačových programech, pokud data nebyla na střed dříve. V tomto případě by měly být upřednostňovány numericky stabilní algoritmy .
Kovariance se někdy říká míra „lineární závislosti“ mezi dvěma náhodnými proměnnými. To neznamená totéž jako v kontextu lineární algebry (viz lineární závislost ). Když je kovariance normalizována, získá se Pearsonův korelační koeficient , který dává vhodnost pro nejlepší možnou lineární funkci popisující vztah mezi proměnnými. V tomto smyslu je kovariance lineárním měřidlem závislosti.
Aplikace
V genetice a molekulární biologii
Kovariance je důležitým opatřením v biologii . Některé sekvence DNA jsou mezi druhy konzervovány více než jiné, a proto se pro studium sekundárních a terciárních struktur proteinů nebo struktur RNA porovnávají sekvence u blízce příbuzných druhů. Pokud jsou nalezeny změny sekvence nebo nejsou nalezeny žádné změny v nekódující RNA (jako je mikroRNA ), bylo shledáno, že sekvence jsou nezbytné pro běžné strukturální motivy, jako je smyčka RNA. V genetice slouží kovariance jako základ pro výpočet matice genetického vztahu (GRM) (aka matice příbuznosti), která umožňuje odvození struktury populace ze vzorku bez známých blízkých příbuzných, jakož i odvození odhadu dědičnosti komplexních znaků.
V teorii evoluce a přirozený výběr je cena rovnice popisuje, jak genetický rys změní frekvence v průběhu času. Rovnice používá kovarianci mezi rysem a kondicí , aby poskytla matematický popis evoluce a přirozeného výběru. Poskytuje způsob, jak porozumět účinkům přenosu genů a přirozeného výběru na podíl genů v každé nové generaci populace. Cenová rovnice byla odvozena Georgem R. Priceem , aby byla odvozena práce WD Hamilton o výběru příbuzných . Příklady cenové rovnice byly vytvořeny pro různé evoluční případy.
Ve finanční ekonomii
Covariances hrají klíčovou roli ve finanční ekonomii , zejména v moderní teorii portfolia a v modelu oceňování kapitálových aktiv . Covariances mezi výnosy různých aktiv se používají k určení, za určitých předpokladů, relativních částek různých aktiv, která by investoři měli (v normativní analýze ) nebo se předpokládá, že (v pozitivní analýze ) se rozhodnou držet v kontextu diverzifikace .
V asimilaci meteorologických a oceánografických dat
Kovarianční matice je důležitá při odhadu počátečních podmínek potřebných pro spouštění modelů předpovědi počasí, což je postup známý jako asimilace dat . „Matice kovarianční předpovědi chyb“ je obvykle konstruována mezi poruchami kolem průměrného stavu (buď klimatologického nebo souborového průměru). „Matice kovarianční chyby chyby pozorování“ je konstruována tak, aby reprezentovala velikost kombinovaných pozorovacích chyb (na diagonále) a korelovaných chyb mezi měřeními (mimo diagonálu). Toto je příklad jeho rozšířené aplikace na Kalmanově filtrování a obecnějšího odhadu stavu u časově proměnných systémů.
V mikrometeorologii
Vířivé kovariance technika je klíčovým měřítkem atmosférické technika, kdy je kovariance mezi okamžité odchylky ve vertikální rychlosti větru od střední hodnoty a okamžité odchylky v koncentraci plynu základem pro výpočet vertikální turbulentní toky.
Při zpracování signálu
Kovarianční matice se používá k zachycení spektrální variability signálu.
Ve statistikách a zpracování obrazu
Kovarianční matice se používá v analýze hlavních komponent ke snížení dimenzionality funkcí v předzpracování dat .
Viz také
Reference