Podmíněná nezávislost - Conditional independence

Část série statistik
Teorie pravděpodobnosti
Pravděpodobnost Axiomy Determinismus Systém Neurčitost Náhodnost
Prostor pravděpodobnosti Ukázkový prostor událost Společně vyčerpávající události Základní událost Vzájemná exkluzivita Výsledek jedináček Experiment Bernoulliho zkouška Rozdělení pravděpodobnosti Distribuce Bernoulli Binomická distribuce Normální distribuce Opatření pravděpodobnosti Náhodná proměnná Bernoulliho proces Souvislé nebo diskrétní Očekávaná hodnota Řetěz Markov Pozorovaná hodnota Náhodná procházka Stochastický proces
Doplňková akce Společná pravděpodobnost Okrajová pravděpodobnost Podmíněná pravděpodobnost
Nezávislost Podmíněná nezávislost Zákon celkové pravděpodobnosti Zákon velkých čísel Bayesova věta Booleova nerovnost
Vennův diagram Stromový diagram
proti t E

V teorii pravděpodobnosti , podmíněná nezávislost popisuje situace, kde pozorování je irelevantní, nebo nadbytečné při hodnocení jistotu hypotéza. Podmíněná nezávislost je obvykle formulována z hlediska podmíněné pravděpodobnosti , jako speciální případ, kdy pravděpodobnost hypotézy daná neinformativním pozorováním je rovna pravděpodobnosti bez. Pokud je hypotéza a jsou pozorování, podmíněná nezávislost může být uvedena jako rovnost: ${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$

${\ Displaystyle P (A | B, C) = P (A | C)}$

kde je pravděpodobnost daných obou a . Protože pravděpodobnost daného je stejná jako pravděpodobnost daných obou a , tato rovnost vyjadřuje, že nic nepřispívá k jistotě . V takovém případě, a jsou řekl, aby byl podmínečně nezávislý daný , psaný symbolicky jako: . ${\ displaystyle P (A | B, C)}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle B}$${\ displaystyle A}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ Displaystyle (A \ perp \! \! \! \ perp B | C)}$

Koncept podmíněné nezávislosti je zásadní pro teorie založené na grafech statistických závěrů, protože vytváří matematický vztah mezi souborem podmíněných příkazů a grafem .

Podmíněná nezávislost událostí

Nechť , a být události . a je řekl, aby byl podmíněně nezávislý daný právě tehdy, když a: ${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle P (C)> 0}$

${\ Displaystyle P (A \ mid B, C) = P (A \ mid C)}$

Tato vlastnost je často napsáno: . ${\ Displaystyle (A \ perp \! \! \! \ perp B \ mid C)}$

Ekvivalentně může být podmíněná nezávislost uvedena jako:

${\ Displaystyle P (A, B | C) = P (A | C) P (B | C)}$

kde je společná pravděpodobnost of a vzhledem . Tento alternativní formulace uvádí, že a jsou nezávislé jevy , vzhledem k tomu . ${\ displaystyle P (A, B | C)}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$

Důkaz ekvivalentní definice

${\ Displaystyle P (A, B \ mid C) = P (A \ mid C) P (B \ mid C)}$

iff      (definice podmíněné pravděpodobnosti )${\ Displaystyle {\ frac {P (A, B, C)} {P (C)}} = ({\ frac {P (A, C)} {P (C)}}) ({\ frac {P (B, C)} {P (C)}})}$

iff       (vynásobte obě strany )${\ Displaystyle P (A, B, C) = {\ frac {P (A, C) P (B, C)} {P (C)}}}$${\ displaystyle P (C)}$

iff       (rozdělte obě strany )${\ displaystyle {\ frac {P (A, B, C)} {P (B, C)}} = {\ frac {P (A, C)} {P (C)}}}$${\ displaystyle P (B, C)}$

iff       (definice podmíněné pravděpodobnosti)${\ Displaystyle P (A \ mid B, C) = P (A \ mid C)}$${\ displaystyle \ proto}$

Příklady

Diskuse o StackExchange poskytuje několik užitečných příkladů. Viz. níže.

Barevné boxy

Každá buňka představuje možný výsledek. Události , a jsou reprezentovány oblastech zastíněných červené , modré a žluté v daném pořadí. Překrývání mezi událostmi a je stínováno purpurově . ${\ displaystyle \ color {red} R}$${\ displaystyle \ color {blue} B}$${\ displaystyle \ color {gold} Y}$${\ displaystyle \ color {red} R}$${\ displaystyle \ color {blue} B}$

Pravděpodobnosti těchto událostí jsou stínované oblasti vzhledem k celkové ploše. V obou příkladech a jsou podmíněně nezávislé uvedeny proto, že: ${\ displaystyle \ color {red} R}$${\ displaystyle \ color {blue} B}$${\ displaystyle \ color {gold} Y}$

${\ displaystyle \ Pr ({\ color {red} R}, {\ color {blue} B} \ mid {\ color {gold} Y}) = \ Pr ({\ color {red} R} \ mid {\ barva {zlatá} Y}) \ Pr ({\ barva {modrá} B} \ střední {\ barva {zlatá} Y})}$

ale není podmíněně nezávislý, protože: ${\ Displaystyle \ left [{\ text {not}} {\ color {gold} Y} \ right]}$

${\ Displaystyle \ Pr ({\ color {red} R}, {\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y}) \ not = \ Pr ({\ color {red} R} \ mid {\ text {not}} {\ color {gold} Y}) \ Pr ({\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y })}$

Počasí a zpoždění

Nechť jsou obě události pravděpodobností, že se osoby A a B dostanou domů včas na večeři, a třetí událostí je skutečnost, že město zasáhla sněhová bouře. Zatímco A i B mají nižší pravděpodobnost, že se dostanou domů včas na večeři, nižší pravděpodobnosti budou na sobě stále nezávislé. To znamená, že znalost, že A má zpoždění, vám neřekne, zda B bude pozdě. (Možná žijí v různých čtvrtích, cestují na různé vzdálenosti a používají různé způsoby dopravy.) Pokud však máte informace, že žijí ve stejné čtvrti, využívejte stejnou dopravu a pracujte na stejném místě, pak události NEJSOU podmíněně nezávislé.

Házení kostkami

Podmíněná nezávislost závisí na povaze třetí události. Pokud hodíte dvěma kostkami, můžete předpokládat, že se tyto dvě kostky chovají nezávisle na sobě. Pohled na výsledky jedné kostky vám neřekne o výsledku druhé kostky. (To znamená, že dvě kostky jsou nezávislé.) Pokud je však výsledek první kostky 3 a někdo vám řekne o třetí události - že součet dvou výsledků je sudý - pak tato další jednotka informací omezuje možnosti pro 2. výsledek na liché číslo. Jinými slovy, dvě události mohou být nezávislé, ale NE podmíněně nezávislé.

Výška a slovní zásoba

Výška a slovní zásoba jsou závislé, protože velmi malí lidé bývají dětmi a jsou známí svými základními slovníky. Ale s vědomím, že dvěma lidem je 19 let (tj. Podmíněno věkem), není důvod si myslet, že slovní zásoba jedné osoby je větší, pokud nám řeknou, že jsou vyšší.

Podmíněná nezávislost náhodných proměnných

Dvě náhodné proměnné a jsou podmíněně nezávislý daný třetiny diskrétní náhodná veličina tehdy a jen tehdy, pokud jsou nezávislé na jejich podmíněného rozdělení pravděpodobnosti dané . To znamená, že i podmíněně nezávislý daný tehdy a jen tehdy, pokud daný nějaké hodnoty , rozdělení pravděpodobnosti je stejný pro všechny hodnoty a rozdělení pravděpodobnosti je stejný pro všechny hodnoty . Formálně: ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle Z}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle Z}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Y}$${\ displaystyle X}$

kde je podmíněno kumulativní distribuční funkce of a vzhledem . ${\ Displaystyle F_ {X, Y \, \ mid \, Z \, = \, z} (x, y) = \ Pr (X \ leq x, Y \ leq y \ mid Z = z)}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$

Dvě události a jsou podmíněně nezávislé vzhledem k σ-algebře if ${\ displaystyle R}$${\ displaystyle B}$ ${\ displaystyle \ Sigma}$

${\ Displaystyle \ Pr (R, B \ mid \ Sigma) = \ Pr (R \ mid \ Sigma) \ Pr (B \ mid \ Sigma) {\ text {as}}}$

kde označuje podmíněnou očekávání o funkci indikátoru události , vzhledem k sigma algebry . To znamená, ${\ displaystyle \ Pr (A \ mid \ Sigma)}$${\ displaystyle A}$${\ displaystyle \ chi _ {A}}$${\ displaystyle \ Sigma}$

${\ displaystyle \ Pr (A \ mid \ Sigma): = \ operatorname {E} [\ chi _ {A} \ mid \ Sigma].}$

Dvě náhodné veličiny a jsou podmíněně nezávislé vzhledem k σ-algebře, pokud výše uvedená rovnice platí pro všechny in a in . ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle \ Sigma}$${\ displaystyle R}$${\ Displaystyle \ sigma (X)}$${\ displaystyle B}$${\ Displaystyle \ sigma (Y)}$

Dvě náhodné proměnné a jsou podmíněně nezávislé vzhledem k náhodné proměnné, pokud jsou nezávislé na σ ( W ): σ-algebra generovaná . Běžně se píše: ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W}$${\ displaystyle W}$

${\ Displaystyle X \ perp \! \! \! \ perp Y \ mid W}$ nebo

${\ Displaystyle X \ perp Y \ mid W}$

Toto se čte „ je nezávislé na , dané “; podmiňování platí pro celé tvrzení: „( je nezávislé na ) dané “. ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W}$

${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$

Pokud předpokládá počitatelnou sadu hodnot, je to ekvivalentní podmíněné nezávislosti X a Y pro události ve formuláři . Podmíněná nezávislost více než dvou událostí nebo více než dvou náhodných proměnných je definována analogicky. ${\ displaystyle W}$${\ displaystyle [W = w]}$

Následující dva příklady ukazují, že to neznamená ani neznamená . Předpokládejme nejprve 0 s pravděpodobností 0,5 a 1 jinak. Když W  = 0 vezměte a buďte nezávislí, každý má hodnotu 0 s pravděpodobností 0,99 a jinak hodnotu 1. Kdy , a jsou opět nezávislí, ale tentokrát nabývají hodnoty 1 s pravděpodobností 0,99. Potom . Ale i jsou závislé, protože Pr ( X  = 0) <Pr ( X  = 0 | Y  = 0). Důvodem je, že Pr ( X  = 0) = 0,5, ale pokud Y  = 0, pak je velmi pravděpodobné, že W  = 0 a tedy i X  = 0, takže Pr ( X  = 0 | Y  = 0)> 0,5. U druhého příkladu předpokládejme, že každý nabývá hodnot 0 a 1 s pravděpodobností 0,5. Nechť je produkt . Když pak , Pr ( X  = 0) = 2/3, ale Pr ( X  = 0 | Y  = 0) = 1/2, je tedy false. Toto je také příklad Vysvětlení. Podívejte se na tutoriál Kevina Murphyho a vezměte hodnoty „chytrý“ a „sportovní“. ${\ Displaystyle X \ perp \! \! \! \ perp Y}$ ${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ displaystyle W}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W = 1}$${\ displaystyle X}$${\ displaystyle Y}$${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ displaystyle X}$${\ displaystyle Y}$${\ Displaystyle X \ perp \! \! \! \ perp Y}$${\ displaystyle W}$${\ Displaystyle X \ cdot Y}$${\ displaystyle W = 0}$${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ displaystyle X}$${\ displaystyle Y}$

Podmíněná nezávislost náhodných vektorů

Dva náhodné vektory a jsou podmíněně nezávislé vzhledem k třetímu náhodnému vektoru právě tehdy, pokud jsou nezávislé na dané podmíněné kumulativní distribuci . Formálně: ${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {l})^{\ mathrm {T}}}$${\ Displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {m})^{\ mathrm {T}}}$${\ Displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {n})^{\ mathrm {T}}}$${\ displaystyle \ mathbf {Z}}$

kde , a a podmíněné kumulativní distribuce jsou definovány následujícím způsobem. ${\ Displaystyle \ mathbf {x} = (x_ {1}, \ ldots, x_ {l})^{\ mathrm {T}}}$${\ Displaystyle \ mathbf {y} = (y_ {1}, \ ldots, y_ {m})^{\ mathrm {T}}}$${\ Displaystyle \ mathbf {z} = (z_ {1}, \ ldots, z_ {n})^{\ mathrm {T}}}$

${\ Displaystyle {\ begin {aligned} F _ {\ mathbf {X}, \ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x} , \ mathbf {y}) & = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l}, Y_ {1} \ leq y_ {1}, \ ldots , Y_ {m} \ leq y_ {m} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {X} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x}) & = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {y}) & = \ Pr (Y_ {1} \ leq y_ {1}, \ ldots, Y_ {m} \ leq y_ {m } \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \ end {zarovnáno}}}$

Využití v Bayesovské dedukci

Nechť p je podíl voličů, kteří budou v nadcházejícím referendu hlasovat „ano“ . Při průzkumu veřejného mínění si člověk náhodně vybere n voličů z populace. Pro i  = 1,…,  n , nechť X _i  = 1 nebo 0 odpovídá tomu, zda i zvolený volič bude nebo nebude hlasovat „ano“.

Ve frekventistickém přístupu ke statistickým závěrům by člověk nepřisuzoval žádné rozdělení pravděpodobnosti p (pokud by pravděpodobnosti nebylo možné nějak interpretovat jako relativní četnost výskytu nějaké události nebo jako podíl nějaké populace) a dalo by se říci, že X ₁ ,…, X _n jsou nezávislé náhodné proměnné.

Naproti tomu v bayesovském přístupu ke statistické inferenci by bylo přiřazeno rozdělení pravděpodobnosti k p bez ohledu na neexistenci jakékoli takové interpretace „frekvence“ a pravděpodobnosti by byly konstruovány jako stupně přesvědčení, že p je v jakémkoli intervalu kterým je přiřazena pravděpodobnost. V tomto modelu jsou náhodné veličiny Xa ₁ , ...,  X _n jsou to nezávislé, ale jsou podmíněně nezávislé vzhledem k hodnotě p . Zejména pokud je pozorováno , že velký počet X je roven 1, znamenalo by to vysokou podmíněnou pravděpodobnost , vzhledem k tomuto pozorování, že p je blízko 1, a tedy vysokou podmíněnou pravděpodobnost , vzhledem k tomuto pozorování, že další X k pozorování se bude rovnat 1.

Pravidla podmíněné nezávislosti

Ze základní definice byl odvozen soubor pravidel upravujících prohlášení o podmíněné nezávislosti.

Tato pravidla byla Pearlem a Pazem označována jako „ Graphoid Axioms “, protože drží v grafech, kde je interpretováno tak, že znamená: „Všechny cesty od X do A jsou zachyceny množinou B “. ${\ Displaystyle X \ perp \! \! \! \ perp A \ mid B}$

Symetrie

${\ Displaystyle X \ perp \! \! \! \ perp Y \ quad \ Rightarrow \ quad Y \ perp \! \! \! \ perp X}$

Rozklad

${\ Displaystyle X \ perp \! \! \! \ perp A, B \ quad \ Rightarrow \ quad {\ text {and}} {\ begin {cases} X \ perp \! \! \! \ perp A \\ X \ perp \! \! \! \ Perp B \ end {cases}}}$

Důkaz

• ${\ Displaystyle p_ {X, A, B} (x, a, b) = p_ {X} (x) p_ {A, B} (a, b)}$      (význam )${\ Displaystyle X \ perp \! \! \! \ perp A, B}$
• ${\ Displaystyle \ int _ {B} p_ {X, A, B} (x, a, b) \, db = \ int _ {B} p_ {X} (x) p_ {A, B} (a, b) \, db}$      (ignorujte proměnnou B její integrací)
• ${\ Displaystyle p_ {X, A} (x, a) = p_ {X} (x) p_ {A} (a)}$     

Podobný důkaz ukazuje nezávislost X a B .

Slabá unie

${\ Displaystyle X \ perp \! \! \! \ perp A, B \ quad \ Rightarrow \ quad {\ text {and}} {\ begin {cases} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ Perp B \ mid A \ end {cases}}}$

Důkaz

• Podle předpokladu, .${\ Displaystyle \ Pr (X) = \ Pr (X \ mid A, B)}$
• Vzhledem k majetku rozkladu , .${\ Displaystyle X \ perp \! \! \! \ perp B}$${\ Displaystyle \ Pr (X) = \ Pr (X \ mid B)}$
• Kombinace výše uvedených dvou rovností dává , což stanoví .${\ Displaystyle \ Pr (X \ mid B) = \ Pr (X \ mid A, B)}$${\ Displaystyle X \ perp \! \! \! \ perp A \ mid B}$

Druhou podmínku lze dokázat obdobně.

Kontrakce

${\ displaystyle \ left. {\ begin {aligned} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \! \ perp B \ end {aligned}} \ right \ } {\ text {a}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp A, B}$

Důkaz

Tuto vlastnost lze prokázat povšimnutím , přičemž každá rovnost je prosazována a . ${\ Displaystyle \ Pr (X \ mid A, B) = \ Pr (X \ mid B) = \ Pr (X)}$${\ Displaystyle X \ perp \! \! \! \ perp A \ mid B}$${\ Displaystyle X \ perp \! \! \! \ perp B}$

Průsečík

Pro striktně pozitivní rozdělení pravděpodobnosti platí také následující:

${\ Displaystyle \ left. {\ begin {aligned} X \ perp \! \! \! \ perp Y \ mid Z, W \\ X \ perp \! \! \! \ perp W \ mid Z, Y \ end {aligned}} \ right \} {\ text {and}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp W, Y \ mid Z}$

Důkaz

Podle předpokladu:

${\ Displaystyle P (X | Z, W, Y) = P (X | Z, W) \ land P (X | Z, W, Y) = P (X | Z, Y) \ implikuje P (X | Z , Y) = P (X | Z, W)}$

Pomocí této rovnosti spolu se zákonem celkové pravděpodobnosti platí pro : ${\ displaystyle P (X | Z)}$

${\ Displaystyle {\ begin {aligned} P (X | Z) & = \ sum _ {w \ in W} P (X | Z, W = w) P (W = w | Z) \\ [4pt] & = \ součet _ {w \ v W} P (X | Y, Z) P (W = w | Z) \\ [4pt] & = P (X | Z, Y) \ součet _ {w \ ve W} P (W = w | Z) \\ [4pt] & = P (X | Z, Y) \ end {zarovnáno}}}$

Od a z toho plyne . ${\ Displaystyle P (X | Z, W, Y) = P (X | Z, Y)}$${\ Displaystyle P (X | Z, Y) = P (X | Z)}$${\ Displaystyle P (X | Z, W, Y) = P (X | Z) \ iff X \ perp \! \! \! \ perp Y, W | Z}$

Technická poznámka: jelikož tyto důsledky držet jakéhokoli prostoru pravděpodobnosti, budou i nadále držet, pokud vezmeme v úvahu dílčí vesmíru klimatizace všechno na jiné proměnné, řekněme  K . Například by to také znamenalo . ${\ Displaystyle X \ perp \! \! \! \ perp Y \ Rightarrow Y \ perp \! \! \! \ perp X}$${\ Displaystyle X \ perp \! \! \! \ perp Y \ mid K \ Rightarrow Y \ perp \! \! \! \ perp X \ mid K}$

Viz také

• Grafoid
• Podmíněná závislost
• de Finettiho věta
• Podmíněné očekávání

Reference

externí odkazy

• Média související s podmíněnou nezávislostí na Wikimedia Commons