Bayesovské hierarchické modelování - Bayesian hierarchical modeling

Bayesova hierarchické modelování je statistický model napsaný v několika úrovních (hierarchické forma), který odhaduje parametry na zadní rozdělení pomocí metody Bayesovské . Kombinace dílčích modelů tvoří hierarchický model a k jejich integraci s pozorovanými daty a zohlednění veškeré nejistoty, která existuje, se používá Bayesova věta . Výsledkem této integrace je zadní distribuce, známá také jako aktualizovaný odhad pravděpodobnosti, protože se získají další důkazy o předchozí distribuci .

Časté statistiky mohou přinést závěry zdánlivě nekompatibilní se závěry Bayesiánských statistik kvůli Bayesovskému zacházení s parametry jako náhodnými proměnnými a jejich použití subjektivních informací při stanovení předpokladů o těchto parametrech. Jelikož přístupy odpovídají na různé otázky, formální výsledky nejsou technicky protichůdné, ale tyto dva přístupy se neshodují v tom, která odpověď je relevantní pro konkrétní aplikace. Bayesians tvrdí, že relevantní informace týkající se rozhodování a aktualizace přesvědčení nelze ignorovat a že hierarchické modelování má potenciál potlačit klasické metody v aplikacích, kde respondenti poskytují více pozorovacích údajů. Kromě toho se model ukázal jako robustní , přičemž zadní distribuce byla méně citlivá na flexibilnější hierarchické předchůdce.

Hierarchické modelování se používá, když jsou informace k dispozici na několika různých úrovních pozorovacích jednotek. Například v epidemiologickém modelování popisujícím trajektorie infekce pro více zemí jsou pozorovacími jednotkami země a každá země má svůj vlastní časový profil denně infikovaných případů. Při analýze křivky poklesu k popisu křivky poklesu produkce ropy nebo zemního plynu pro více vrtů jsou pozorovacími jednotkami ropné nebo plynové vrty v oblasti nádrže a každý vrt má svůj vlastní časový profil rychlosti těžby ropy nebo zemního plynu (obvykle barelů za měsíc). Datová struktura pro hierarchické modelování zachovává vnořenou datovou strukturu. Hierarchická forma analýzy a organizace pomáhá porozumět problémům s více parametry a také hraje důležitou roli při vývoji výpočetních strategií.

Filozofie

Statistické metody a modely obvykle zahrnují více parametrů, které lze považovat za související nebo spojené tak, že z problému vyplývá závislost společného modelu pravděpodobnosti pro tyto parametry. Jednotlivé stupně víry vyjádřené ve formě pravděpodobností přicházejí s nejistotou. Uprostřed toho je změna stupňů víry v průběhu času. Jak uvedli profesor José M. Bernardo a profesor Adrian F. Smith , „skutečnost procesu učení spočívá ve vývoji individuálních a subjektivních přesvědčení o realitě.“ Tyto subjektivní pravděpodobnosti jsou více přímo zapojeny do mysli než do fyzických pravděpodobností. Proto právě s touto potřebou aktualizovat přesvědčení Bayesians zformuloval alternativní statistický model, který bere v úvahu předchozí výskyt konkrétní události.

Bayesova věta

Předpokládaný výskyt skutečné události obvykle změní předvolby mezi určitými možnostmi. Toho se dosáhne úpravou stupňů víry, které jednotlivec připisuje událostem definujícím možnosti.

Předpokládejme, že ve studii účinnosti srdečních léčby, přičemž pacienti v nemocnici j mají pravděpodobnost přežití , bude pravděpodobnost přežití aktualizován s výskytem y , je událost, ve kterém je kontroverzní sérum vytvořené, které, jak věřil některými zvyšuje přežití u pacientů se srdcem. ${\ displaystyle \ theta _ {j}}$

Abychom mohli dělat aktualizovaná prohlášení o pravděpodobnosti o , vzhledem k výskytu události y , musíme začít s modelem poskytujícím společné rozdělení pravděpodobnosti pro a y . To lze zapsat jako produkt dvou distribucí, které se často označují jako předchozí distribuce a distribuce vzorkování : ${\ displaystyle \ theta _ {j}}$${\ displaystyle \ theta _ {j}}$${\ displaystyle P (\ theta)}$ ${\ displaystyle P (y \ mid \ theta)}$

${\ displaystyle P (\ theta, y) = P (\ theta) P (y \ mid \ theta)}$

Použitím základní vlastnosti podmíněné pravděpodobnosti získá zadní rozdělení:

${\ displaystyle P (\ theta \ mid y) = {\ frac {P (\ theta, y)} {P (y)}} = {\ frac {P (y \ mid \ theta) P (\ theta)} {P (y)}}}$

Tato rovnice, ukazující vztah mezi podmíněnou pravděpodobností a jednotlivými událostmi, je známá jako Bayesova věta. Tento jednoduchý výraz zapouzdřuje technické jádro Bayesiánského závěru, jehož cílem je začlenit aktualizovanou víru vhodnými a řešitelnými způsoby. ${\ displaystyle P (\ theta \ mid y)}$

Vyměnitelnost

Obvyklým výchozím bodem statistické analýzy je předpoklad, že hodnoty n jsou zaměnitelné. Pokud nejsou k dispozici žádné informace - jiné než data y - k odlišení kteréhokoli z ostatních od ostatních a nelze provést žádné řazení nebo seskupení parametrů, je třeba předpokládat symetrii mezi parametry v jejich předchozí distribuci. Tato symetrie je pravděpodobně reprezentována směnitelností. Obecně je užitečné a vhodné modelovat data z vyměnitelné distribuce jako nezávisle a identicky distribuovaná , vzhledem k neznámému vektoru parametrů , s distribucí . ${\ displaystyle y_ {1}, y_ {2}, \ ldots, y_ {n}}$${\ displaystyle \ theta _ {j}}$${\ displaystyle \ theta}$${\ displaystyle P (\ theta)}$

Konečná zaměnitelnost

Pro pevné číslo n je sada zaměnitelná, pokud je pravděpodobnost kloubu neměnná pod permutacemi indexů. To znamená, že pro každou obměnu nebo (1, 2, ..., n ),${\ displaystyle y_ {1}, y_ {2}, \ ldots, y_ {n}}$${\ displaystyle P (y_ {1}, y_ {2}, \ ldots, y_ {n})}$${\ displaystyle \ pi}$${\ displaystyle (\ pi _ {1}, \ pi _ {2}, \ ldots, \ pi _ {n})}$${\ displaystyle P (y_ {1}, y_ {2}, \ ldots, y_ {n}) = P (y _ {\ pi _ {1}}, y _ {\ pi _ {2}}, \ ldots, y_ {\ pi _ {n}}).}$

Následuje vyměnitelný, ale ne nezávislý a identický příklad (iid): Vezměme si urnu s červenou koulí a modrou koulí uvnitř, s pravděpodobností tažení. Míče se losují bez výměny, tj. Poté, co je jeden míč vylosován z n míčků, zbude n  - 1 zbývajících míčů pro další losování. ${\ displaystyle {\ frac {1} {2}}}$

${\ displaystyle {\ text {Let}} Y_ {i} = {\ begin {cases} 1, & {\ text {if the}} i {\ text {th ball is red}}, \\ 0, & { \ text {jinak}}. \ end {případy}}}$

Protože pravděpodobnost výběru červené koule v první remíze a modré koule ve druhé remíze se rovná pravděpodobnosti výběru modré koule v první remíze a červené barvy ve druhé remíze, obě jsou rovny 1 / 2 (tj. ), Poté a jsou zaměnitelné. ${\ displaystyle [P (y_ {1} = 1, y_ {2} = 0) = P (y_ {1} = 0, y_ {2} = 1) = {\ frac {1} {2}}]}$${\ displaystyle y_ {1}}$${\ displaystyle y_ {2}}$

Pravděpodobnost výběru červeného míče při druhém losování je však vzhledem k tomu, že červený míček již byl vybrán v prvním losování, 0 a nerovná se pravděpodobnosti, že je při druhém losování vybrán červený míček, který se rovná 1 / 2 (tj. ). Tedy a nejsou nezávislé. ${\ displaystyle [P (y_ {2} = 1 \ střední y_ {1} = 1) = 0 \ neq P (y_ {2} = 1) = {\ frac {1} {2}}]}$${\ displaystyle y_ {1}}$${\ displaystyle y_ {2}}$

Pokud jsou nezávislé a identicky distribuované, pak jsou vyměnitelné, ale obrácení nemusí být nutně pravdivé. ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$

Nekonečná zaměnitelnost

Nekonečná vyměnitelnost je vlastnost, že každá konečná podmnožina nekonečné sekvence , je vyměnitelný. To znamená, že pro libovolné n je posloupnost zaměnitelná. ${\ displaystyle y_ {1}}$${\ displaystyle y_ {2}, \ ldots}$${\ displaystyle y_ {1}, y_ {2}, \ ldots, y_ {n}}$

Hierarchické modely

Součásti

Bayesovské hierarchické modelování využívá při odvozování zadního rozdělení dva důležité pojmy, a to:

1. Hyperparametry : parametry předchozí distribuce
2. Hyperpriors : distribuce Hyperparameters

Předpokládejme, že náhodná veličina Y následuje normální rozdělení s parametrem t Vstup jako střední a 1 jako rozptylu , který je . Vlnovky vztah lze číst jako „má rozložení“ nebo „je distribuován jako“. Předpokládejme také, že parametr má rozdělení dané normálním rozdělením se střední hodnotou a rozptylem 1, tj . Dále následuje další distribuci daného, například tím, že na standardní normální rozdělení , . Parametr se nazývá hyperparametr, zatímco jeho distribuce daná je příkladem hyperpriorské distribuce. Jak se přidává další parametr, zápis distribuce Y se mění, tzn . Pokud existuje další fáze, řekněme, následuje další normální rozdělení s průměrem a rozptylem , významem , a lze je také nazvat hyperparametry, zatímco jejich distribuce jsou také hyperpriorními distribucemi. ${\ displaystyle Y \ mid \ theta \ sim N (\ theta, 1)}$${\ displaystyle \ sim}$${\ displaystyle \ theta}$${\ displaystyle \ mu}$${\ displaystyle \ theta \ mid \ mu \ sim N (\ mu, 1)}$${\ displaystyle \ mu}$${\ displaystyle {\ text {N}} (0,1)}$${\ displaystyle \ mu}$${\ displaystyle {\ text {N}} (0,1)}$${\ displaystyle Y \ mid \ theta, \ mu \ sim N (\ theta, 1)}$${\ displaystyle \ mu}$${\ displaystyle \ beta}$${\ displaystyle \ epsilon}$${\ displaystyle \ mu \ sim N (\ beta, \ epsilon)}$${\ displaystyle {\ mbox {}}}$${\ displaystyle \ beta}$${\ displaystyle \ epsilon}$

Rámec

Dovolme být pozorováním a parametrem, který řídí proces generování dat pro . Předpokládejme dále, že parametry jsou generovány vyměnitelně ze společné populace s distribucí řízenou hyperparametrem . Bayesovský hierarchický model obsahuje následující fáze: ${\ displaystyle y_ {j}}$${\ displaystyle \ theta _ {j}}$${\ displaystyle y_ {j}}$${\ displaystyle \ theta _ {1}, \ theta _ {2}, \ ldots, \ theta _ {j}}$${\ displaystyle \ phi}$

${\ displaystyle {\ text {Fáze I:}} y_ {j} \ mid \ theta _ {j}, \ phi \ sim P (y_ {j} \ mid \ theta _ {j}, \ phi)}$

${\ displaystyle {\ text {Fáze II:}} \ theta _ {j} \ mid \ phi \ sim P (\ theta _ {j} \ mid \ phi)}$

${\ displaystyle {\ text {Fáze III:}} \ phi \ sim P (\ phi)}$

Pravděpodobnost, jak je patrné v první fázi, je s jejím předchozím rozdělením. Všimněte si, že pravděpodobnost závisí pouze na . ${\ displaystyle P (y_ {j} \ mid \ theta _ {j}, \ phi)}$${\ displaystyle P (\ theta _ {j}, \ phi)}$${\ displaystyle \ phi}$${\ displaystyle \ theta _ {j}}$

Předchozí distribuci z fáze I lze rozdělit na:

${\ displaystyle P (\ theta _ {j}, \ phi) = P (\ theta _ {j} \ střední \ phi) P (\ phi)}$ [z definice podmíněné pravděpodobnosti]

Se jako jeho hyperparameter s hyperprior distribuce . ${\ displaystyle \ phi}$${\ displaystyle P (\ phi)}$

Zadní rozdělení je tedy úměrné:

${\ Displaystyle P (\ phi, \ theta _ {j} \ mid y) \ propto P (y_ {j} \ mid \ theta _ {j}, \ phi) P (\ theta _ {j}, \ phi) }$ [pomocí Bayesovy věty]

${\ displaystyle P (\ phi, \ theta _ {j} \ mid y) \ propto P (y_ {j} \ mid \ theta _ {j}) P (\ theta _ {j} \ mid \ phi) P ( \ phi)}$

Příklad

Pro další ilustraci to zvažte příklad: Učitel chce odhadnout, jak dobře si student vedl na SAT . Učitel používá informace o známkách středních škol studenta a současném průměru známek (GPA) k vypracování odhadu. Současná GPA studenta, označená jako , má pravděpodobnost danou nějakou pravděpodobnostní funkcí s parametrem , tj . Tento parametr je SAT skóre studenta. Na skóre SAT se pohlíží jako na vzorek pocházející z běžné distribuce populace indexovaný jiným parametrem , kterým je střední škola studenta (nováček, druhák, junior nebo senior). To znamená, že . Hyperparameter navíc sleduje svou vlastní distribuci danou hyperpriorem. Chcete-li vyřešit informace o SAT skóre dané informace o GPA, ${\ displaystyle Y}$${\ displaystyle \ theta}$${\ displaystyle Y \ mid \ theta \ sim P (Y \ mid \ theta)}$${\ displaystyle \ theta}$${\ displaystyle \ phi}$${\ Displaystyle \ theta \ mid \ phi \ sim P (\ theta \ mid \ phi)}$${\ displaystyle \ phi}$${\ displaystyle P (\ phi)}$

${\ Displaystyle P (\ theta, \ phi \ mid Y) \ propto P (Y \ mid \ theta, \ phi) P (\ theta, \ phi)}$

${\ Displaystyle P (\ theta, \ phi \ mid Y) \ propto P (Y \ mid \ theta) P (\ theta \ mid \ phi) P (\ phi)}$

Všechny informace v úloze budou použity k řešení zadní distribuce. Místo řešení pouze pomocí předchozí distribuce a funkce pravděpodobnosti poskytuje použití hyperpriorů více informací k přesnějšímu přesvědčení o chování parametru.

2stupňový hierarchický model

Obecně platí, že společná zadní distribuce zájmu ve dvoustupňových hierarchických modelech je:

${\ Displaystyle P (\ theta, \ phi \ mid Y) = {P (Y \ mid \ theta, \ phi) P (\ theta, \ phi) \ nad P (Y)} = {P (Y \ mid \ theta) P (\ theta \ mid \ phi) P (\ phi) \ nad P (Y)}}$

${\ Displaystyle P (\ theta, \ phi \ mid Y) \ propto P (Y \ mid \ theta) P (\ theta \ mid \ phi) P (\ phi)}$

3stupňový hierarchický model

U třístupňových hierarchických modelů je zadní rozdělení dáno vztahem:

${\ Displaystyle P (\ theta, \ phi, X \ mid Y) = {P (Y \ mid \ theta) P (\ theta \ mid \ phi) P (\ phi \ mid X) P (X) \ nad P (Y)}}$

${\ Displaystyle P (\ theta, \ phi, X \ mid Y) \ propto P (Y \ mid \ theta) P (\ theta \ mid \ phi) P (\ phi \ mid X) P (X)}$

Reference