Pravidlo přípustného rozhodnutí - Admissible decision rule

Ve statistické teorie rozhodování , An pravidlo přípustné rozhodnutí je pravidlo pro rozhodování tak, že neexistuje žádná jiná pravidla, která je vždy „lepší“ než to (nebo alespoň někdy lepší a nikdy horší), v přesném smyslu „lepší“ definováno níže. Tento koncept je analogický s Paretovou účinností .

Definice

Definovat sady , a tam, kde jsou stavy přírody, případné připomínky a opatření, která mohou být přijata. Pozorování je distribuováno tak, a proto poskytuje důkaz o stavu přírody . Rozhodovací pravidlo je funkce , kdy při pozorování , jsme se rozhodli jednat . ${\ displaystyle \ Theta \,}$ ${\ displaystyle {\ mathcal {X}}}$ ${\ displaystyle {\ mathcal {A}}}$ ${\ displaystyle \ Theta \,}$ ${\ displaystyle {\ mathcal {X}}}$ ${\ displaystyle {\ mathcal {A}}}$ ${\ Displaystyle x \ v {\ mathcal {X}} \, \!}$ ${\ Displaystyle F (x \ mid \ theta) \, \!}$ ${\ displaystyle \ theta \ in \ Theta \, \!}$ ${\ Displaystyle \ delta: {\ mathcal {X}} \ rightarrow {\ mathcal {A}}}$ ${\ displaystyle x \ v {\ mathcal {X}}}$ ${\ Displaystyle \ delta (x) \ in {\ mathcal {A}} \, \!}$

Rovněž definujte ztrátovou funkci , která určuje ztrátu, kterou bychom utrpěli přijetím opatření, pokud je skutečný stav přírody . Obvykle tuto akci provedeme po pozorování dat , takže ztráta bude . (Je možné, i když je nekonvenční, přepracovat následující definice, pokud jde o užitnou funkci , což je záporná část ztráty.) ${\ Displaystyle L: \ Theta \ times {\ mathcal {A}} \ rightarrow \ mathbb {R}}$ ${\ displaystyle a \ v {\ mathcal {A}}}$ ${\ displaystyle \ theta \ in \ Theta}$ ${\ displaystyle x \ v {\ mathcal {X}}}$ ${\ Displaystyle L (\ theta, \ delta (x)) \, \!}$

Definujte funkci rizika jako očekávání

{\ Displaystyle R (\ theta, \ delta) = \ operatorname {E} _ {F (x \ mid \ theta)} [{L (\ theta, \ delta (x))]}. \, \!}

Zda má rozhodovací pravidlo nízké riziko, závisí na skutečném stavu přírody . Rozhodovací pravidlo dominuje rozhodovacímu pravidlu právě tehdy, když pro všechny , a pro některé je nerovnost přísná . ${\ displaystyle \ delta \, \!}$ ${\ displaystyle \ theta \, \!}$ ${\ Displaystyle \ delta ^{*} \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle R (\ theta, \ delta ^{*}) \ leq R (\ theta, \ delta)}$ ${\ displaystyle \ theta \, \!}$ ${\ displaystyle \ theta \, \!}$

Rozhodovací pravidlo je přípustné (s ohledem na ztrátovou funkci) pouze tehdy, pokud v něm dominuje jiné pravidlo; jinak je to nepřípustné . Pravidlo přípustného rozhodnutí je tedy maximálním prvkem s ohledem na výše uvedené dílčí pořadí. Nepřípustné pravidlo není upřednostňováno (s výjimkou důvodů jednoduchosti nebo výpočetní efektivity), protože podle definice existuje nějaké jiné pravidlo, které dosáhne stejného nebo nižšího rizika pro všechny . Ale to, že je pravidlo přípustné, neznamená, že je dobré ho použít. Být přípustný znamená, že neexistuje žádné jiné jediné pravidlo, které by bylo vždy stejně dobré nebo lepší - ale jiná přípustná pravidla mohou u většiny, která se v praxi vyskytují, dosáhnout nižšího rizika . (Bayesovo riziko diskutované níže je způsob, jak výslovně zvážit, které se v praxi vyskytují.) ${\ displaystyle \ theta \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ displaystyle \ theta \, \!}$ ${\ displaystyle \ theta \, \!}$

Bayesova pravidla a zobecněná Bayesova pravidla

Bayesova pravidla

Nechť je rozdělení pravděpodobnosti na přírodní stavy. Z bayesovského hlediska bychom to považovali za předchozí distribuci . To znamená, že je to naše předpokládané rozdělení pravděpodobnosti na stavy přírody před pozorováním dat. Pro frekventisty je to pouze funkce bez takové zvláštní interpretace. Bayes riziko právního rozhodnutí s ohledem na je očekávání ${\ displaystyle \ pi (\ theta) \, \!}$ ${\ displaystyle \ Theta \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ displaystyle \ pi (\ theta) \, \!}$

{\ Displaystyle r (\ pi, \ delta) = \ operatorname {E} _ {\ pi (\ theta)} [R (\ theta, \ delta)]. \, \!}

Rozhodovací pravidlo, které minimalizuje, se nazývá Bayesovo pravidlo s ohledem na . Takových Bayesových pravidel může být více než jedno. Pokud je Bayesovo riziko nekonečné pro všechny , pak není definováno žádné Bayesovo pravidlo. ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle r (\ pi, \ delta) \, \!}$ ${\ displaystyle \ pi (\ theta) \, \!}$ ${\ displaystyle \ delta \, \!}$

Obecná Bayesova pravidla

V Bayesovském přístupu k teorii rozhodování je pozorované považováno za pevné . Zatímco častý přístup (tj. Riziko) průměruje nad možnými vzorky , Bayesian by opravil pozorovaný vzorek a průměr nad hypotézami . To znamená, že Bayesian přístup je vzít v úvahu pro naše pozorované na očekávané ztráty ${\ displaystyle x \, \!}$ ${\ Displaystyle x \ v {\ mathcal {X}} \, \!}$ ${\ displaystyle x \, \!}$ ${\ displaystyle \ theta \ in \ Theta \, \!}$ ${\ displaystyle x \, \!}$

{\ Displaystyle \ rho (\ pi, \ delta \ mid x) = \ operatorname {E} _ {\ pi (\ theta \ mid x)} [L (\ theta, \ delta (x))]. \, \ !}

kde očekává se, nad zadní z dána (získaný z a za použití Bayesova teorém ). ${\ displaystyle \ theta \, \!}$ ${\ displaystyle x \, \!}$ ${\ displaystyle \ pi (\ theta) \, \!}$ ${\ Displaystyle F (x \ mid \ theta) \, \!}$

Poté, co jsme výslovně uvedli očekávanou ztrátu pro každou uvedenou samostatně, můžeme definovat rozhodovací pravidlo tím, že pro každou z nich zadáme akci, která minimalizuje očekávanou ztrátu. Toto je známé jako zobecněné Bayesovo pravidlo s ohledem na . Může existovat více než jedno zobecněné Bayesovo pravidlo, protože může existovat více možností , jak dosáhnout stejné očekávané ztráty. ${\ displaystyle x \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ displaystyle x \, \!}$ ${\ Displaystyle \ delta (x) \, \!}$ ${\ displaystyle \ pi (\ theta) \, \!}$ ${\ Displaystyle \ delta (x) \, \!}$

Zpočátku to může vypadat dost odlišně od přístupu Bayesova pravidla z předchozí části, nikoli zobecnění. Všimněte si však, že Bayesovo riziko se již průměruje Bayesovským způsobem a Bayesovo riziko může být získáno zpět jako očekávání očekávané ztráty (kde a ). Zhruba řečeno, minimalizuje toto očekávání očekávané ztráty (tj. Je Bayesovým pravidlem) právě tehdy, když minimalizuje očekávanou ztrátu pro každého zvlášť (tj. Je generalizovaným Bayesovým pravidlem). ${\ displaystyle \ Theta \, \!}$ ${\ displaystyle {\ mathcal {X}}}$ ${\ displaystyle x \ sim \ theta \, \!}$ ${\ Displaystyle \ theta \ sim \ pi \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ displaystyle x \ v {\ mathcal {X}}}$

Proč je tedy pojem zobecněného Bayesova pravidla zlepšením? Je to skutečně ekvivalentní pojmu Bayesova pravidla, když Bayesovo pravidlo existuje a všechny mají kladnou pravděpodobnost. Pokud je však Bayesovo riziko nekonečné (pro všechny ) , neexistuje žádné Bayesovo pravidlo . V tomto případě je stále užitečné definovat zobecněné Bayesovo pravidlo , které alespoň volí akci minimální očekávané ztráty pro ty, pro které existuje akce konečná očekávaná ztráta. Kromě toho může být žádoucí zobecněné Bayesovo pravidlo, protože musí pro každého zvolit akci s minimální očekávanou ztrátou , zatímco Bayesovo pravidlo by se mohlo odchýlit od této politiky na souboru opatření 0, aniž by ovlivnilo Bayesovo riziko. ${\ displaystyle x \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ displaystyle \ delta \, \!}$ ${\ Displaystyle \ delta (x) \! \,}$ ${\ displaystyle x \, \!}$ ${\ Displaystyle \ delta (x) \, \!}$ ${\ displaystyle x \, \!}$ ${\ displaystyle X \ subseteq {\ mathcal {X}}}$

Ještě důležitější je, že je někdy vhodné použít nevhodný předchozí . V tomto případě není Bayesovo riziko ani dobře definováno, ani neexistuje žádné dobře definované rozdělení . Zadní- a tedy očekávaná ztráta-však může být pro každého dobře definována , takže je stále možné definovat zobecněné Bayesovo pravidlo. ${\ displaystyle \ pi (\ theta) \, \!}$ ${\ displaystyle x \, \!}$ ${\ Displaystyle \ pi (\ theta \ mid x) \, \!}$ ${\ displaystyle x \, \!}$

Přípustnost (zobecněných) Bayesových pravidel

Podle úplných třídních vět je za mírných podmínek každé přípustné pravidlo (zobecněné) Bayesovo pravidlo (s ohledem na nějaké předchozí - pravděpodobně nesprávné -, které upřednostňuje distribuce tam, kde toto pravidlo dosahuje nízkého rizika). V teorii častého rozhodování tedy stačí vzít v úvahu pouze (zobecněná) Bayesova pravidla. ${\ displaystyle \ pi (\ theta) \, \!}$ ${\ displaystyle \ theta \, \!}$

Naopak, zatímco Bayesova pravidla týkající se řádných priorit jsou prakticky vždy přípustná, generalizovaná Bayesova pravidla odpovídající nevhodným prioritám nemusí poskytovat přípustné postupy. Steinův příklad je jednou z takových slavných situací.

Příklady

James-Stein odhad je nelineární odhad střední hodnoty Gaussova náhodných vektorů, které lze prokázat, že dominují, nebo překonat, je běžnou nejmenších čtverců techniky s ohledem na funkci střední kvadratické ztrát chybě. Odhad nejmenších čtverců tedy není v tomto kontextu přípustným odhadovacím postupem. Některé další ze standardních odhadů spojených s normálním rozložením jsou také nepřípustné: například odhad vzorku rozptylu, když průměr populace a rozptyl nejsou známy.

Poznámky

Reference

Cox, DR; Hinkley, DV (1974). Teoretická statistika . Wiley. ISBN 0-412-12420-3.
Berger, James O. (1980). Statistická teorie rozhodnutí a Bayesova analýza (2. vyd.). Springer-Verlag. ISBN 0-387-96098-8.
DeGroot, Morris (2004) [1. hospoda. 1970]. Optimální statistická rozhodnutí . Wiley Classics Library. ISBN 0-471-68029-X.
Robert, Christian P. (1994). Bayesian Choice . Springer-Verlag. ISBN 3-540-94296-3.

Languages

In other projects