Efektivní odhad - Efficient estimator

Ve statistikách , An účinný odhadce je odhadce , který odhaduje množství zájmu v nějakém „nejlepším možným“ způsobem. Pojem „nejlepší možný“ se opírá o volbu konkrétní ztrátové funkce - funkce, která kvantifikuje relativní stupeň nežádoucího výskytu chyb v odhadu různých velikostí. Nejběžnější volba funkce ztráty je kvadratická , což má za následek kritérium střední kvadratické chyby optimality.

Účinnost konečných vzorků

Předpokládejme { P _θ | θ ∈ Θ } je parametrický model a X = ( X ₁ ,…, X _n ) jsou data vzorkovaná z tohoto modelu. Nechť T = T ( X ) je odhad parametru θ . Pokud je tento odhad nestranný (tj. E [  T  ] = θ ), potom nerovnost Cramér – Rao uvádí, že rozptyl tohoto odhadu je omezen zespodu:

${\ displaystyle \ operatorname {Var} [\, T \,] \ \ geq \ {\ mathcal {I}} _ {\ theta} ^ {- 1},}$

kde je Fisherova informační matice modelu v bodě θ . Obecně variance měří stupeň rozptylu náhodné proměnné kolem jejího průměru. Odhady s malými odchylkami jsou tedy koncentrovanější, přesněji odhadují parametry. Říkáme, že odhad je efektivním odhadcem konečných vzorků (ve třídě nestranných odhadů), pokud dosáhne spodní hranice výše uvedené nerovnosti Cramér – Rao pro všechny θ ∈ Θ . Efektivní odhady jsou vždy minimální odchylky nezaujaté odhady . Konverzace je však nepravdivá: Existují problémy s odhadem bodů, pro které je průměrný objektivní odhad minimální variance neefektivní.${\ displaystyle \ scriptstyle {\ mathcal {I}} _ {\ theta}}$

Historicky byla účinnost konečných vzorků časným kritériem optimality. Toto kritérium má však určitá omezení:

• Efektivní odhady konečných vzorků jsou extrémně vzácné. Ve skutečnosti se ukázalo, že efektivní odhad je možný pouze v exponenciální rodině a pouze pro přirozené parametry této rodiny.
• Tento pojem účinnosti je někdy omezen na třídu nestranných odhadů. (Často tomu tak není.) Protože neexistují žádné dobré teoretické důvody, které by vyžadovaly, aby byly odhady nestranné, je toto omezení nepohodlné. Ve skutečnosti, pokud jako kritérium výběru použijeme střední kvadratickou chybu , mnoho zkreslených odhadů mírně překoná ty „nejlepší“ nezaujaté. Například ve statistice s více proměnnými pro dimenzi tři nebo více je průměrný objektivní odhad, průměr vzorku , nepřípustný : Bez ohledu na výsledek je jeho výkon horší než například odhad James-Stein .
• Účinnost konečných vzorků je založena na rozptylu jako kritériu, podle něhož se odhadují odhady. Obecnějším přístupem je použití jiných ztrátových funkcí než kvadratických, v takovém případě už nelze formulovat účinnost konečných vzorků.

Příklad

Mezi modely se vyskytují v praxi, existují účinné odhady pro: průměrná μ z normální distribuce (ale ne rozptyl å ² ), parametr λ z Poissonova rozdělení , pravděpodobnost p v binomické nebo multinomiálního distribuci .

Uvažujme model normálního rozdělení s neznámým průměrem, ale známým rozptylem: { P _θ = N ( θ , σ ² ) | θ ∈ R }. Data se skládají z n nezávislých a identicky rozložených pozorování z tohoto modelu: X = ( x ₁ ,…, x _n ) . Odhadujeme parametr θ pomocí průměrné hodnoty vzorků ze všech pozorování:

${\ displaystyle T (X) = {\ frac {1} {n}} \ součet _ {i = 1} ^ {n} x_ {i} \.}$

Tento odhad má průměr θ a rozptyl σ ²  /  n , který se rovná převrácené hodnotě Fisherovy informace ze vzorku. Průměr vzorku je tedy efektivní odhad konečného vzorku pro průměr normálního rozdělení.

Relativní účinnost

Pokud a jsou odhady parametru , pak se říká, že dominuje, pokud: ${\ displaystyle T_ {1}}$${\ displaystyle T_ {2}}$${\ displaystyle \ theta}$${\ displaystyle T_ {1}}$ ${\ displaystyle T_ {2}}$

1. jeho střední kvadratická chyba (MSE) je menší alespoň pro nějakou hodnotu${\ displaystyle \ theta}$
2. MSE nepřekračuje MSE pro žádnou hodnotu θ.${\ displaystyle T_ {2}}$

Formálně dominuje, pokud ${\ displaystyle T_ {1}}$${\ displaystyle T_ {2}}$

${\ displaystyle \ mathrm {E} \ left [(T_ {1} - \ theta) ^ {2} \ right] \ leq \ mathrm {E} \ left [(T_ {2} - \ theta) ^ {2} \že jo]}$

platí pro všechny , s přísnou nerovností, která někde drží. ${\ displaystyle \ theta}$

Relativní účinnost je definována jako

${\ displaystyle e (T_ {1}, T_ {2}) = {\ frac {\ mathrm {E} \ left [(T_ {2} - \ theta) ^ {2} \ right]} {\ mathrm {E } \ left [(T_ {1} - \ theta) ^ {2} \ right]}}}$

Ačkoli je obecně funkcí , v mnoha případech závislost odpadá; pokud je to tak, větší než jeden by naznačoval, že je to lepší, bez ohledu na skutečnou hodnotu . ${\ displaystyle e}$${\ displaystyle \ theta}$${\ displaystyle e}$${\ displaystyle T_ {1}}$${\ displaystyle \ theta}$

Asymptotická účinnost

U některých odhadů mohou dosáhnout účinnosti asymptoticky, a proto se jim říká asymptoticky efektivní odhady. To může být případ některých odhadů maximální pravděpodobnosti nebo jakýchkoli odhadů, které dosáhnou rovnosti Cramér-Rao vázaných asymptoticky.

Viz také

• Bayesův odhad
• Konzistentní odhad
• Hodgesův odhad

Poznámky

Reference

Další čtení

• Lehmann, EL ; Casella, G. (1998). Teorie odhadu bodu (2. vyd.). Springer. ISBN  0-387-98502-6 .
• Pfanzagl, Johann ; s pomocí R. Hambökera (1994). Parametrická statistická teorie . Berlín: Walter de Gruyter. ISBN  3-11-013863-8 . MR  1291393 .