Normální distribuce - Normal distribution

Normální distribuce
Funkce hustoty pravděpodobnosti
Normální distribuce PDF.svg
Červená křivka je standardní normální rozdělení
Kumulativní distribuční funkce
Normální distribuce CDF.svg
Zápis
Parametry = průměr ( umístění ) = rozptyl (čtvercová stupnice )
Podpěra, podpora
PDF
CDF
Kvantil
Znamenat
Medián
Režim
Variance
ŠÍLENÝ
Šikma
Př. kurtóza
Entropie
MGF
CF
Informace Fishera

Divergence Kullback-Leibler

V teorii pravděpodobnosti je normální (nebo Gaussovo nebo Gaussovo nebo Laplaceovo-Gaussovo ) rozdělení typem spojitého rozdělení pravděpodobnosti pro náhodně proměnnou s reálnou hodnotou . Obecná forma jeho funkce hustoty pravděpodobnosti je

Parametr je průměr nebo očekávání rozdělení (a také jeho medián a režim ), zatímco parametr je jeho standardní odchylka . Odchylka distribuce je . Náhodná veličina s Gaussovým rozložením je údajně normálně distribuovaná a nazývá se normální odchylka .

Normální distribuce jsou ve statistikách důležité a často se používají v přírodních a sociálních vědách k reprezentaci skutečných hodnot náhodných proměnných, jejichž distribuce není známa. Jejich význam je částečně dán centrální limitní větou . Uvádí, že za určitých podmínek je průměr mnoha vzorků (pozorování) náhodné veličiny s konečným průměrem a rozptylem sám náhodnou veličinou - jejíž rozdělení konverguje k normálnímu rozdělení, jak se počet vzorků zvyšuje. Proto mají fyzikální veličiny, u nichž se očekává součet mnoha nezávislých procesů, jako jsou chyby měření , často distribuce, které jsou téměř normální.

Gaussovské distribuce mají navíc některé jedinečné vlastnosti, které jsou cenné v analytických studiích. Například jakákoli lineární kombinace pevné kolekce normálních odchylek je normální odchylka. Mnoho výsledků a metod, jako je šíření nejistoty a přizpůsobení parametru nejmenších čtverců , lze odvodit analyticky v explicitní formě, když jsou relevantní proměnné normálně distribuovány.

Normální rozdělení se někdy neformálně nazývá zvonová křivka . Mnoho dalších distribucí je však ve tvaru zvonu (například Cauchy , Student's t a logistické distribuce).

Definice

Standardní normální distribuce

Nejjednodušší případ normálního rozdělení je známý jako standardní normální rozdělení nebo jednotkové normální rozdělení . Toto je speciální případ, kdy a je popsán touto funkcí hustoty pravděpodobnosti :

Zde faktor zajišťuje, že celková plocha pod křivkou se rovná jedné. Faktor v exponentu zajišťuje, že distribuce má jednotkový rozptyl (tj. Rozptyl je roven jedné), a tedy i standardní směrodatnou odchylku. Tato funkce je symetrická kolem , kde dosahuje své maximální hodnoty a má inflexní body v a .

Autoři se liší v tom, která normální distribuce by měla být nazývána „standardní“. Například Carl Friedrich Gauss definoval standardní normál jako rozptyl . To je:

Na druhou stranu Stephen Stigler jde ještě dále a definuje standardní normál jako rozptyl :

Obecná normální distribuce

Každé normální rozdělení je verzí standardního normálního rozdělení, jehož doména byla prodloužena o faktor (standardní odchylka) a poté přeložena (střední hodnotou):

Hustota pravděpodobnosti musí být zmenšena tak, aby integrál byl stále 1.

Pokud je standardní normální odchylka , pak bude mít normální rozdělení s očekávanou hodnotou a standardní odchylkou . To je ekvivalentní tvrzení, že „standardní“ normální rozdělení může být zvětšeno/prodlouženo o faktor a posunuto o, aby se získalo jiné normální rozdělení, tzv . Naopak, pokud se jedná o normální odchylku s parametry a , pak lze toto rozdělení znovu změnit na měřítko a posunout pomocí vzorce, aby bylo převedeno na „standardní“ normální rozdělení. Tento variant se také nazývá standardizovaná forma .

Zápis

Hustota pravděpodobnosti standardního Gaussova rozdělení (standardní normální rozdělení, s nulovým průměrem a jednotkovým rozptylem) je často označována řeckým písmenem ( phi ). Poměrně často se také používá alternativní forma řeckého písmene phi,.

Normální rozdělení je často označováno jako nebo . Když je tedy náhodná proměnná normálně distribuována se střední a standardní odchylkou , lze psát

Alternativní parametrizace

Někteří autoři obhajují použití přesnosti jako parametru definujícího šířku distribuce namísto odchylky nebo rozptylu . Přesnost je obvykle definována jako převrácená hodnota rozptylu . Vzorec pro distribuci se pak stane

O této volbě se tvrdí, že má výhody v numerických výpočtech, když je velmi blízko nule, a v některých kontextech zjednodušuje vzorce, například v Bayesově odvozování proměnných s normálním rozdělením s více proměnnými .

Alternativně může být převrácená hodnota standardní odchylky definována jako přesnost , v takovém případě se výraz normálního rozdělení stane

Podle Stiglera je tato formulace výhodná díky mnohem jednoduššímu a snadněji zapamatovatelnému vzorci a jednoduchým přibližným vzorcům pro kvantily distribuce.

Normální rozdělení tvoří exponenciální rodinu s přírodními parametry a , a přírodní statistiky x a x 2 . Parametry dvojího očekávání pro normální rozdělení jsou η 1 = μ a η 2 = μ 2 + σ 2 .

Kumulativní distribuční funkce

Kumulativní distribuční funkce (CDF), standardní normální rozdělení, obvykle označený s hlavním řeckým písmenem ( ) je integrální

Funkce související chyby udává pravděpodobnost, že náhodná veličina spadne do rozsahu s normálním rozložením průměru 0 a rozptylu 1/2 . To je:

Tyto integrály nelze vyjádřit pomocí elementárních funkcí a často se o nich říká, že jsou speciální funkce . Je však známo mnoho numerických aproximací; více viz níže .

Tyto dvě funkce spolu úzce souvisí, a sice

Pro generické normální rozdělení s hustotou , průměrem a odchylkou je kumulativní distribuční funkce

Doplněk standardního normálního CDF, je často nazýván funkcí Q , zejména v technických textech. To dává pravděpodobnost, že hodnota normovaného normálního rozdělení náhodné veličiny bude přesahovat : . Jiné definice -funkce, z nichž všechny jsou jednoduchými transformacemi , jsou také občas použity.

Graf standardní normální CDF má 2-násobné rotační symetrii kolem bodu (0,1 / 2); to je , . Jeho primitivní (neurčitý integrál) lze vyjádřit následovně:

CDF standardní normální distribuce lze rozšířit integrací po částech do řady:

kde označuje dvojitý faktoriál .

Asymptotická expanze CDF pro velké x mohou být rovněž odvozeny s použitím integrace po částech. Více viz Chybová funkce#Asymptotické rozšíření .

Rychlou aproximaci CDF standardní normální distribuce lze nalézt pomocí aproximace řady Taylor:

Standardní odchylka a pokrytí

Pro normální rozdělení představují hodnoty menší než jedna standardní odchylka od průměru 68,27% souboru; zatímco dvě standardní odchylky od průměru představují 95,45%; a tři standardní odchylky představují 99,73%.

Asi 68% hodnot čerpaných z normálního rozdělení je v rámci jedné standardní odchylky σ vzdálené od průměru; asi 95% hodnot leží ve dvou standardních odchylkách; a asi 99,7% je ve třech standardních odchylkách. Tato skutečnost je známá jako pravidlo 68-95-99,7 (empirické) nebo pravidlo 3-sigma .

Přesněji řečeno, pravděpodobnost, že se normálka odchyluje, leží v rozmezí mezi a je dána vztahem

Pro 12 platných čísel jsou hodnoty pro :

OEIS
1 0,682 689 492 137 0,317 310 507 863
3 .151 487 187 53
OEISA178647
2 0,954 499 736 104 0,045 500 263 896
21 0,977 894 5080
OEISA110894
3 0,997 300 203 937 0,002 699 796 063
370 .398 347 345
OEISA270712
4 0,999 936 657 516 0,000 063 342 484
15 787 .192 7673
5 0,999 999 426 697 0,000 000 573 303
1 744 277 .893 62
6 0,999 999 998 027 0,000 000 001 973
506 797 345 0,897

U velkých lze použít aproximaci .

Kvantilní funkce

Funkce kvantilu z distribuce je inverzní k distribuční funkci. Kvantilová funkce standardního normálního rozdělení se nazývá probitova funkce a lze ji vyjádřit pomocí funkce inverzní chyby :

Pro normální náhodnou proměnnou s průměrem a rozptylem je kvantilová funkce

Kvantil standardního normálního rozdělení je běžně označován jako . Tyto hodnoty jsou použity v testování hypotéz , konstrukce intervalů spolehlivosti a Q-Q pozemků . Normální náhodná proměnná s pravděpodobností překročí a bude ležet mimo interval s pravděpodobností . Zejména kvantil je 1,96 ; normální náhodná veličina proto bude ležet mimo interval pouze v 5% případů.

Následující tabulka uvádí kvantil , který bude ležet v rozsahu se zadanou pravděpodobností . Tyto hodnoty jsou užitečné pro stanovení intervalu tolerance pro vzorek průměrů a jiných statistických odhadů s normálními (nebo asymptoticky normální) distribucí. Všimněte si, že následující tabulka ukazuje , ne jak je definováno výše.

 
0,80 1,281 551 565 545 0,999 3,290 526 731 492
0,90 1,644 853 626 951 0,9999 3,890 591 886 413
0,95 1,959 963 984 540 0,99999 4,417 173 413 469
0,98 2,326 347 874 041 0,999999 4,891 638 475 699
0,99 2,575 829 303 549 0,9999999 5,326 723 886 384
0,995 2,807 033 768 344 0,99999999 5,730 728 868 236
0,998 3,090 232 306 168 0,999999999 6,109 410 204 869

Pro malé má kvantilní funkce užitečnou asymptotickou expanzi

Vlastnosti

Normální rozdělení je jediné rozdělení, jehož kumulanty za prvními dvěma (tj. Jiné než průměr a rozptyl ) jsou nulové. Je to také spojitá distribuce s maximální entropií pro zadaný průměr a rozptyl. Geary ukázal, za předpokladu, že průměr a rozptyl jsou konečné, že normální rozdělení je jediné rozdělení, kde průměr a rozptyl vypočítaný ze sady nezávislých tahů jsou na sobě nezávislé.

Normální rozdělení je podtřída eliptických rozdělení . Normální rozdělení je symetrické kolem svého průměru a je nenulové na celé reálné přímce. Jako takový nemusí být vhodným modelem pro proměnné, které jsou ze své podstaty pozitivní nebo silně zkreslené, jako je váha osoby nebo cena akcie . Takové proměnné mohou být lépe popsány jinými distribucemi, jako je log-normal distribution nebo Pareto distribution .

Hodnota normálního rozdělení je prakticky nulová, když hodnota leží více než několik standardních odchylek od průměru (např. Rozpětí tří standardních odchylek pokrývá všechny kromě 0,27% celkového rozdělení). Proto nemusí být vhodný model, když se očekává značný zlomek odlehlých hodnot - hodnoty, které leží mnoho standardních odchylek od průměru - a nejmenší čtverce a jiné statistické inferenční metody, které jsou optimální pro normálně distribuované proměnné, se při aplikaci často stanou vysoce nespolehlivými k takovým údajům. V těchto případech, více těžkých sledoval by se předpokládat, distribuce a vhodné robustní statistické indukce metod.

Gaussova distribuce patří do rodiny stabilních distribucí, které jsou atraktory součtů nezávislých, identicky distribuovaných distribucí bez ohledu na to, zda je průměr nebo rozptyl konečný. Kromě Gaussova, který je limitujícím případem, mají všechny stabilní distribuce těžké ocasy a nekonečné rozptyly. Je to jedna z mála distribucí, které jsou stabilní a které mají funkce hustoty pravděpodobnosti, které lze analyticky vyjádřit, ostatní jsou Cauchyho distribuce a Lévyho distribuce .

Symetrie a derivace

Normální rozdělení s hustotou (průměr a standardní odchylka ) má následující vlastnosti:

  • Je symetrický kolem bodu, který je současně režimem , mediánem a průměrem distribuce.
  • Je unimodální : jeho první derivace je kladná pro zápornou pro a nulová pouze v
  • Oblast ohraničená křivkou a -osou je jednota (tj. Rovná se jedné).
  • Jeho první derivát je
  • Jeho hustota má dva inflexní body (kde druhá derivace je nula a mění znaménko), umístěné o jednu standardní odchylku od průměru, konkrétně v a
  • Jeho hustota je log-konkávní .
  • Jeho hustota je nekonečně diferencovatelná , opravdu superhladká řádu 2.

Kromě toho má hustota standardní normální distribuce (tj. A ) také následující vlastnosti:

  • Jeho první derivát je
  • Jeho druhá derivace je
  • Obecněji řečeno, jeho n th derivát , kde je n th (pravděpodobnostních) Hermitův polynom .
  • Pravděpodobnost, že normálně distribuovaná proměnná se známou a je v konkrétní sadě, lze vypočítat pomocí skutečnosti, že zlomek má standardní normální rozdělení.

Okamžiky

Prosté a absolutní momenty proměnné jsou očekávané hodnoty a , v tomto pořadí. Pokud se očekává, že hodnota z je nula, tyto parametry se nazývají centrální okamžiky; jinak se tyto parametry nazývají necentrální momenty. Obvykle nás zajímají pouze momenty s celočíselným řádem .

Pokud má normální rozdělení, necentrální momenty existují a jsou konečné pro všechny, jejichž skutečná část je větší než −1. Pro jakékoli nezáporné celé číslo jsou prosté centrální momenty:

Zde označuje dvojitý faktoriál , tj. Součin všech čísel od do 1, které mají stejnou paritu jako

Centrální absolutní momenty se shodují s obyčejnými momenty pro všechny sudé objednávky, ale pro liché objednávky jsou nenulové. Pro jakékoli nezáporné celé číslo

Poslední vzorec platí také pro všechna necelá čísla. Pokud lze průměrný prostý a absolutní moment vyjádřit pomocí splývajících hypergeometrických funkcí a


Tyto výrazy zůstávají v platnosti, i když není celé číslo. Viz také zobecněné hermitské polynomy .

Objednat Necentrální moment Ústřední okamžik
1
2
3
4
5
6
7
8

Pokud je náhodná proměnná normálně rozdělena se střední a konečnou nenulovou odchylkou , pak pro očekávanou hodnotu reciproční pro absolutní hodnotu je

Očekávání podmíněné událostí, která leží v určitém intervalu, je dáno vztahem

kde a respektive jsou hustota a kumulativní distribuční funkce . Pro toto je známé jako inverzní poměr Mills . Všimněte si, že výše uvedené hustotě ze se používá místo standardní normální hustoty, zatímco v obráceném poměru Mills, takže zde máme místo .

Fourierova transformace a charakteristická funkce

Fourierova transformace normální hustoty se střední a standardní odchylka je

kde je imaginární jednotka . Je -li průměr , je prvním faktorem 1 a Fourierova transformace je, kromě konstantního faktoru, normální hustota ve frekvenční oblasti se střední hodnotou 0 a standardní odchylkou . Zejména standardní normální rozdělení je vlastní funkcí Fourierovy transformace.

V teorii pravděpodobnosti, Fourierova transformace rozdělení pravděpodobnosti skutečné hodnotami náhodné proměnné je úzce spojen s charakteristické funkce této proměnné, která je definována jako očekávaná hodnota z , jako funkce proměnné (na frekvenční parametr Fourierova transformace). Tuto definici lze analyticky rozšířit na proměnnou komplexní hodnoty . Vztah mezi oběma je:

Funkce generující moment a kumulant

Funkce generování okamžik skutečného náhodné veličiny je očekávaná hodnota , jako funkce skutečné parametru . Pro normální rozdělení s hustotou , průměrem a odchylkou existuje funkce generující moment, která se rovná

Funkce generující kumulant je logaritmem funkce generující moment, konkrétně

Protože se jedná o kvadratický polynom , jsou nenulové pouze první dva kumulanty , a to průměr  a rozptyl  .

Steinův operátor a třída

Uvnitř Steina způsobu operátor Stein a třída náhodné veličiny jsou a třídě všech absolutně spojitých funkcí .

Limit nulové rozptylu

V limitu, když má tendenci k nule, hustota pravděpodobnosti nakonec má tendenci k nule v kterémkoli , ale roste bez omezení, pokud , zatímco její integrál zůstává roven 1. Normální rozdělení proto nelze definovat jako běžnou funkci, když .

Lze však definovat normální rozdělení s nulovým rozptylem jako zobecněnou funkci ; konkrétně, jak je Diracova „delta funkce“ přeložena průměrem , tj. Jeho CDF je pak Heavisideova kroková funkce přeložená průměrem , jmenovitě

Maximální entropie

Ze všech rozdělení pravděpodobnosti na reálné hodnoty se specifikovaným průměrem a rozptylem  je normální rozdělení s maximální entropií . Pokud je spojitá náhodná proměnná s hustotou pravděpodobnosti , pak je entropie definována jako

kde je vždy chápán jako nula . Tuto funkci je možné maximalizovat, s výhradou omezení, že distribuce je správně normalizována a má specifikovanou odchylku, pomocí variačního počtu . Je definována funkce se dvěma Lagrangeovými multiplikátory :

kde je prozatím považována za funkci hustoty se střední a standardní odchylkou .

Při maximální entropie, malá změna o bude produkovat variantu o , která se rovná 0:

Protože to musí platit pro všechny malé , termín v závorkách musí být nulový a řešení pro výnosy:

Použití vazebných rovnic k vyřešení a získání hustoty normálního rozdělení:

Entropie normálního rozdělení je rovná

Další vlastnosti

  1. Pokud je charakteristická funkce nějaké náhodné proměnné ve formě , kde je polynom , pak Marcinkiewiczova věta (pojmenovaná podle Józefa Marcinkiewicze ) tvrdí, že může jít maximálně o kvadratický polynom, a je tedy normální náhodnou proměnnou. Důsledkem tohoto výsledku je, že normální rozdělení je jediné rozdělení s konečným počtem (dvou) nenulových kumulantů .
  2. Pokud a jsou společně normální a nekorelovaní , pak jsou nezávislí . Zásadní je požadavek, aby a měly by být společně normální; bez toho majetek nedrží. [důkaz] U normálních náhodných veličin nekorelace neznamená nezávislost.
  3. Kullback-Leibler divergence jednoho normálního rozdělení od jiného je dána vztahem:

    Hellinger vzdálenost mezi stejnými distribucí se rovná

  4. Fisher informace matrice pro normální rozdělení je diagonální a má podobu
  5. Konjugát před střední hodnoty normálního rozdělení je další normální rozdělení. Konkrétně, pokud jsou iid a prior je , pak pozdější rozdělení pro odhad bude bude
  6. Rodina normálních distribucí netvoří pouze exponenciální rodinu (EF), ale ve skutečnosti tvoří přirozenou exponenciální rodinu (NEF) s funkcí kvadratické variace ( NEF-QVF ). Mnoho vlastností normálních distribucí zobecňuje na vlastnosti distribucí NEF-QVF, distribucí NEF nebo EF distribucí obecně. Distribuce NEF-QVF zahrnuje 6 rodin, včetně Poissonovy, Gamma, binomické a negativní binomické distribuce, zatímco mnoho z běžných rodin studovaných v pravděpodobnosti a statistice je NEF nebo EF.
  7. V informační geometrii tvoří rodina normálních distribucí statistické potrubí s konstantním zakřivením . Stejná rodina je plochá s ohledem na (± 1) připojení ∇ a ∇ .

Související distribuce

Teorém centrálního limitu

Jak se počet diskrétních událostí zvyšuje, funkce začíná připomínat normální rozdělení
Porovnání funkcí hustoty pravděpodobnosti, aby součet spravedlivých šestistranných kostek ukázal jejich konvergenci k normálnímu rozdělení s rostoucím , v souladu s centrální limitní větou. V pravém dolním grafu jsou vyhlazené profily předchozích grafů změněny, překryty a porovnány s normální distribucí (černá křivka).

Věta o centrálním limitu uvádí, že za určitých (celkem běžných) podmínek bude mít součet mnoha náhodných proměnných přibližně normální rozdělení. Přesněji řečeno, kde jsou nezávislé a identicky distribuované náhodné proměnné se stejným libovolným rozdělením, nulovým průměrem a rozptylem a je jejich průměr škálován

Potom, jak se zvyšuje, rozdělení pravděpodobnosti bude mít tendenci k normálnímu rozdělení s nulovým průměrem a rozptylem .

Větu lze rozšířit na proměnné, které nejsou nezávislé a/nebo nejsou identicky distribuovány, pokud jsou na stupeň závislosti a momenty distribucí kladena určitá omezení.

Mnoho testovacích statistik , skóre a odhadů, s nimiž se v praxi setkáváme, obsahuje součty určitých náhodných proměnných a ještě více odhadů může být reprezentováno jako součty náhodných proměnných pomocí vlivových funkcí . Věta o centrálním limitu naznačuje, že tyto statistické parametry budou mít asymptoticky normální rozdělení.

Centrální limitní věta také naznačuje, že určitá rozdělení lze aproximovat normálním rozložením, například:

  • Binomická distribuce je přibližně kolmá na střední a rozptylu pro velké a ne příliš blízko k 0 nebo 1.
  • Poisson distribuce s parametrem je přibližně kolmá na střední a rozptylu , pro velké hodnoty .
  • Distribuci chi-čtvercový je přibližně kolmá na střední a rozptylu , pro velké .
  • Na studentovo rozdělení je přibližně kolmý se střední hodnotou 0 a rozptylem 1, když je velký.

Zda jsou tyto aproximace dostatečně přesné, závisí na účelu, pro který jsou potřeba, a na rychlosti konvergence k normálnímu rozdělení. Obvykle platí, že takové aproximace jsou v koncovkách distribuce méně přesné.

Obecná horní hranice pro chybu aproximace v centrální limitní větě je dána Berry -Esseenovou větou , vylepšení aproximace jsou dána expanzemi Edgeworth .

Tuto větu lze také použít k ospravedlnění modelování součtu mnoha stejnoměrných zdrojů hluku jako gaussovského šumu. Viz AWGN .

Operace a funkce normálních proměnných

a: Hustota pravděpodobnosti funkce normální proměnné pomocí a . b: hustota pravděpodobnosti funkce dvou normálních proměnných a , kde , , , , a . c: Heat mapa společného hustoty pravděpodobnosti dvou funkcí dvou korelovaných normálních proměnných a , kde , , , , a . d: Hustota pravděpodobnosti funkce 4 iid standardních normálních proměnných. Ty jsou počítány numerickou metodou ray-tracingu.

Hustota pravděpodobnosti , kumulativní distribuce , a inverzní kumulativní distribuce jakékoliv funkce jednoho nebo více nezávislých nebo korelovaných normálních proměnných může být počítáno s číselným metodou sledování paprsku ( Matlab kód ). V následujících částech se podíváme na některé speciální případy.

Operace na jedné normální proměnné

Pokud je distribuován normálně s průměrem a rozptylem , pak

  • , pro všechna reálná čísla a je také normálně distribuována se střední a standardní odchylkou . To znamená, že rodina normálních distribucí je uzavřena pod lineárními transformacemi.
  • Exponenciál je distribuován log-normálně : e X ~ ln ( N ( μ , σ 2 )) .
  • Absolutní hodnota je složený normální rozdělení : | X | ~ N f ( μ , σ 2 ) . Pokud je toto známé jako poloviční normální rozdělení .
  • Absolutní hodnota normalizovaných zbytků, | X - μ |/ σ , má rozdělení chi s jedním stupněm volnosti: | X - μ |/ σ ~ .
  • Čtverec X / σnecentrální rozdělení chí-kvadrát s jedním stupněm volnosti: X 2 / σ 2 ~ ( μ 2 / σ 2 ) . Pokud se distribuce nazývá jednoduše chi-kvadrát .
  • Pravděpodobnost logu normální proměnné je jednoduše logem její funkce hustoty pravděpodobnosti :

Protože se jedná o zmenšený a posunutý čtverec standardní normální proměnné, je distribuován jako škálovaná a posunutá chí-čtvercová proměnná.

Operace na dvou nezávislých normálních proměnných
  • Pokud a jsou dvě nezávislé normální náhodné proměnné, s prostředky , a standardní odchylky , pak jejich součet bude také normálně distribuované, [vodou] se střední hodnoty a rozptylu .
  • Zejména pokud a jsou nezávislé normální odchyluje se s nulovým průměrem a rozptylem , pak a jsou také nezávislé a normálně distribuované, s nulovým průměrem a rozptylem . Toto je zvláštní případ polarizační identity .
  • V případě , jsou dva nezávislé normální odchyluje se střední a odchylkou , a , jsou libovolná reálná čísla, potom se proměnná

je také normálně distribuován s průměrem a odchylkou . Z toho vyplývá, že normální rozdělení je stabilní (s exponentem ).

Operace na dvou nezávislých standardních normálních proměnných

Pokud a jsou dvě nezávislé standardní normální náhodné proměnné s průměrem 0 a rozptylem 1, pak

  • Jejich součet a rozdíl je distribuován obvykle s průměrem nula a odchylkou dva: .
  • Jejich produkt sleduje rozdělení produktu s funkcí hustoty, kde je upravená Besselova funkce druhého druhu . Toto rozdělení je symetrické kolem nuly, neomezené na a má charakteristickou funkci .
  • Jejich poměr se řídí standardním Cauchy distribuce : .
  • Jejich euklidovská norma má Rayleighovu distribuci .

Operace na více nezávislých normálních proměnných

  • Jakákoli lineární kombinace nezávislých normálních odchylek je normální odchylka.
  • Pokud jsou nezávislé standardní normální náhodné proměnné, pak součet jejich čtverců má rozdělení chí-kvadrát se stupni volnosti
  • V případě , jsou nezávislé normovaného normálního rozdělení náhodné proměnné, pak poměr jejich normalizovaných součtů čtverců bude mít F-rozdělení s ( n , m ) stupně volnosti:

Operace na více korelovaných normálních proměnných

  • Kvadratická forma normální vektoru, tj kvadratickou funkcí více nezávislých nebo korelované normální proměnné, je zobecněné chi-kvadrát variabilní.

Operace na funkci hustoty

Normální rozdělení dělená je nejvíce přímo definována z hlediska spojování zmenšen úseky funkcí hustoty různých normálního rozdělení a rescaling hustotu integrovat do jedné. Zkrácen normální distribuce vyplývá z rescaling úsek funkce jednoho hustoty.

Nekonečná dělitelnost a Cramérova věta

Pro jakékoli kladné celé číslo je normální rozdělení s průměrem a rozptylem rozdělení součtu nezávislých normálních odchylek , každé se středem a rozptylem . Tato vlastnost se nazývá nekonečná dělitelnost .

A naopak, pokud a jsou nezávislé náhodné veličiny a jejich součet má normální rozdělení, pak obě a musí být normální odchylky.

Tento výsledek je známý jako Cramérova věta o rozkladu a je ekvivalentní tvrzení, že konvoluce dvou distribucí je normální tehdy a jen tehdy, jsou -li obě normální. Cramérova věta naznačuje, že lineární kombinace nezávislých ne-gaussovských proměnných nikdy nebude mít přesně normální rozdělení, i když k němu může přistupovat libovolně blízko.

Bernsteinova věta

Bernsteinova věta říká, že pokud a jsou nezávislé a a jsou také nezávislé, pak X i Y musí mít nutně normální rozdělení.

Obecněji řečeno, pokud jsou nezávislé náhodné proměnné, pak dvě různé lineární kombinace a budou nezávislé tehdy a jen tehdy, pokud jsou všechny normální a kde označuje rozptyl .

Rozšíření

Pojem normální distribuce, který je jedním z nejdůležitějších rozdělení v teorii pravděpodobnosti, byl rozšířen daleko za standardní rámec univariátního (to je jednorozměrného) případu (Případ 1). Všechna tato rozšíření se také nazývají normální nebo Gaussovy zákony, takže určitá nejednoznačnost jmen existuje.

  • Vícerozměrné normální rozdělení popisuje Gaussova zákona v K -rozměrného euklidovském prostoru . Vektor XR k je vícerozměrně normálně distribuován, pokud existuje lineární kombinace jeho složek Σk
    j = 1
    a j X j
    má (jednorozměrné) normální rozdělení. Rozptyl X je k x k symetrická pozitivně definitní matice  V . Vícerozměrná normální distribuce je zvláštním případem eliptických distribucí . Jako takový, jeho iso-hustota lokusů v k u = 2, jsou elipsy a v případě libovolné k jsou elipsoidy .
  • Opravená Gaussova distribuce opravená verze normálního rozdělení se všemi negativními prvky resetovanými na 0
  • Složitá normální distribuce se zabývá komplexními normálními vektory. O komplexním vektoru XC k se říká, že je normální, pokud jeho skutečné i imaginární složky společně mají 2 k -dimenzionální vícerozměrné normální rozdělení. Rozptyl kovarianční struktura X je popsána obou matric: na rozptyl matice y, a vztah matice  C .
  • Normální distribuce matice popisuje případ normálně distribuovaných matic.
  • Gaussovy procesy jsou normálně distribuované stochastické procesy . Ty lze považovat za prvky nějakého nekonečně dimenzionálního Hilbertova prostoru  H , a jsou tedy analogiemi vícerozměrných normálních vektorů pro případ k = ∞ . Náhodný prvek hH je považován za normální, pokud pro jakoukoli konstantu aHskalární součin ( a , h ) (univariační) normální rozdělení. Rozptyl struktura takového Gaussova náhodného prvku mohou být popsány z hlediska lineárního kovariance operátora K: H? H . Několik Gaussových procesů se stalo natolik populárními, že mají svá vlastní jména:
  • Gaussova q-distribuce je abstraktní matematická konstrukce, která představuje „ q-analog “ normálního rozdělení.
  • Q-Gaussian je analogem rozdělení Gaussova, v tom smyslu, že se maximalizuje Tsallis entropii , a je jedním typem Tsallis distribuce . Všimněte si, že toto rozdělení se liší od výše uvedeného Gaussova q-rozdělení .

Náhodná proměnná X má dvoudílné normální rozdělení, pokud má rozdělení

kde μ je průměr a σ 1 a σ 2 jsou standardní odchylky rozdělení vlevo a vpravo od průměru.

Byl určen průměr, rozptyl a třetí centrální moment této distribuce

kde E ( X ), V ( X ) a T ( X ) jsou průměr, rozptyl a třetí centrální moment.

Jedním z hlavních praktických použití Gaussova zákona je modelování empirických distribucí mnoha různých náhodných proměnných, s nimiž se v praxi setkáváme. V takovém případě by možným rozšířením byla bohatší skupina distribucí, která by měla více než dva parametry, a proto by byla schopna přesněji odpovídat empirickému rozdělení. Příklady takových rozšíření jsou:

  • Pearsonova distribuce -čtyřparametrická rodina rozdělení pravděpodobnosti, která rozšiřuje normální zákon tak, aby zahrnovala různé hodnoty šikmosti a špičatosti.
  • Generalizované normální rozdělení , také známý jako exponenciální distribuci energie, umožňuje distribuční ocasy s tlustší nebo tenčí asymptotické chování.

Statistické závěry

Odhad parametrů

Často se stává, že neznáme parametry normálního rozdělení, ale naopak je chceme odhadnout . To znamená, že mít vzorek z normální populace bychom chtěli zjistit přibližné hodnoty parametrů a . Standardní přístup k tomuto problému je metoda maximální pravděpodobnosti , která vyžaduje maximalizaci funkce pravděpodobnosti protokolu :

Když vezmeme deriváty s ohledem na a vyřešíme výsledný systém podmínek prvního řádu, získáme maximální odhady pravděpodobnosti :

Ukázkový průměr

Odhad se nazývá průměr vzorku , protože je aritmetickým průměrem všech pozorování. Statistika je kompletní a postačující pro , a proto podle Lehmann-Scheffe věty , je rovnoměrně minimální rozptyl objektivní (UMVU) odhad. V konečných vzorcích je distribuován normálně:

Rozptyl tohoto odhadu je roven μμ -prvku inverzní Fisherovy informační matice . To znamená, že odhad je efektivní jako konečný vzorek . Praktický význam, je skutečnost, že směrodatná odchylka ze je přímo úměrná , to znamená, že pokud si někdo přeje snížit směrodatné odchylky odhadu faktorem 10, je třeba zvýšit počet bodů ve vzorku o faktor 100. Tato skutečnost je široce používán při určování velikostí vzorků pro průzkumy veřejného mínění a počet pokusů v simulacích Monte Carlo .

Z hlediska asymptotické teorie , je konzistentní , to znamená, že konverguje v pravděpodobnosti se tak . Odhad je také asymptoticky normální , což je jednoduchý důsledek skutečnosti, že je normální v konečných vzorcích:

Rozptyl vzorku

Odhad se nazývá rozptyl vzorku , protože se jedná o rozptyl vzorku ( ). V praxi se místo . Tento další odhad je označen a také se nazývá variance vzorku , což v terminologii představuje určitou nejednoznačnost; jeho druhá odmocnina se nazývá vzorová standardní odchylka . Odhad se liší od toho, že místo  n ve jmenovateli (tzv. Besselova korekce ) má ( n -1 ):

Rozdíl mezi a stává se zanedbatelně malé pro velké n ' s. V konečných vzorcích je však motivací použití to, že je nestranným odhadem základního parametru , zatímco je zkreslený. Podle Lehmann – Scheffé věty je odhad rovnoměrně nestranný s minimálním rozptylem (UMVU), což z něj činí „nejlepší“ odhad mezi všemi nezaujatými. Lze však ukázat, že předpojatý odhad je „lepší“ než kritérium z hlediska průměrné čtvercové chyby (MSE). V konečných vzorků jak a zmenšen chí-kvadrát rozdělení s ( n - 1) stupňů volnosti:

První z těchto výrazů ukazuje, že rozptyl je roven , což je o něco větší než σσ -element inverzní Fisherovy informační matice . Proto, není efektivní odhad pro , a kromě toho, protože je UMVU, můžeme konstatovat, že konečný vzorek efektivní odhad pro neexistuje.

Aplikujeme -li asymptotickou teorii, oba odhady a jsou konzistentní, to znamená, že konvergují v pravděpodobnosti k velikosti vzorku . Oba odhady jsou také oba asymptoticky normální:

Zejména jsou oba odhady asymptoticky účinné .

Intervaly spolehlivosti

Podle Cochran teorém , pro normální rozdělení vzorku průměr a výběrový rozptyl s 2 jsou nezávislé , což znamená, že může být s ohledem na jejich žádný zisk společnou distribuci . Existuje také opačná věta: pokud jsou ve vzorku průměr vzorku a rozptyl vzorku nezávislé, pak vzorek musí pocházet z normálního rozdělení. Nezávislost mezi a s lze použít ke konstrukci takzvané t-statistiky :

Tato veličina tStudentovo t-rozdělení s ( n -1) stupni volnosti a je to pomocná statistika (nezávislá na hodnotě parametrů). Invertování rozdělení této t -statistiky nám umožní sestrojit interval spolehlivosti pro μ ; podobně, invertování rozdělení χ 2 statistiky s 2 nám poskytne interval spolehlivosti pro σ 2 :

kde t k, p a χ 2
k, str
 
jsou p th kvantily rozdělení t - a χ 2 - rozdělení. Tyto intervaly spolehlivosti jsou na úrovni spolehlivosti 1 - α , což znamená, že skutečné hodnoty μ a σ 2 spadají mimo tyto intervaly s pravděpodobností (nebo úrovní významnosti ) α . V praxi lidé obvykle užívají α = 5% , což má za následek 95% intervaly spolehlivosti. Přibližné vzorce na displeji výše, byly odvozeny z asymptotických distribucí a to 2 . Přibližné vzorce začínají platit pro velké hodnoty n a jsou vhodnější pro ruční výpočet, protože standardní normální kvantily z α /2 nezávisí na n . Zejména nejoblíbenější hodnota α = 5% má za následek | z 0,025 | = 1,96 .

Testy normality

Testy normality hodnotí pravděpodobnost, že daný soubor dat { x 1 , ..., x n } pochází z normální distribuce. Typicky nulové hypotézy H 0 je, že měření jsou distribuovány normálně nespecifikovanou střední u Stabilizátory a rozptylem σ 2 , oproti alternativní H A, že distribuce je libovolný. Pro tento problém bylo navrženo mnoho testů (přes 40), ty prominentnější z nich jsou uvedeny níže:

Diagnostické grafy jsou intuitivně přitažlivější, ale zároveň subjektivní, protože při přijímání nebo odmítání nulové hypotézy se spoléhají na neformální lidský úsudek.

  • Graf Q – Q , známý také jako diagram normální pravděpodobnosti nebo diagram pořadí - je graf seřazených hodnot ze sady dat proti očekávaným hodnotám odpovídajících kvantilů ze standardního normálního rozdělení. To znamená, že je to bodový bod tvaru (Φ −1 ( p k ), x ( k ) ), kde vykreslování bodů p k se rovná p k  = ( k  -  α )/( n  + 1 - 2 α ) a α je nastavovací konstanta, která může být cokoli mezi 0 a 1. Pokud je nulová hypotéza pravdivá, vykreslené body by měly přibližně ležet na přímce.
  • Graf P – P - podobný grafu Q – Q, ale používá se mnohem méně často. Tato metoda spočívá v vykreslení bodů (Φ ( z ( k ) ), p k ), kde . U normálně distribuovaných dat by tento graf měl ležet na 45 ° přímce mezi (0, 0) a (1, 1).

Testy shody :

Momentové testy :

Testy založené na empirické distribuční funkci :

Bayesova analýza normálního rozdělení

Bayesovská analýza normálně distribuovaných dat je komplikována mnoha různými možnostmi, které lze zvážit:

Vzorce pro případy nelineární regrese jsou shrnuty v předchozím článku o konjugátu .

Součet dvou kvadratik

Skalární forma

Následující pomocný vzorec je užitečný pro zjednodušení rovnic pro pozdější aktualizaci, které se jinak stávají poměrně únavnými.

Tato rovnice přepíše součet dvou kvadratik v x rozšířením čtverců, seskupením výrazů v x a dokončením čtverce . Všimněte si následujících informací o komplexních konstantních faktorech připojených k některým z výrazů:

  1. Faktor má podobu vážený průměr z y a Z .
  2. To ukazuje, že tento faktor lze považovat za důsledek situace, kdy převrácené hodnoty veličin a a b se přímo sčítají, takže pro kombinaci a a b samotných je nutné výsledek opětovat, přidat a opětovat, abychom se dostali zpět do původní jednotky. To je přesně ten druh operace provádí harmonický průměr , takže není divu, že je jedna polovina harmonický průměr z a b .
Vektorová forma

Podobný vzorec lze zapsat pro součet dvou vektorových kvadratik: Pokud x , y , z jsou vektory délky k a A a B jsou symetrické , invertibilní matice velikosti , pak

kde

Všimněte si, že forma x ' A x se nazývá kvadratická forma a je skalární :

Jinými slovy, shrnuje všechny možné kombinace součinů dvojic prvků z x se samostatným koeficientem pro každý. Navíc, protože na všech mimo diagonálních prvcích A záleží pouze na součtu a za předpokladu, že A je symetrický , nedochází ke ztrátě obecnosti . Dále, pokud A je symetrická, pak forma

Součet rozdílů od průměru

Další užitečný vzorec je následující:

kde

Se známým rozptylem

Pro sadu iid normálně distribuovaných datových bodů X velikosti n, kde každý jednotlivý bod x následuje se známou odchylkou σ 2 , je také normálně distribuována předchozí distribuce konjugátu .

To lze snadněji ukázat přepsáním rozptylu na přesnost , tj. Pomocí τ = 1/σ 2 . Pak pokud a budeme postupovat následovně.

Za prvé, funkce pravděpodobnosti je (pomocí výše uvedeného vzorce pro součet rozdílů od průměru):

Poté postupujeme následovně:

Ve výše uvedené derivaci jsme použili výše uvedený vzorec pro součet dvou kvadratik a eliminovali jsme všechny konstantní faktory nezahrnující  μ . Výsledkem je jádro normální distribuce, s průměrem a přesností , tzn

To lze zapsat jako sadu Bayesových aktualizačních rovnic pro pozdější parametry z hlediska předchozích parametrů:

To znamená, že kombinovat n datových bodů s celkovou přesností (nebo ekvivalentně celkovou odchylkou n / σ 2 ) a průměrem hodnot , odvodit novou celkovou přesnost jednoduše přidáním celkové přesnosti dat k předchozí celkové přesnosti, a tvoří nový průměr prostřednictvím přesně váženého průměru , tj. váženého průměru datového průměru a předchozího průměru, každý vážený přidruženou celkovou přesností. To dává logický smysl, pokud je přesnost považována za indikaci jistoty pozorování: V rozdělení pozdějšího průměru je každá ze vstupních složek vážena svou jistotou a jistota tohoto rozdělení je součtem jednotlivých jistot. . (Pro intuici srovnejte výraz „celek je (nebo není) větší než součet jeho částí“. Kromě toho vezměte v úvahu, že poznání pozdějšího vychází z kombinace znalosti předchozího a pravděpodobnostního , takže dává smysl, že jsme si tím jistější než některou z jeho složek.)

Výše uvedený vzorec ukazuje, proč je výhodnější provést Bayesovské analýzy z konjugovaných priors za normálního rozdělení, pokud jde o přesnost. Zadní přesnost je jednoduše součtem předběžných a pravděpodobnostních přesností a zadní průměr je vypočítán přesně váženým průměrem, jak je popsáno výše. Stejné vzorce mohou být zapsány z hlediska rozptylu tím, že oplatí všechna přesnost, čímž se získají ošklivější vzorce

Se známým průměrem

Pro sadu IID normální rozdělení datových bodů X o velikosti n , kde každý jednotlivý bod x takto se známou průměrnou u Stabilizátory se konjugát před o rozptyludistribuci inverzní gama nebo A zmenšen inverzní chí-kvadrát rozdělení . Ty dva jsou ekvivalentní, kromě toho, že mají různé parametrizace . Ačkoli se běžně používá inverzní gama, pro pohodlí používáme zmenšenou inverzní chi-kvadrát. Priority pro σ 2 jsou následující:

Funkce pravděpodobnosti seshora, psaný v podmínkách rozptylu, je:

kde

Pak:

Výše uvedené je také zmenšenou inverzní distribucí chí-kvadrát kde

nebo ekvivalentně

Reparametrizace z hlediska inverzního rozdělení gama , výsledkem je:

S neznámým průměrem a neznámým rozptylem

Pro sadu iid normálně distribuovaných datových bodů X velikosti n, kde každý jednotlivý bod x následuje s neznámým průměrem μ a neznámou odchylkou σ 2 , je na průměr a rozptyl umístěn kombinovaný (vícerozměrný) konjugát , který se skládá z normálně inverzního -distribuce gama . Logicky to vychází následovně:

  1. Z analýzy případu s neznámým průměrem, ale známým rozptylem, vidíme, že aktualizační rovnice zahrnují dostatečnou statistiku vypočítanou z dat sestávajících z průměru datových bodů a celkového rozptylu datových bodů, vypočtených postupně ze známého rozptylu děleno počtem datových bodů.
  2. Z analýzy případu s neznámým rozptylem, ale známým průměrem, vidíme, že aktualizační rovnice zahrnují dostatečnou statistiku nad daty, která se skládají z počtu datových bodů a součtu čtvercových odchylek .
  3. Mějte na paměti, že hodnoty pozdější aktualizace slouží jako předchozí distribuce při zpracování dalších dat. Měli bychom tedy logicky myslet na své předky ve smyslu právě popsaných dostatečných statistik, přičemž bychom měli co nejvíce pamatovat na stejnou sémantiku.
  4. Abychom zvládli případ, kdy je průměr i rozptyl neznámý, mohli bychom umístit nezávislé priory nad průměr a rozptyl, s pevnými odhady průměrného průměru, celkového rozptylu, počtu datových bodů použitých pro výpočet rozptylu před a součtem čtvercových odchylek . Všimněte si však, že ve skutečnosti celkový rozptyl průměru závisí na neznámém rozptylu a součet čtvercových odchylek, které přecházejí do rozptylu před (zdá se), závisí na neznámém průměru. V praxi je tato druhá závislost relativně nedůležité: Posunutí skutečného průměru posune generované body o stejnou částku a průměrné čtvercové odchylky zůstanou stejné. To však neplatí pro celkový rozptyl průměru: Jak se neznámý rozptyl zvyšuje, úměrně se bude zvyšovat celkový rozptyl průměru a chtěli bychom tuto závislost zachytit.
  5. To naznačuje, že vytvoříme podmíněnou prioritu průměru na neznámém rozptylu, přičemž hyperparametr specifikuje průměr pseudo-pozorování spojených s předchozím a další parametr specifikující počet pseudo-pozorování. Toto číslo slouží jako parametr škálování na rozptylu, což umožňuje řídit celkovou rozptyl průměru vzhledem k aktuálnímu parametru rozptylu. Prior pro rozptyl má také dva hyperparametry, jeden určující součet čtvercových odchylek pseudo pozorování spojených s předchozím a druhý určující opět počet pseudo-pozorování. Všimněte si, že každý z předchozích má hyperparametr určující počet pseudo-pozorování, a v každém případě to řídí relativní rozptyl tohoto předchozího. Ty jsou uvedeny jako dva samostatné hyperparametry, takže rozptyl (aka důvěra) dvou předchozích lze ovládat samostatně.
  6. To okamžitě vede k normálně-inverzní-gama distribuci , která je součinem právě definovaných dvou distribucí, přičemž byly použity předchozí konjugáty ( inverzní distribuce gama přes rozptyl a normální rozdělení přes průměr, podmíněno odchylkou) a se stejnými čtyřmi právě definovanými parametry.

Priority jsou obvykle definovány následovně:

Aktualizační rovnice lze odvodit a vypadat následovně:

Příslušný počet pseudo pozorování k nim přidá počet skutečných pozorování. Nový průměrný hyperparametr je opět váženým průměrem, tentokrát váženým relativním počtem pozorování. Konečně, aktualizace pro je podobná jako v případě známého průměru, ale v tomto případě je součet čtvercových odchylek vzat s ohledem na pozorovaný průměr dat spíše než na skutečný průměr, a v důsledku toho musí nový „interakční termín“ být přidán, aby se postaral o další zdroj chyb vyplývající z odchylky mezi předchozím a datovým průměrem.

[Důkaz]

Předchozí distribuce jsou

Proto společný prior je

Funkce pravděpodobnosti z výše uvedené části se známou odchylkou je:

Když to napíšeme spíše z hlediska rozptylu než přesnosti, dostaneme:

kde

Proto je zadní (upuštění hyperparametrů jako podmíňujících faktorů):

Jinými slovy, pozdější rozdělení má formu součinu normálního rozdělení přes p ( μ  |  σ 2 ) krát inverzní rozdělení gama přes p2 ), s parametry, které jsou stejné jako výše uvedené aktualizační rovnice.

Výskyt a aplikace

Výskyt normálního rozdělení v praktických problémech lze volně zařadit do čtyř kategorií:

  1. Přesně normální distribuce;
  2. Přibližně normální zákony, například když je taková aproximace odůvodněna centrální limitní větou ; a
  3. Distribuce modelované jako normální - normální distribuce je distribuce s maximální entropií pro daný průměr a rozptyl.
  4. Regresní problémy - normální rozdělení bylo nalezeno poté, co byly dostatečně dobře modelovány systematické efekty.

Přesná normalita

Některá množství ve fyzice jsou distribuována normálně, jak poprvé ukázal James Clerk Maxwell . Příklady takových množství jsou:

  • Funkce hustoty pravděpodobnosti základního stavu v kvantovém harmonickém oscilátoru .
  • Poloha částice, která zažívá difúzi . Pokud se částice zpočátku nachází v určitém bodě (tj. Její rozdělení pravděpodobnosti je Diracova delta funkce ), pak je po čase t její umístění popsáno normálním rozdělením s rozptylem t , které splňuje difúzní rovnici  . Pokud je počáteční poloha vzhledem k určitým funkce hustoty , potom je hustota v čase t je konvoluce o g a normální PDF.

Přibližná normalita

Přibližně normální rozdělení se vyskytuje v mnoha situacích, jak vysvětluje centrální limitní věta . Když je výsledek vytvořen mnoha malými efekty působícími aditivně a nezávisle , jeho distribuce se bude blížit normálu. Normální aproximace nebude platná, pokud efekty působí multiplikačně (namísto aditivně), nebo pokud existuje jediný vnější vliv, který má podstatně větší velikost než ostatní efekty.

Předpokládaná normálnost

Histogram sepálních šířek pro Iris versicolor z datové sady květů Fisher's Iris se superponovaným nejlépe padnoucím normálním rozložením.

Jako velmi abnormální jev mohu rozpoznat pouze výskyt normální křivky - Laplaciánské křivky chyb. V určitých distribucích je to zhruba aproximováno; z tohoto důvodu a vzhledem k jeho krásné jednoduchosti jej možná můžeme použít jako první aproximaci, zejména v teoretických výzkumech.

Existují statistické metody k empirickému testování tohoto předpokladu, viz výše uvedená část Testy normality .

  • V biologiilogaritmus různých proměnných obvykle normální rozdělení, to znamená, že mívají log-normální rozdělení (po oddělení na mužských/ženských subpopulacích), přičemž příklady zahrnují:
    • Míry velikosti živé tkáně (délka, výška, plocha kůže, hmotnost);
    • Délka z inertního adnexa (vlasy, drápy, nehty, zuby) biologických vzorků, ve směru růstu ; do této kategorie pravděpodobně spadá také tloušťka kůry stromů;
    • Některá fyziologická měření, jako je krevní tlak dospělých lidí.
  • Ve financích, zejména modelu Black -Scholes , se změny logaritmu směnných kurzů, cenových indexů a indexů akciového trhu považují za normální (tyto proměnné se chovají jako složený úrok , nikoli jako jednoduchý úrok, a proto jsou multiplikativní). Někteří matematici, jako je Benoit Mandelbrot , tvrdili, že vhodnějším modelem by byla distribuce log-levy , která má těžké ocasy , zejména pro analýzu krachů akciového trhu . Nassim Nicholas Taleb ve svých dílech kritizoval také použití předpokladu normální distribuce vyskytující se ve finančních modelech .
  • Chyby měření ve fyzikálních experimentech jsou často modelovány normální distribucí. Toto použití normální distribuce neznamená, že se předpokládá, že chyby měření jsou normálně distribuovány, spíše použití normální distribuce produkuje nejkonzervativnější možné předpovědi za předpokladu pouze znalostí o průměru a rozptylu chyb.
  • Při standardizovaném testování lze dosáhnout výsledků s normální distribucí buď výběrem počtu a obtížnosti otázek (jako v testu IQ ), nebo transformací skóre nezpracovaných testů na skóre „výstupu“ jejich přizpůsobením normálnímu rozdělení. Například tradiční rozsah SAT 200–800 je založen na normálním rozdělení s průměrem 500 a standardní odchylkou 100.
Přizpůsobené kumulativní normální rozdělení na říjnové srážky, viz rozdělovací armatura


Metodologické problémy a peer review

John Ioannidis tvrdí, že použití normálně distribuovaných standardních odchylek jako standardů pro validaci výsledků výzkumu ponechává falsifikovatelné předpovědi o jevech, které nejsou normálně distribuovány, nevyzkoušené. Patří sem například jevy, které se objevují pouze tehdy, když jsou k dispozici všechny nezbytné podmínky a jeden nemůže být náhradou za jiný způsobem podobným sčítání, a jevy, které nejsou náhodně distribuovány. Ioannidis tvrdí, že validace zaměřená na standardní odchylky poskytuje falešnou podobu platnosti hypotézám a teoriím, kde jsou některé, ale ne všechny falsifikovatelné predikce normálně distribuovány, protože část falsifikovatelných předpovědí, že existují důkazy proti máji a v některých případech jsou v normálních distribuované části rozsahu faslsifikovatelných předpovědí, stejně jako neopodstatněně odmítající hypotézy, pro které žádná z falsifikovatelných předpovědí není normálně distribuována, jako by byly nefalsifikovatelné, i když ve skutečnosti vytvářejí falzifikovatelné předpovědi. Ioannidis tvrdí, že mnoho případů vzájemně se vylučujících teorií, které jsou vědeckými časopisy přijímány jako „validované“, je způsobeno tím, že časopisy nepřijaly empirické falzifikace normálně distribuovaných předpovědí, a nikoli proto, že jsou vzájemně se vylučující teorie pravdivé. nemohou být, i když dvě vzájemně se vylučující teorie mohou být chybné a třetí správná.

Výpočtové metody

Generování hodnot z normální distribuce

Stroj na fazole , zařízení vynalezené Francisem Galtonem , lze nazvat prvním generátorem normálních náhodných proměnných. Tento stroj se skládá ze svislé desky s prokládanými řadami kolíků. Malé koule jsou shazovány shora a poté se při dopadu na kolíky náhodně odrážejí doleva nebo doprava. Koule se nasbírají do zásobníků ve spodní části a usadí se do vzoru připomínajícího Gaussovu křivku.

V počítačových simulacích, zejména v aplikacích metody Monte-Carlo , je často žádoucí generovat hodnoty, které jsou normálně distribuovány. Níže uvedené algoritmy generují standardní normální odchylky, protože N ( μ, σ2
)
lze generovat jako X = μ + σZ , kde Z je standardní normální. Všechny tyto algoritmy spoléhají na dostupnost generátoru náhodných čísel U schopného vytvářet jednotné náhodné varianty.

  • Nejjednodušší metoda je založena na vlastnosti integrální transformační pravděpodobnosti : pokud je U rozloženo rovnoměrně na (0,1), pak Φ −1 ( U ) bude mít standardní normální rozdělení. Nevýhodou této metody je, že se spoléhá na výpočet probitové funkce Φ −1 , což nelze provést analyticky. Některé přibližné metody jsou popsány v Hart (1968) a v článku erf . Wichura poskytuje rychlý algoritmus pro výpočet této funkce na 16 desetinných míst, který R používá k výpočtu náhodných variací normálního rozdělení.
  • Snadno programovatelný přibližný přístup, který se opírá o centrální limitní větu , je následující: vygenerujte 12 jednotných U (0,1) odchylek, sečtěte je všechny a odečtěte 6 - výsledná náhodná proměnná bude mít přibližně standardní normální rozdělení. Ve skutečnosti bude distribuce Irwin – Hall , což je 12dílná polynomická aproximace jedenáctého řádu k normálnímu rozdělení. Tato náhodná odchylka bude mít omezený rozsah (−6, 6).
  • Metoda Box-Muller využívá dvě nezávislé náhodná čísla U a V distribuovaných rovnoměrně na (0,1). Potom dvě náhodné veličiny X a Y
oba budou mít standardní normální distribuci a budou nezávislí . Tato formulace vzniká, protože pro bivariátový normální náhodný vektor ( X , Y ) bude mít čtvercová norma X 2 + Y 2 distribuci chí-kvadrát se dvěma stupni volnosti, což je snadno generovatelná exponenciální náhodná proměnná odpovídající množství −2ln ( U ) v těchto rovnicích; a úhel je rovnoměrně kolem kruhu, zvolený náhodné proměnné V .
  • Polární metoda Marsaglia je modifikací způsobu Box-Muller, který nevyžaduje výpočet funkce sinus a kosinus. Při této metodě se U a V odebírají z rovnoměrného (−1,1) rozdělení a poté se vypočítá S = U 2 + V 2 . Pokud je S větší nebo rovno 1, pak metoda začíná znovu, jinak dvě veličiny
jsou vráceny. Opět platí, že X a Y jsou nezávislé, standardní normální náhodné proměnné.
  • Metoda Ratio je metodou odmítnutí. Algoritmus probíhá následovně:
    • Generujte dvě nezávislé uniformy odchylky U a V ;
    • Výpočet X = 8/ e ( V - 0,5)/ U ;
    • Volitelné: pokud X 2 ≤ 5 - 4 e 1/4 U, pak přijměte X a ukončete algoritmus;
    • Volitelné: pokud X 2 ≥ 4 e −1,35 / U + 1,4, pak odmítněte X a začněte znovu od kroku 1;
    • Pokud X 2 ≤ −4 ln U, pak přijměte X , jinak začněte znovu od algoritmu.
Dva volitelné kroky umožňují ve většině případů vyhnout se vyhodnocení logaritmu v posledním kroku. Tyto kroky lze výrazně vylepšit, takže logaritmus se vyhodnocuje jen zřídka.
  • Algoritmus ziggurat je rychlejší než Box-Muller převádí a stále přesná. Asi v 97% všech případů používá pouze dvě náhodná čísla, jedno náhodné celé číslo a jednu náhodnou uniformu, jedno násobení a if-test. Pouze ve 3% případů, kdy kombinace těchto dvou spadá mimo „jádro zikkuratu“ (jakýsi vzor odmítnutí pomocí logaritmů), musí být použity exponenciály a jednotnější náhodná čísla.
  • K vzorkování ze standardní normální distribuce lze použít celočíselnou aritmetiku. Tato metoda je přesná v tom smyslu, že splňuje podmínky ideální aproximace ; tj. je ekvivalentní vzorkování skutečného čísla ze standardního normálního rozdělení a zaokrouhlení na nejbližší reprezentativní číslo s plovoucí desetinnou čárkou.
  • Existuje také určité zkoumání spojení mezi rychlou Hadamardovou transformací a normální distribucí, protože transformace využívá pouze sčítání a odčítání a podle věty o centrální hranici budou náhodná čísla z téměř jakékoli distribuce transformována do normální distribuce. V tomto ohledu lze sérii Hadamardových transformací kombinovat s náhodnými permutacemi, aby se libovolné datové sady změnily na normálně distribuovaná data.

Numerické aproximace pro normální CDF a normální kvantilovou funkci

Standardní normální CDF je široce používán ve vědeckých a statistických výpočtech.

Hodnoty Φ ( x ) lze velmi přesně aproximovat různými metodami, jako je numerická integrace , Taylorova řada , asymptotické řady a pokračující zlomky . V závislosti na požadované úrovni přesnosti se používají různé aproximace.

  • Zelen & Severo (1964) udávají aproximaci Φ ( x ) pro x> 0 s absolutní chybou | ε ( x ) | <7,5 · 10 −8 (algoritmus 26.2.17 ):
    kde ϕ ( x ) je standardní normální PDF a b 0 = 0,2316419, b 1 = 0,319381530, b 2 = −0,356563782, b 3 = 1,781477937, b 4 = −1,821255978, b 5 = 1,330274429.
  • Hart (1968) uvádí pro funkci erfc () několik desítek aproximací - pomocí racionálních funkcí, s exponenciály nebo bez nich . Jeho algoritmy se liší stupněm složitosti a výsledné přesnosti s maximální absolutní přesností 24 číslic. Algoritmus podle Westa (2009) kombinuje Hartův algoritmus 5666 s pokračující aproximací zlomku v ocasu, aby poskytl rychlý výpočetní algoritmus s 16místnou přesností.
  • Cody (1969) po odvolání řešení Hart68 není vhodný pro erf, poskytuje řešení pro erf i erfc, s maximální vazbou relativní chyby, pomocí Rational Chebyshev Aproximace .
  • Marsaglia (2004) navrhl jednoduchý algoritmus založený na rozšíření řady Taylor
    pro výpočet Φ ( x ) s libovolnou přesností. Nevýhodou tohoto algoritmu je poměrně pomalá doba výpočtu (například pro výpočet funkce se 16 číslicemi přesnosti při x = 10 trvá více než 300 iterací ).
  • GNU vědecká knihovna počítá hodnoty standardního normálního CDF pomocí Hartova algoritmy a aproximací s Chebyshev polynomy .

Shore (1982) představil jednoduché aproximace, které mohou být začleněny do stochastických optimalizačních modelů inženýrského a operačního výzkumu, jako je inženýrství spolehlivosti a analýza zásob. Označující p = Φ (z), nejjednodušší aproximace kvantilové funkce je:

Tato aproximace přináší pro z maximální absolutní chybu 0,026 (pro 0,5 ≤  p  ≤ 0,9999, což odpovídá 0 ≤  z  ≤ 3,719). Pro p  <1/2 nahraďte p 1 -  p a změňte znaménko. Další aproximací, poněkud méně přesnou, je aproximace s jedním parametrem:

Ten sloužil k odvození jednoduché aproximace ztrátového integrálu normálního rozdělení, definovaného

Tato aproximace je obzvláště přesná pro pravý zadní konec (maximální chyba 10 −3 pro z≥1,4). Vysoce přesné aproximace pro CDF, založené na metodice modelování odezvy (RMM, Shore, 2011, 2012), jsou uvedeny v Shore (2005).

Několik dalších aproximací najdete na: Chybová funkce#Aproximace s elementárními funkcemi . Zejména malé relativní chyby v celé doméně pro CDF a také kvantilovou funkci je dosaženo pomocí výslovně invertibilního vzorce od Sergeje Winitzkiho v roce 2008.

Dějiny

Rozvoj

Někteří autoři připisují zásluhy za objevení normálního rozdělení na podporu de Moivre , který v roce 1738 publikoval ve druhém vydání svého „ Doktrína šancí “ studiem koeficientů v binomické expanzi části ( + b ) n . De Moivre dokázal, že střednědobý termín v této expanzi má přibližnou velikost a že „Pokud m nebo1/2n je nekonečně velká veličina, pak Logaritmus poměru, který má termín vzdálený od středu Intervalem , ke střednímu Termu, je . "Ačkoli tuto větu lze interpretovat jako první nejasný výraz pro normální pravděpodobnost zákona, Stigler poukazuje na to, že sám de Moivre neinterpretoval své výsledky jako nic jiného než přibližné pravidlo pro binomické koeficienty, a zejména de Moivre postrádal koncept funkce hustoty pravděpodobnosti.

Carl Friedrich Gauss objevil normální rozdělení v roce 1809 jako způsob racionalizace metody nejmenších čtverců .

V roce 1823 vydal Gauss svou monografii Theoria combinationis Observationum erroribus minimis obnoxiae “, kde mimo jiné uvádí několik důležitých statistických konceptů, jako je metoda nejmenších čtverců , metoda maximální pravděpodobnosti a normální rozdělení . Gauss použil M , M , M ′ ′, ... k označení měření nějaké neznámé veličiny  V a hledal „nejpravděpodobnější“ odhad této veličiny: ten, který maximalizuje pravděpodobnost φ ( M  -  V ) · φ ( M ′  -  V ) · φ ( M ′ ′ -  V ) · ... získání pozorovaných experimentálních výsledků. V jeho zápisu φΔ je funkce hustoty pravděpodobnosti chyb měření velikosti Δ. Gauss neví, jaká je funkce φ , a proto požaduje, aby se jeho metoda redukovala na známou odpověď: aritmetický průměr naměřených hodnot. Na základě těchto principů Gauss ukazuje, že jediným zákonem, který racionalizuje volbu aritmetického průměru jako odhadu parametru umístění, je normální zákon chyb:

kde h je „míra přesnosti pozorování“. Pomocí tohoto normálního zákona jako generického modelu pro chyby v experimentech Gauss formuluje to, co je nyní známé jako nelineární vážená metoda nejmenších čtverců (NWLS).

Pierre-Simon Laplace prokázal centrální limitní větu v roce 1810 a upevnil tak význam normálního rozdělení ve statistikách.

Ačkoli Gauss byl první, kdo navrhl normální distribuční zákon, Laplace významně přispěl. Byl to Laplace, kdo poprvé nastolil problém agregace několika pozorování v roce 1774, ačkoli jeho vlastní řešení vedlo k Laplacianově distribuci . Byl to Laplace, kdo jako první vypočítal hodnotu integrálu e - t 2  dt = π v roce 1782 a poskytl normalizační konstantu pro normální rozdělení. Nakonec to byl Laplace, kdo v roce 1810 prokázal a předložil akademii základní centrální limitní větu , která zdůrazňovala teoretický význam normálního rozdělení.

Je zajímavé poznamenat, že v roce 1809 irský matematik Adrain publikoval dvě derivace normálního pravděpodobnostního zákona, současně a nezávisle na Gaussovi. Jeho díla zůstala vědeckou komunitou do značné míry nepovšimnuta, dokud je v roce 1871 Abbe „znovu neobjevil“ .

V polovině 19. století Maxwell prokázal, že normální rozdělení není jen pohodlný matematický nástroj, ale může se také vyskytovat v přírodních jevech: „Počet částic, jejichž rychlost, rozlišená v určitém směru, leží mezi x a x  +  dx je

Pojmenování

Od svého zavedení je normální rozdělení známé pod mnoha různými názvy: zákon chyby, zákon zařízení omylů, Laplaceův druhý zákon, Gaussův zákon atd. Gauss sám tento termín zjevně vytvořil s odkazem na „normální rovnice“ zapojený do svých aplikací, přičemž normální má svůj technický význam spíše ortogonální než „obvyklý“. Na konci 19. století však někteří autoři začali používat název normální distribuce , kde bylo slovo „normální“ používáno jako adjektivum - termín je nyní vnímán jako odraz skutečnosti, že toto rozdělení bylo považováno za typické, běžné - a tedy „normální“. Peirce (jeden z těchto autorů) kdysi definoval „normální“ takto: „...„ normální “není průměr (nebo jakýkoli jiný druh průměru) toho, co se skutečně děje, ale toho, co by se v dlouhodobém horizontu stalo za určitých okolností." Kolem přelomu 20. století Pearson propagoval termín normální jako označení pro tuto distribuci.

Před mnoha lety jsem nazval Laplaceovu -Gaussovu křivku normální křivkou, jejíž název, i když se vyhýbá mezinárodní otázce priority, má tu nevýhodu, že vede lidi k přesvědčení, že všechna ostatní rozdělení frekvence jsou v tom či onom smyslu „abnormální“.

Také to byl Pearson, kdo poprvé napsal distribuci z hlediska standardní odchylky σ jako v moderní notaci. Brzy poté, v roce 1915, přidal Fisher do vzorce pro normální rozdělení parametr umístění a vyjádřil jej tak, jak je dnes napsán:

Pojem „standardní normál“, který označuje normální rozdělení s nulovým průměrem a jednotkovým rozptylem, se začal běžně používat kolem padesátých let minulého století a objevuje se v populárních učebnicích PG Hoela (1947) „ Úvod do matematické statistiky “ a AM Mood (1950) “. Úvod do teorie statistik “.

Viz také

Poznámky

Reference

Citace

Prameny

externí odkazy