Neparametrická regrese - Nonparametric regression

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váha Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál
proti t E

Neparametrická regrese je kategorie regresní analýzy, ve které prediktor nemá předem stanovenou formu, ale je konstruován podle informací odvozených z dat. To znamená, že se nepředpokládá žádná parametrická forma pro vztah mezi prediktory a závislou proměnnou. Neparametrická regrese vyžaduje větší velikosti vzorků než regrese na základě parametrických modelů, protože data musí dodávat strukturu modelu i odhady modelu.

Definice

V neparametrické regrese, máme náhodné proměnné a a předpokládají následující vztah: ${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle \ mathbb {E} [Y \ mid X = x] = m (x),}$

kde je nějaká deterministická funkce. Lineární regrese je omezený případ neparametrické regrese, kde se předpokládá, že je afinní. Někteří autoři používají mírně silnější předpoklad aditivního šumu: ${\ displaystyle m (x)}$${\ displaystyle m (x)}$

${\ displaystyle Y = m (X) + U,}$

kde náhodná proměnná je „šumový termín“, s průměrem 0. Bez předpokladu, že patří do konkrétní parametrické rodiny funkcí, nelze získat nezaujatý odhad , nicméně většina odhadů je za vhodných podmínek konzistentní . ${\ displaystyle U}$${\ displaystyle m}$${\ displaystyle m}$

Seznam univerzálních neparametrických regresních algoritmů

Toto je neúplný seznam algoritmů vhodných pro neparametrické regresní problémy.

• nejbližších sousedů, viz interpolace nejbližšího souseda a algoritmus k-nejbližších sousedů
• regresní stromy
• regrese jádra
• lokální regrese
• vícerozměrné adaptivní regresní splajny
• neuronové sítě
• podpora vektorové regrese
• vyhlazovací splajny

Příklady

Gaussova regrese procesu nebo Kriging

V Gaussově procesu regrese, známé také jako Kriging, se pro regresní křivku předpokládá Gaussianův prior. Předpokládá se, že chyby mají vícerozměrné normální rozdělení a regresní křivka se odhaduje podle jejího zadního režimu . Gaussovský prior může záviset na neznámých hyperparametrech, které se obvykle odhadují pomocí empirických Bayesů . Hyperparametry obvykle určují předchozí kovarianční jádro. V případě, že jádro by mělo být také odvozeno neparametricky z dat, lze použít kritický filtr .

Vyhlazovací splajny mají interpretaci jako zadní režim regrese Gaussova procesu.

Jádrová regrese

Příklad křivky (červená čára) přizpůsobené malé datové sadě (černé body) s neparametrickou regresí pomocí plynulejšího Gaussova jádra. Růžově stínovaná oblast ilustruje funkci jádra použitou k získání odhadu y pro danou hodnotu x. Funkce jádra definuje váhu přiřazenou každému datovému bodu při vytváření odhadu pro cílový bod.

Regrese jádra odhaduje spojitou závislou proměnnou z omezené sady datových bodů konvolucí umístění datových bodů pomocí funkce jádra - přibližně řečeno, funkce jádra specifikuje, jak „rozmazat“ vliv datových bodů, aby bylo možné jejich hodnoty slouží k předpovědi hodnoty pro blízká místa.

Regresní stromy

Algoritmy učení rozhodovacího stromu lze použít k naučení předpovědět závislou proměnnou z dat. Ačkoli původní formulace CART (Classification And Regression Tree) platila pouze pro predikci jednorozměrných dat, lze rámec použít k předpovědi vícerozměrných dat, včetně časových řad.

Viz také

• Laso (statistika)
• Místní regrese
• Neparametrické statistiky
• Semiparametrická regrese
• Izotonická regrese
• Vícedílné adaptivní regresní splajny

Reference

Další čtení

• Bowman, AW; Azzalini, A. (1997). Aplikované vyhlazovací techniky pro analýzu dat . Oxford: Clarendon Press. ISBN   0-19-852396-3 .
• Fan, J .; Gijbels, I. (1996). Lokální polynomiální modelování a jeho aplikace . Boca Raton: Chapman a Hall. ISBN   0-412-98321-4 .
• Henderson, DJ; Parmeter, CF (2015). Aplikovaná neparametrická ekonometrie . New York: Cambridge University Press. ISBN   978-1-107-01025-3 .
• Li, Q .; Racine, J. (2007). Neparametrická ekonometrie: teorie a praxe . Princeton: Princeton University Press. ISBN   978-0-691-12161-1 .
• Pagan, A .; Ullah, A. (1999). Neparametrická ekonometrie . New York: Cambridge University Press. ISBN   0-521-35564-8 .

externí odkazy

• HyperNiche, software pro neparametrickou multiplikativní regresi .
• Škálově adaptivní neparametrická regrese (se softwarem Matlab).