ADALINE - ADALINE

Učení uvnitř jedné vrstvy ADALINE

ADALINE ( Adaptive Linear Neuron nebo novější Adaptive Linear Element ) je časná jednovrstvá umělá neuronová síť a název fyzického zařízení, které tuto síť implementovalo. Síť používá memistory . Byl vyvinut profesorem Bernardem Widrowem a jeho postgraduálním studentem Tedem Hoffem na Stanfordské univerzitě v roce 1960. Je založen na neuronu McCulloch – Pitts . Skládá se z váhy, vychýlení a funkce součtu.

Rozdíl mezi Adaline a standardním ( McCulloch – Pitts ) perceptronem je v tom, že ve fázi učení se váhy upravují podle váženého součtu vstupů (netto). Ve standardním perceptronu se síť předává aktivační ( přenosové ) funkci a výstup funkce se používá k úpravě vah.

Vícevrstvá síť jednotek ADALINE je známá jako MADALINE .

Definice

Adaline je neuronová síť s jednou vrstvou s více uzly, kde každý uzel přijímá více vstupů a generuje jeden výstup. Vzhledem k následujícím proměnným jako:

• ${\ displaystyle x}$ je vstupní vektor
• ${\ displaystyle w}$ je váhový vektor
• ${\ displaystyle n}$ je počet vstupů
• ${\ displaystyle \ theta}$ nějaká konstanta
• ${\ displaystyle y}$ je výstupem modelu

pak zjistíme, že výstup je . Pokud to dále předpokládáme ${\ displaystyle y = \ sum _ {j = 1} ^ {n} x_ {j} w_ {j} + \ theta}$

• ${\ displaystyle x_ {0} = 1}$
• ${\ displaystyle w_ {0} = \ theta}$

pak se výstup dále snižuje na: ${\ displaystyle y = \ sum _ {j = 0} ^ {n} x_ {j} w_ {j}}$

Algoritmus učení

Předpokládejme:

• ${\ displaystyle \ eta}$ je míra učení (nějaká pozitivní konstanta)
• ${\ displaystyle y}$ je výstupem modelu
• ${\ displaystyle o}$ je cílový (požadovaný) výstup

potom se váhy aktualizují následujícím způsobem . ADALINE konverguje k chybě nejmenších čtverců, která je . Toto pravidlo aktualizace je ve skutečnosti stochastická aktualizace sestupu gradientu pro lineární regresi . ${\ displaystyle w \ leftarrow w + \ eta (oy) x}$${\ displaystyle E = (oy) ^ {2}}$

MADALINE

MADALINE (Many ADALINE) je třívrstvá (vstupní, skrytá, výstupní), plně propojená, dopředná architektura umělé neurální sítě pro klasifikaci, která používá jednotky ADALINE ve svých skrytých a výstupních vrstvách, tj. Její aktivační funkce je funkce znaménka . Třívrstvá síť používá memistory . Byly navrženy tři různé tréninkové algoritmy pro sítě MADALINE, které nelze naučit pomocí zpětného šíření, protože funkce znaménka není diferencovatelná, nazývané Pravidlo I, Pravidlo II a Pravidlo III.

MADALINE Rule 1 (MRI) - První z nich pochází z roku 1962 a nemůže přizpůsobit váhy spojení se skrytým výstupem.

MADALINE Pravidlo 2 (MRII) - Druhý tréninkový algoritmus byl vylepšen oproti Pravidlu I a byl popsán v roce 1988. Algoritmus tréninku Pravidla II je založen na principu zvaném „minimální rušení“. Postupuje opakováním příkladů tréninku, poté pro každý příklad:

• najde jednotku skryté vrstvy (klasifikátor ADALINE) s nejnižší spolehlivostí ve své predikci,
• předběžně převrátí znamení jednotky,
• přijímá nebo odmítá změnu na základě toho, zda je snížena chyba sítě,
• zastaví se, když je chyba nula.

MADALINE Pravidlo 3 - Třetí „Pravidlo“ aplikované na upravenou síť s sigmoidními aktivacemi namísto signum; později se zjistilo, že to odpovídá zpětnému šíření.

Když navíc převrácení značek jednotlivých jednotek nezpůsobí u konkrétního příkladu chybu na nulu, tréninkový algoritmus začne převracet páry značek jednotek, potom trojice jednotek atd.

Viz také

• Vícevrstvý perceptron

Reference

externí odkazy

• "Delta Learning Rule: ADALINE" . Umělé neuronové sítě . Universidad Politécnica de Madrid. Archivovány od originálu na 2002-06-15.
• „ Vícevrstvé neuronové sítě založené na memristorech s online tréninkem gradientního klesání “. Implementace algoritmu ADALINE s memristory v analogovém výpočtu.