Okamžitě trénované neuronové sítě - Instantaneously trained neural networks

Okamžitě trénované neuronové sítě jsou dopředné umělé neuronové sítě, které vytvářejí nový skrytý neuronový uzel pro každý nový tréninkový vzorek. Váhy tohoto skrytého neuronu oddělují nejen tento tréninkový vzorek, ale i další, které jsou v jeho blízkosti, čímž poskytují zobecnění. Toto oddělení se provádí pomocí nejbližší nadroviny, kterou lze okamžitě zapsat. Ve dvou nejdůležitějších implementacích se sousedství generalizace buď liší podle tréninkového vzorku (síť CC1), nebo zůstává konstantní (síť CC4). Tyto sítě používají unární kódování pro efektivní reprezentaci souborů dat.

Tento typ sítě byl poprvé navržen v dokumentu Subhash Kak z roku 1993 . Od té doby byly okamžitě trénované neuronové sítě navrženy jako modely krátkodobého učení a použity při vyhledávání na webu a při aplikacích pro predikci finančních časových řad . Používají se také při okamžité klasifikaci dokumentů a pro hloubkové učení a dolování dat .

Stejně jako v jiných neuronových sítích je jejich obvyklé použití jako softwaru, ale byly také implementovány do hardwaru pomocí FPGA a optickou implementací.

Síť CC4

V síti CC4, která je třístupňovou sítí, je počet vstupních uzlů o jeden větší než velikost cvičného vektoru, přičemž zvláštní uzel slouží jako předpínací uzel, jehož vstup je vždy 1. U binárních vstupních vektorů je váhy ze vstupních uzlů do skrytého neuronu (řekněme indexu j) odpovídající trénovanému vektoru jsou dány následujícím vzorcem:

${\ displaystyle w_ {ij} = {\ begin {cases} -1, & {\ mbox {for}} x_ {i} = 0 \\ + 1, & {\ mbox {for}} x_ {i} = 1 \\ r + s-1, & {\ mbox {for}} i = n + 1 \ end {cases}}}$

kde je poloměr zobecnění a je Hammingova váha (počet 1 s) binární sekvence. Od skryté vrstvy po výstupní vrstvu jsou váhy 1 nebo -1 v závislosti na tom, zda vektor patří do dané výstupní třídy nebo ne. Neurony ve skryté a výstupní vrstvě produkují 1, pokud je vážený součet na vstupu 0 nebo kladný a 0, pokud je vážený součet na vstupu záporný: ${\ displaystyle r}$${\ displaystyle s}$

${\ displaystyle y = \ left \ {{\ begin {matrix} 1 & {\ mbox {if}} \ sum x_ {i} \ geq 0 \\ 0 & {\ mbox {if}} \ sum x_ {i} <0 \ end {matrix}} \ right.}$

Jiné sítě

Síť CC4 byla také upravena tak, aby zahrnovala nebinární vstup s různými poloměry zobecnění, aby účinně poskytovala implementaci CC1.

V sítích zpětné vazby se síť Willshaw i síť Hopfield dokáží učit okamžitě.

Reference