Elektrochemická RAM - Electrochemical RAM
Elektrochemická paměť s náhodným přístupem (ECRAM) je typ energeticky nezávislé paměti (NVM) s více úrovněmi na buňku (MLC) navržený pro analogovou akceleraci hlubokého učení . Buňka ECRAM je tříkoncové zařízení složené z vodivého kanálu, izolačního elektrolytu , iontového zásobníku a kovových kontaktů. Odpor kanálu je modulován iontovou výměnou na rozhraní mezi kanálem a elektrolytem po aplikaci elektrického pole. Proces přenosu náboje umožňuje jak zachování stavu při absenci aplikovaného výkonu, tak programování několika odlišných úrovní, přičemž obě odlišují provoz ECRAM od tranzistoru s efektem pole (FET) . Operace zápisu je deterministická a může vyústit v symetrické potenciace a deprese, což zatraktivňuje pole ECRAM pro působení jako umělé synaptické váhy ve fyzických implementacích umělých neuronových sítí (ANN) . Mezi technologické výzvy patří potenciál otevřeného obvodu (OCP) a kompatibilita slévárny polovodičů spojená s energetickými materiály. Univerzity, vládní laboratoře a podnikové výzkumné týmy přispěly k vývoji ECRAM pro analogové výpočty . Je pozoruhodné, že Sandia National Laboratories navrhla článek na bázi lithia inspirovaný bateriovými materiály v pevné fázi, Stanfordská univerzita postavila článek na bázi organických protonů a společnost International Business Machines (IBM) předvedla paralelní programování bez paměti v selektoru pro úkol logistické regrese v řadě oxidů kovů ECRAM určených pro vložení do zadního konce vlasce (BEOL) .
Úkon
Napsat
Napětí na hradle, ve vztahu k elektrodám kanálu, může být aplikováno ve formě pevného proudu nebo předpětí, pohánějící ionty směrem k - nebo od - rozhraní elektrolytu / kanálu, kde dochází k přenosu náboje s volnými nosiči. Po vložení do kanálu je iontový náboj neutralizován a atomové druhy interkalují nebo se vážou na vodivou hostitelskou matrici, v některých případech za vzniku kmene a lokalizované fázové transformace. Takové reverzibilní procesy jsou ekvivalentní anodickým / katodickým reakcím v bateriových článcích nebo v elektrochromních zařízeních. Ačkoli v ECRAM je programování paměťového prvku definováno nikoli jako změna kapacity nebo neprůhlednosti, ale jako změna vodivosti kanálu spojená s vložením nebo odstraněním atomových druhů v důsledku stresového signálu.
Číst
Operace čtení je oddělena od operace zápisu díky přítomnosti tří elektrod, což omezuje rušení čtení. Mezi kanálovými elektrodami je aplikováno malé zkreslení, přičemž výsledný čtecí proud je úměrný vodivosti kanálu, a proto snímá naprogramovaný stav zařízení.
Rychlost
Rychlost programování buněk ECRAM není omezena objemovou difúzí iontů. K vyvolání změny vodivosti jim stačí překročit rovinu rozhraní mezi elektrolytem a kanálem. Nanosekundové zápisové impulsy mohou skutečně spustit programování. Kompromisy mezi hradlovou kapacitou , elektronickou vodivostí atd. Mohou vést k usazovacím přechodům, což omezuje maximální frekvenci čtení a zápisu.
Pole
Pole ECRAM jsou integrována do rozložení pseudo-příčníku, přičemž přístupová linka brány je společná pro všechna zařízení v řádku nebo sloupci. Pokud ke změně elektrochemického potenciálu , hnací síly baterie, dojde při iontové výměně mezi kanálem a hradlovou elektrodou, existuje potenciál otevřeného obvodu (OCP) na hradlovém kontaktu a bude se lišit od zařízení v závislosti na naprogramovaném stavu. Aby se zabránilo vzájemnému rozhovoru mezi buňkami sdílejícími linku brány, je do série s paměťovým prvkem přidáno přístupové zařízení k izolaci každé z nich. Potlačení OCP v konstrukci ECRAM minimalizuje velikost / složitost buňky a umožňuje paralelní čtení / programování polí zařízení bez selektoru.
Synaptická funkce
Zásada
Pro výpočet v paměti lze využít energeticky nezávislou paměť (NVM) , čímž se sníží frekvence přenosu dat mezi úložnými a zpracovatelskými jednotkami. To může v konečném důsledku zlepšit výpočetní čas a energetickou účinnost oproti hierarchickým systémovým architekturám odstraněním zúžení Von Neumann . Proto při použití víceúrovňových buněk (MLC) v uzlech příčných polí lze provádět analogové operace na časově nebo napěťově kódovaných datech, jako je násobení vektoru (vstupní signál řádku) × matice (paměťové pole). Podle Kirchoffových a Ohmových zákonů se výsledný vektor získá integrací proudu shromážděného v každém sloupci. U buněk ECRAM je na každý řádek přidán další řádek pro zápis buněk během programovacích cyklů, čímž se získá architektura pseudo-příčníku. V oblasti umělé inteligence (AI) , hluboké neuronové sítě (DNN) jsou použity pro klasifikaci a studijních úkolů, se spoléhat na velký počet operací matrice množí. Proto jsou analogové výpočty s technologií NVM pro tyto úkoly mimořádně atraktivní. Buňky ECRAM jsou jedinečně umístěny pro použití v analogových akcelerátorech hlubokého učení díky své inherentní deterministické a symetrické programovací povaze ve srovnání s jinými zařízeními, jako je odporová RAM (ReRAM nebo RRAM) a paměť fázových změn (PCM) .
Požadavky
Metrický | Jednotka | Cíl synaptické buňky NVM |
---|---|---|
Rozsah G. | nS | 9-72 |
poměr zapnutí / vypnutí | na | 8 |
Počet států | na | 1000 |
asymetrie nahoru / dolů | % | 5 |
napsat čas | ns | 1 |
Fyzická implementace umělých neuronových sítí (ANN) musí fungovat s přesností iso, když je srovnávána s váhami přesnosti plovoucí desetinné čárky v softwaru. Tím se nastaví hranice vlastností zařízení potřebných pro analogové akcelerátory hlubokého učení . Při navrhování své rezistivní procesorové jednotky (RPU) společnost IBM Research zveřejnila takové požadavky, jejichž podmnožina je zde uvedena. Algoritmus a společný design hardwaru je mohou trochu uvolnit, ale bez dalších kompromisů.
Použití NVM jako synaptických vah namísto úložiště znamená výrazně odlišné požadavky, pokud jde o rozsah cílového odporu, počet úrovní a rychlost a symetrii programování. Vzhledem k tomu, že výpočet v paměti probíhá paralelně přes pole, je mnoho zařízení řešeno souběžně, a proto musí mít vysoký průměrný odpor, aby omezil rozptyl energie. Aby bylo možné provádět vysoce přesné výpočty a být odolné vůči šumu, potřebuje buňka NVM velké množství odlišných stavů. Čas programování musí být pouze rychlý mezi úrovněmi, ne od nejvyššího po nejnižší stav odporu. Během každého programovacího cyklu ( zpětné šíření ) mohou být aktualizace hmotnosti negativní nebo pozitivní, a stopy nahoru / dolů proto potřebují symetrii, aby umožnily konvergenci algoritmů učení. Všechny technologie NVM s těmito cíli bojují. Jednotlivé buňky ECRAM mohou splňovat takové přísné metriky, ale musí také prokázat výtěžnost pole s vysokou hustotou a stochasticitu.
Ukázky se synaptickými poli ECRAM
Sandia National Laboratories
Jak uvádí publikace Science z roku 2019, autor Elliot J. Fuller, Alec A. Talin a kol. od Sandia National Laboratories , ve spolupráci se Stanford University a University of Massachusetts Amherst :
Pomocí koplanárních organických víceúrovňových buněk izolovaných zařízeními s vodivou mostní pamětí (CBM) tým demonstruje paralelní programování a adresování až v polích 3 × 3. Zejména je dvouvrstvá neuronová síť mapována do pole přenosem vah nezbytných k provedení úlohy odvození vedoucí k operaci XOR na binárním vstupním vektoru.
Ukázalo se, že jednotlivé buňky mají následující vlastnosti (ne všech bylo dosaženo ve stejné konfiguraci zařízení); rychlost = 1 MHz cykly čtení a zápisu, počet stavů> 50 (laditelný), rozsah odporu = 50-100 nS (laditelný), výdrž>10 8 operací zápisu, velikost = 50 × 50 μm 2 .
IBM Research
Jak bylo oznámeno v roce 2019 na zasedání IEEE International Electron Device Meeting (IEDM), Seyoung Kim, John Rozen a kol. od IBM Research:
Tým pomocí buněk ECRAM oxidů kovů bez selektoru demonstroval paralelní programování a adresování v 2 × 2 polích. Zejména se logistická regresní úloha provádí v paměti s 1000 vektory 2 × 1 jako tréninkovou sadou. Přizpůsobení 2D křivky je dosaženo v tuctu epoch.
Ukázalo se, že jednotlivé buňky mají následující vlastnosti (ne všech bylo dosaženo ve stejné konfiguraci zařízení); rychlost = 10 ns zapisovací impulsy, počet stavů> 1 000 (laditelný), rozsah odporu = 0-50 μS (laditelný), výdrž>10 7 operací zápisu, velikost <1 × 1 μm 2 .
Implementace buněk
Různé instituce demonstrovaly buňky ECRAM s velmi odlišnými materiály, rozložením a výkony.
Sada příkladů pro jednotlivé buňky je uvedena v tabulce.
Ion | Kanál | Velikost zařízení | Napište délku pulzu | Odkaz |
---|---|---|---|---|
Li+ |
WO 3 |
100 x 100 nm 2 | 5 ns | |
Li+ |
Li 1 − xCO 2 |
~1 mm 2 | 0,5 s | |
Li+ |
Grafen | 36 μm 2 | 10 ms | |
Li+ |
α-MO 3 |
~1 mm 2 | 10 ms | |
H+ |
PEDOT: PSS | 0,001 mm 2 | 5 ms | |
H+ |
WO 3 |
0,05 mm 2 | 5 ms | |
H+ |
WO 3 |
0,025 mm 2 | 210 ms | |
H+ |
WO 3 |
0,01 mm 2 | 0,1 s |
Li-ECRAM
Zařízení Li-ECRAM založená na lithiových iontech prokázala opakovatelné a řízené přepínání aplikací známých materiálů z technologie baterií do designu paměti. V důsledku toho mohou takové buňky vykazovat OCP, který se mění v průběhu několika voltů, v závislosti na naprogramovaném stavu.
H-ECRAM
Zařízení H-ECRAM založená na vodíkových iontech se osvědčila rychle a pro vyvolání programování vyžadují malé hnací síly. Vysoké difúzní koeficienty v různých materiálech mohou být doprovázeny nedostatkem retence v paměťové buňce, což má vliv na vytrvalost. Většina konstrukcí H-ECRAM používá kapalné a / nebo organické elektrolyty.
MO-ECRAM
ECRAM na bázi oxidu kovu jsou inspirovány materiály OxRam a technologií high-k / metal gate používanou v komerčních nabídkách polovodičů. MO-ECRAM umožňuje zanedbatelné operace zápisu OCP a sub-μs.
VLSI
Pro pokročilé polovodičové paměti nebo výpočetní aplikace musí být technologie kompatibilní s integrací velmi velkého rozsahu (VLSI) . To omezuje použité materiály a techniky používané k výrobě funkčních zařízení. Důsledky pro ECRAM jsou popsány zde.
Slévárna polovodičů
Polovodičové slévárny mohou pracovat s několika technologií a má přísná pravidla, pokud jde o materiály, které jsou zavedeny do své drahé sada nástrojů se zabránilo křížové kontaminaci a ztráty výtěžku zařízení. Zejména kovové mobilní ionty, pokud jsou přítomny v aktivních oblastech, mohou vyvolat posun zařízení a ovlivnit spolehlivost. Existuje několik dalších ohledů na slévárny; včetně bezpečnosti, nákladů, objemu atd. Proto lithium-iontový Li-ECRAM čelí jedinečným výzvám nad rámec přítomnosti OCP.
Zadní konec řádku (BEOL)
Paměťová pole vyžadují pro provoz a propojení se zbytkem výpočetního systému logické periferie. Taková periferie je založena na tranzistorech s efektem pole (FET) postavených na povrchu křemíkových destiček s vysokým tepelným rozpočtem na přední straně linky (FEOL) . Paměťové buňky lze vložit mezi horní úrovně kovu na zadním konci linky (BEOL), ale stále budou muset zůstat nedotčeny teplotami do ~ 400 ° C použitými v následujících krocích. Spolu s výzvami vzorování s vysokou hustotou tato omezení činí organická zařízení pro takovou integraci nevhodnými.
Heterogenní integrace (HI)
Jedním ze způsobů, jak zavést nové paměťové materiály, může být použití heterogenní integrace (HI), kde je pole zařízení vyrobeno nezávisle na logických ovládacích prvcích a poté připojeno k čipu obsahujícímu FET, aby bylo umožněno jeho použití jako paměti s velkou šířkou pásma (HBM) . Náklady a složitost spojená s takovým schématem však negativně ovlivňují návrh hodnoty pro přemístění stávajících paměťových technologií.
Reference
externí odkazy
- Moore, SK (11. prosince 2018). "Hledání dokonalé umělé synapse pro AI" . IEEE spektrum .
- Ambrogio, S .; Adusumilli, P .; Eleftheriou, E. (11. prosince 2019). „Cesta k„ dokonalému “analogovému materiálu a systému: IBM at IEDM and NeurIPS“ . IBM Research Blog .
- Chandler, DL (19. června 2020). „Inženýři navrhují zařízení, které funguje jako mozková synapse“ . Zprávy MIT .
- Kubota, T. (25. dubna 2019). „Umělá synapse stanfordských vědců je rychlá, efektivní a trvanlivá“ . Stanfordské zprávy .
- „Sandia Powers Průlomy v neuromorfních výpočtech“ . uvnitř HPC . 1. května 2019.