DeepSpeed - DeepSpeed
| Původní autoři | Microsoft Research |
|---|---|
| Vývojáři | Microsoft |
| První vydání | 18. května 2020 |
| Stabilní uvolnění | v0.3.16 / 30. dubna 2021
|
| Úložiště | github |
| Napsáno | Python , CUDA , C ++ |
| Typ | Softwarová knihovna |
| Licence | Licence MIT |
| webová stránka | deepspeed |
DeepSpeed je open source knihovna pro hluboké učení optimalizace pro PyTorch . Knihovna je navržena tak, aby snížila výpočetní výkon a využití paměti a vycvičila velké distribuované modely s lepším paralelismem na stávajícím počítačovém hardwaru . DeepSpeed je optimalizován pro trénink s nízkou latencí a vysokou propustností. Zahrnuje Zero Redundancy Optimizer (ZeRO) pro tréninkové modely se 100 miliardami a více parametry. Mezi funkce patří trénink smíšené přesnosti, trénink s jedním GPU, trénink s více GPU a s více uzly, stejně jako paralelismus vlastních modelů. Zdrojový kód DeepSpeed je licencován pod licencí MIT a je k dispozici na GitHubu .
Tým tvrdil, že dosáhl až 6,2násobného zlepšení propustnosti, 2,8x rychlejší konvergence a 4,6x méně komunikace.
Viz také
Reference
Další čtení
-
Rajbhandari, Samyam; Rasley, Jeff; Ruwase, Olatunji; On, Yuxiong (2019). „ZeRO: Optimalizace paměti směrem k tréninku modelů bilionů parametrů“ (PDF) . arXiv : 1910.02054 . Citovat deník vyžaduje
|journal=( pomoc )
externí odkazy
- AI v měřítku - Microsoft Research
- GitHub - Microsoft / DeepSpeed
- ZeRO & DeepSpeed: Nové optimalizace systému umožňují tréninkové modely s více než 100 miliardami parametrů - Microsoft Research
 |
Tento článek o softwaru vytvořeném nebo vyrobeném společností Microsoft je útržek . Wikipedii můžete pomoci rozšířením . |