InfiniBand - InfiniBand

Obchodní asociace InfiniBand
InfiniBand Trade Association logo.jpg
Formace 1999
Typ Průmyslová obchodní skupina
Účel Propagace InfiniBand
Hlavní sídlo Beaverton, Oregon , USA
webová stránka www .infinibandta .org

InfiniBand ( IB ) je komunikační standard počítačových sítí používaný ve vysoce výkonných počítačích, který se vyznačuje velmi vysokou propustností a velmi nízkou latencí . Používá se k propojení dat mezi počítači i uvnitř počítačů. InfiniBand se také používá jako přímé nebo přepínané propojení mezi servery a úložnými systémy a také jako propojení mezi úložnými systémy. Je navržen tak, aby byl škálovatelný a používá topologii přepínané síťové sítě . Do roku 2014 to bylo nejčastěji používané propojení v seznamu superpočítačů TOP500 , přibližně do roku 2016.

Společnost Mellanox (získaná společností Nvidia ) vyrábí adaptéry hostitelské sběrnice InfiniBand a síťové přepínače , které ve svých produktových řadách používají velcí prodejci počítačových systémů a databází. Jako propojení počítačových klastrů IB soutěží s ethernetem , Fibre Channel a Intel Omni-Path . Technologii propaguje obchodní sdružení InfiniBand .

Dějiny

InfiniBand vznikl v roce 1999 sloučením dvou konkurenčních návrhů: Future I/O a Next Generation I/O (NGIO). NGIO vedl Intel se specifikací vydanou v roce 1998 a připojily se k němu Sun Microsystems a Dell . Za budoucí I/O stála společnost Compaq , IBM a Hewlett-Packard . To vedlo ke vzniku InfiniBand Trade Association (IBTA), která zahrnovala jak sady prodejců hardwaru, tak i dodavatele softwaru, jako je Microsoft . V té době se mělo za to, že některé z výkonnějších počítačů se blíží úzkému propojovacímu bodu sběrnice PCI , a to navzdory upgradům, jako je PCI-X . Verze 1.0 specifikace InfiniBand Architecture byla vydána v roce 2000. Zpočátku byla vize IBTA pro IB současně náhradou za PCI v I/O, ethernet ve strojovně , propojení clusteru a Fibre Channel . IBTA také předpokládala rozklad serverového hardwaru na IB tkanině .

Společnost Mellanox byla založena v roce 1999 za účelem vývoje technologie NGIO, ale v roce 2001 dodala produktovou řadu InfiniBand s názvem InfiniBridge rychlostí 10 Gbit/s. Po výbuchu dot-com bubliny došlo v průmyslu k váhání investovat do tak dalekosáhlého technologického skoku. Do roku 2002 společnost Intel oznámila, že namísto zasílání integrovaných obvodů IB („čipů“) se zaměří na vývoj PCI Express a společnost Microsoft ukončila vývoj IB ve prospěch rozšíření ethernetu. Sun a Hitachi nadále podporovaly IB.

V roce 2003 superpočítač System X postavený ve společnosti Virginia Tech používal InfiniBand v tom, co bylo v té době odhadováno jako třetí největší počítač na světě. OpenIB Alliance (později přejmenovaná OpenFabrics Alliance) byla založena v roce 2004, aby vytvořila otevřenou sadu softwaru pro Linux kernel. V únoru 2005 byla podpora přijata do jádra 2.6.11 Linux. V listopadu 2005 byla konečně uvolněna úložná zařízení pomocí InfiniBand od prodejců, jako je Engenio.

Z 500 nejlepších superpočítačů v roce 2009 byl Gigabit Ethernet technologií interního propojení ve 259 instalacích, ve srovnání se 181 pomocí InfiniBand. V roce 2010 se vedoucí představitelé trhu Mellanox a Voltaire spojili a zbyl jen jeden další dodavatel IB, QLogic , především prodejce Fibre Channel . Na mezinárodní konferenci superpočítačů v roce 2011 byly ohlášeny a předvedeny spoje běžící rychlostí přibližně 56 gigabitů za sekundu (známé jako FDR, viz níže) propojením stánků na veletrhu. V roce 2012 získala společnost Intel technologii InfiniBand společnosti QLogic, přičemž zbyl pouze jeden nezávislý dodavatel.

Do roku 2014 byl InfiniBand nejoblíbenější technologií interního připojení pro superpočítače, ačkoli do dvou let jej 10 Gigabit Ethernet začal vytlačovat. V roce 2016 bylo oznámeno, že společnost Oracle Corporation (investor do společnosti Mellanox) by mohla navrhnout svůj vlastní hardware InfiniBand. V roce 2019 získala Nvidia společnost Mellanox, posledního nezávislého dodavatele produktů InfiniBand.

Specifikace

Specifikace jsou publikovány obchodním sdružením InfiniBand.

Výkon

Původní názvy rychlostí byly single-data rate (SDR), double-data rate (DDR) a quad-data rate (QDR), jak je uvedeno níže. Následně byly přidány další třípísmenné zkratky pro ještě vyšší přenosové rychlosti.

Charakteristika
  SDR DDR QDR FDR10 FDR EDR HDR NDR XDR
Rychlost signalizace (Gbit/s) 0002.5 0005 0010 0010,3125 0014,0625 0025,78125 0050 0100 0250
Teoretická
efektivní
propustnost
( Gb/s ) 		za 01 odkazs 0002 0004 0008 0010 0013,64 0025 0050 0100 0250
za 04 odkazy 0008 0016 0032 0040 0054,54 0100 0200 0400 1000
za 08 odkazů 0016 0032 0064 0080 0109,08 0200 0400 0800 2000
za 12 odkazů 0024 0048 0096 0120 0163,64 0300 0600 1200 3000
Kódování ( bity ) 8b/10b 64b/66b PAM4 tbd
Latence adaptéru ( µs ) 0005 0002.5 0001.3 0000,7 0000,7 0000,5 méně? tbd tbd
Rok 2001, 2003 2005 2007 2011 2011 2014 2018 2021 po roce 2023?

Odkazy lze agregovat: většina systémů používá agregát 4 ×. Spojení 8 × a 12 × se obvykle používá pro propojení počítačových clusterů a superpočítačů a pro propojení mezi přepínači .

InfiniBand poskytuje možnosti vzdáleného přímého přístupu do paměti (RDMA) pro nízkou režii procesoru.

Topologie

InfiniBand používá topologii přepínaných tkanin , na rozdíl od raného sdíleného středního ethernetu . Všechny přenosy začínají nebo končí na kanálovém adaptéru. Každý procesor obsahuje adaptér hostitelského kanálu (HCA) a každé periferie má adaptér cílového kanálu (TCA). Tyto adaptéry si také mohou vyměňovat informace za účelem zabezpečení nebo kvality služeb (QoS).

Zprávy

InfiniBand přenáší data v paketech až do velikosti 4 kB, které jsou společně spojeny do zprávy. Zpráva může být:

  • vzdálený přímý přístup do paměti pro čtení nebo zápis
  • kanál odesílat nebo přijímat
  • transakční operace (kterou lze vrátit)
  • multicast přenos
  • atomová operace

Fyzické propojení

Přepínač InfiniBand s konektory CX4/SFF-8470

Kromě připojení deskového formátu může využívat aktivní i pasivní měď (až 10 metrů) a kabel z optických vláken (až 10 km). Používají se konektory QSFP .

Sdružení InfiniBand také specifikovalo systém konektorů CXP pro rychlosti až 120 Gbit/s přes měď, aktivní optické kabely a optické transceivery využívající paralelní vícerežimové vláknové kabely s 24vláknovými MPO konektory.

Softwarová rozhraní

Podpora operačního systému Mellanox je k dispozici pro systémy Solaris , FreeBSD , Red Hat Enterprise Linux , SUSE Linux Enterprise Server (SLES), Windows , HP-UX , VMware ESX a AIX .

InfiniBand nemá žádné specifické standardní rozhraní pro programování aplikací (API). Norma uvádí pouze sadu sloves jako ibv_open_devicenebo ibv_post_send, což jsou abstraktní reprezentace funkcí nebo metod, které musí existovat. Syntaxe těchto funkcí je ponechána na prodejcích. Někdy se to pro informaci nazývá slovesa API. De facto standard software vyvinutý OpenFabrics aliance a nazval Open Tkaniny Enterprise Distribution (software OFED). Je vydáván pod dvěma licencemi GPL2 nebo BSD s licencí pro Linux a FreeBSD a jako Mellanox OFED pro Windows (názvy produktů: WinOF / WinOF-2; přidává se jako ovladač hostitelského ovladače pro přizpůsobení konkrétních zařízení ConnectX 3 až 5) pod výběrem BSD licence pro Windows. Byla přijata většinou prodejců InfiniBand pro Linux , FreeBSD a Microsoft Windows . IBM označuje softwarovou knihovnu nazývanou libversbpro svůj operační systém AIX a také „slovesa AIX InfiniBand“. Podpora jádra Linuxu byla integrována v roce 2005 do verze jádra 2.6.11.

Ethernet přes InfiniBand

Ethernet přes InfiniBand, zkráceně EoIB, je ethernetová implementace přes protokol InfiniBand a technologii konektorů. EoIB umožňuje více šířek pásma Ethernetu, které se liší od verze InfiniBand (IB). Implementace ethernetové sady Internet Protocol Suite , obvykle označované jako TCP/IP, se v některých detailech liší od přímého protokolu InfiniBand v IP přes IB (IPoIB).

Výkon ethernetu přes InfiniBand
Typ Dráhy Šířka pásma (Gbit/s) Kompatibilní typy ethernetu Kompatibilní množství ethernetu
SDR 001 0002.5 GbE až 2,5 GbE 02 × GbE až 1 × 02,5 GbE
004 0010 GbE až 10 GbE 10 × GbE až 1 × 10 GbE
008 0020 GbE až 10 GbE 20 × GbE až 2 × 10 GbE
012 0030 GbE až 25 GbE 30 × GbE až 1 × 25 GbE + 1 × 05 GbE
DDR 001 0005 GbE až 5 GbE 05 × GbE až 1 × 05 GbE
004 0020 GbE až 10 GbE 20 × GbE až 2 × 10 GbE
008 0040 GbE až 40 GbE 40 × GbE až 1 × 40 GbE
012 0060 GbE až 50 GbE 60 × GbE až 1 × 50 GbE + 1 × 10 GbE
QDR 001 0010 GbE až 10 GbE 10 × GbE až 1 × 10 GbE
004 0040 GbE až 40 GbE 40 × GbE až 1 × 40 GbE

Viz také

Reference

externí odkazy