Logotipo de ARISTAGuía de implantación
Redes Ethernet de alto rendemento para

Sistemas de Intelixencia Artificial
Guía de configuración e despregamento

Introdución: Redes de IA de 400G

Coa proliferación da IA/ML, o almacenamento desagregado e a computación de alto rendemento (HPC), os centros de datos actuais requiren unha rede de alto rendemento e baixa latencia. Co tamaño das bases de datos en constante crecemento e a demanda de gran ancho de banda para o movemento de datos entre os nodos de procesamento, o transporte fiable é fundamental. A medida que evoluciona o futuro das aplicacións do metaverso, a rede debe adaptarse ao enorme crecemento da transferencia de datos debido ás aplicacións con uso intensivo de datos e computación. Os adaptadores Ethernet de Broadcom (tamén coñecidos como NIC Ethernet) xunto cos conmutadores de Arista Networks (baseados na familia de ASIC DNX e XGS de Broadcom) aproveitan RDMA (acceso directo remoto á memoria) para eliminar calquera obstáculo na conectividade e facilitar un transporte de alto rendemento e baixa latencia.

Conceptos básicos da arquitectura do servidor
Antes de afondar nos detalles de como maximizar o rendemento da rede, é fundamental comprender os conceptos básicos da arquitectura de servidores e redes. O diagrama seguinte mostra unha arquitectura de moi alto nivel e os compoñentes clave dun servidor de IA estándar. Os requisitos de rendemento máis altos nunha rede adoitan estar na parte "Estrutura de escalabilidade horizontal" do servidor/rede que se mostra a continuación, e este é o foco desta Guía de configuración e implementación.

Tecido da parte dianteira: A estrutura front-end é a infraestrutura de rede que interconecta diferentes funcións como aplicacións, almacenamento e xestión de clústeres de GPU en banda. En función das necesidades de rendemento, esta estrutura xeralmente só require unha ou dúas NIC por servidor.
Tecido de IA interno: A estrutura de IA interna integra os compoñentes clave de hardware, incluíndo as GPU, as CPU, as NIC e o almacenamento. Isto conséguese mediante o uso de conmutadores PCIe.
Tecido a escala: A estrutura de ampliación serve para a comunicación intranota de GPU a GPU (normalmente só dentro do servidor). Esta estrutura créase usando interfaces nativas da GPU, incluíndo Infinity Fabric de AMD, Ethernet e NVLink de Nvidia.
Tecido escalable: A estrutura de escalabilidade horizontal é a estrutura que se usa para interconectar servidores de IA para crear clústeres. Esta estrutura é esencial para as cargas de traballo distribuídas que requiren os modelos de IA e require unha rede de alto ancho de banda e baixa latencia. Os requisitos de rendemento da estrutura de escalabilidade horizontal adoitan esixir unha NIC por GPU con anchos de banda PCIe correspondentes (por exemplo, PCIe Gen5 x16 ou 400 Gbps). A NIC e a GPU comunícanse a través do conmutador PCIe mediante un protocolo peer-to-peer altamente eficiente, o que lle dá á GPU acceso sen bloqueos e de baixa latencia á rede de escalabilidade horizontal, o que permite transferencias rápidas de datos a outras GPU do clúster.

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: arquitectura básica de servidor de IAFigura 1: Arquitectura básica do servidor de IA

Arquitecturas de rede para IA
A medida que evolucionan as redes de IA, tamén o fan as implementacións de conmutadores de rede. Arista admite todas as configuracións de implementación de rede, por exemplo, CLOS, incluíndo multi-s.tage, Planar (baseado en rieles).

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: conmutadores Arista en estrutura de follas por capasFigura 2: Interruptores Arista no deseño baseado en plano/espiña lámina en capas

Topoloxía CLOS: Multi-stagA arquitectura consiste en varios elementostagde conmutadores, proporcionando rutas múltiples de igual custo para que o tráfico flúa.

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: topoloxía de espiña dorsalFigura 3: Topoloxía da espiña foliar

Topoloxía baseada en planar (carril): SolteirostagA arquitectura e consiste normalmente nunha única capa de conmutadores ou enrutadores conectados de forma lineal ou en anel. As capas individuais están interconectadas mediante un conmutador de capa superior.

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: topoloxía baseada en rielesFigura 4: Topoloxía planar/baseada en carriles

RDMA sobre Ethernet converxente (RoCE)

RoCE (RDMA sobre Ethernet converxente) é un protocolo de rede que permite RDMA sobre unha rede Ethernet. RDMA axuda a reducir a carga de traballo da CPU, xa que descarga todas as tarefas de comunicación de transporte da CPU ao hardware e proporciona acceso directo á memoria para as aplicacións sen involucrar á CPU. A segunda versión de RoCE (RoCE-v2) mellora o protocolo cunha cabeceira UDP/IP e habilita un RoCE enrutable. Os adaptadores Ethernet de Broadcom admiten RoCEv2 no hardware e permiten un maior rendemento, unha menor latencia e unha menor utilización da CPU, que son fundamentais para aplicacións de IA/ML, almacenamento e computación de alto rendemento (HPC).

RoCEv2 ofrece tres vantaxestages:

  • Funcionamento en redes ethernet enrutadas, omnipresentes en grandes centros de datos
  • QoS IP: o punto de código DiffServ (DSCP) ou, alternativamente, VLAN PRI
  • Control de conxestión IP: o sinal de notificación de conxestión explícita (ECN)

Para eliminar a posible perda de paquetes e a alta latencia nas redes Ethernet, RoCEv2 emprega mecanismos de control de conxestión compatibles cos conmutadores Arista e as NIC de Broadcom, como o control de fluxo prioritario (PFC), a notificación explícita de conxestión (ECN), etc.

Tráfico de rede GPU con RDMARedes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: RoCE con NIC Broadcom e conmutador AristaFigura 5: RoCE con NIC de Broadcom e conmutador Arista

RoCEv2 tamén define un paquete de notificación de conxestión (CNP). As RNIC envían CNP en resposta ás marcas de conxestión experimentada (CE) da ECN para indicar que se debe reducir a taxa de transmisión. A marcaxe ECN realízase mediante conmutadores ao longo da ruta entre a orixe e o destino ou pola NIC receptora. Os CNP están asociados ás conexións RoCE, proporcionando información detallada de notificación de conxestión por conexión. RoCEv2 só especifica o mecanismo para marcar paquetes cando se experimenta conxestión e o formato da resposta CNP. Deixa a implementación do algoritmo de control de conxestión sen especificar, incluíndo a seguinte información:

  • Cando os paquetes están marcados ECN (en que nivel de cola e con que probabilidade)
  • Cando se xeran CNP en resposta a ECN
  • Como se axusta a taxa de envío en resposta ao CNP

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: tráfico RoCE na rede de centros de datosFigura 6: tráfico RoCE na rede de centros de datos

Implementación de RoCE en conmutadores Arista
O sistema operativo extensible Arista (EOS®) é o núcleo das solucións de rede na nube de Arista para centros de datos de última xeración e redes de computación de alto rendemento. Arista EOS proporciona todas as ferramentas necesarias para conseguir unha rede premium sen perdas, de alto ancho de banda e baixa latencia. EOS admite a configuración da xestión do tráfico, esquemas de asignación de búfer axustables e o uso de PFC e DCQCN para soportar despregamentos de RoCE nas series Arista 7280R, 7800R, 7050X e 7060X. O conmutador Arista exacto que se vai usar depende do caso de uso específico.

Táboa 1: Casos de uso de conmutadores de centros de datos Arista para RoCE

Portfolio de Arista Descrición
7060X5 e 7060X6 Portfolio de conmutadores fixos de alta densidade de 800G para IA e CC
7280R3 e 7800R3 Plataformas de buffer profundo dinámico de alto rendemento de 400G e 800G
7700R4 Conmutador Ethernet distribuído de 800G para computación acelerada

As series Arista 7280R e 7800R baséanse nas familias de chipsets Broadcom Jericho. Equipadas con búferes profundos e mecanismos de programación de colas de saída virtuais, garanten a transmisión sen perdas de datos de extremo a extremo. A serie 7280R é a familia de conmutadores de configuración fixa, mentres que a serie 7800R é a liña modular de conmutadores.
As series Arista 7050X e 7060X baséanse nas familias de chipsets Broadcom Trident e Tomahawk, respectivamente. Grazas á súa ampla compatibilidade con funcións e á baixa latencia, as series 7050X e 7060X son perfectas para implementacións robustas e altamente eficientes.
A instalación e configuración xeral dos interruptores Arista está dispoñible aquí.
Unha vez establecida a conectividade de rede de extremo a extremo, pódese activar o control de fluxo prioritario (PFC) ou a notificación explícita de conxestión (ECN) para garantir o transporte sen perdas do tráfico RoCE.

Configuración e verificación de PFC en conmutadores Arista

A PFC é un dos aspectos máis importantes das implementacións exitosas de RoCE. A PFC especifica un mecanismo de control de fluxo na capa de enlace entre pares conectados directamente. Emprega as tramas PAUSE 802.3 para implementar medidas de control de fluxo para varias clases de tráfico. Os conmutadores poden descartar o tráfico menos importante e notificar aos dispositivos pares que pausen o tráfico en clases específicas para que os datos críticos non se descarten e se permita que pasen polo mesmo porto sen ningunha restrición.
Esta capacidade de calidade de servizo (QoS) permite un tratamento diferenciado do tráfico segundo a CoS/prioridade e alivia a conxestión ao garantir que as E/S críticas non se interrompan e que se poida descartar outro tráfico non crítico que sexa máis tolerante ás perdas. Cada prioridade configúrase como descarte ou sen descarte. Se unha prioridade designada como sen descarte está conxestionada, a prioridade ponse en pausa. As prioridades de descarte non participan na pausa.

Configuración de PFC
O comando CLI para activar PFC na interface é "priority-flow-control mode on" e "priority-flow-control priority "no-drop" activa PFC nesa cola de transmisión.

  • Activar PFC na interface.
    arista(configuración)#interface ethernet 3/1/1
    arista(config-if-Et3/1/1)#modo-de-control-de-fluxo-prioritario-activado
  • Activar PFC para TC específicos.
    arista(config-if-Et3/1/1)#control-de-fluxo-prioridade prioridade 0 sen-perda

O comando anterior debería executarse para todos os TC nos que o usuario desexe activar o PFC.
Example Configuración
A seguinte configuración mostra como se pode configurar PFC para TC3 e TC4 na interface Ethernet 2/1/1 nun conmutador Arista.
interface Ethernet2/1/1
MTU 9000
velocidade 200G-4
sen switchport
Modo de control de fluxo prioritario activado
control-de-fluxo-prioritario prioridade 3 sen-perda
control-de-fluxo-prioritario prioridade 4 sen-perda
!
Mostrar ordes

1. mostrar interfaces de control de fluxo de prioridade ethernet <>
arista#mostrar interfaces de control de fluxo de prioridade ethernet 3/1/1
O hardware admite PFC nas prioridades 0 1 2 3 4 5 6 7
O procesamento de recepción PFC está activado nas prioridades 0 1 2 3 4 5 6 7
O tempo límite do vixilante do PFC é de 1.0 segundo(s)
O tempo de recuperación do vixilante do PFC é de 2.0 segundos (automático)
O intervalo de sondaxe do vixilante do PFC é de 0.2 segundos
A acción de vixilancia do PFC é eliminada
A acción de anulación do vixilante do PFC que se elimina é falsa. PFC global: desactivado.
E: PFC activado, D: PFC desactivado, A: PFC activo, W: Controlador PFC activo
Prioridades do estado do porto Acción Tempo de espera Recuperación Sondaxe Nota
Configuración de intervalo/modo/operación
———————————————————————————————————————
Et3/1/1 E – – 01 – – – / – – /- DCBX
desactivado
Porto RxPfc TxPfc
Et3/1/1 0 0
2. mostrar interfaces de control de fluxo de prioridade ethernet < > contadores
arista#mostrar interfaces de control de fluxo de prioridade ethernet 3/1/1
contadores
Porto RxPfc TxPfc
Et3/1/1 0 0
3. mostrar o estado ethernet < > da interface de control de fluxo de prioridade
arista#mostrar interfaces de control de fluxo de prioridade ethernet 3/1/1
estado
O hardware admite PFC nas prioridades 0 1 2 3 4 5 6 7
O procesamento de recepción PFC está activado nas prioridades 0 1 2 3 4 5 6 7
O tempo límite do vixilante do PFC é de 1.0 segundo(s)
O tempo de recuperación do vixilante do PFC é de 2.0 segundos (automático)
O intervalo de sondaxe do vixilante do PFC é de 0.2 segundos
A acción de vixilancia do PFC é eliminada
A acción de anulación do vixilante do PFC que se elimina é falsa
PFC global: Desactivado
E: PFC activado, D: PFC desactivado, A: PFC activo, W: Controlador PFC activo
Prioridades do estado do porto Acción Tempo de espera Recuperación Sondaxe Nota
Configuración de intervalo/modo/operación
——————————————————————————————Et3/1/1
E – – 01 – – – / – – / – DCBX
Desactivado

Configuración e verificación de ECN en conmutadores Arista

A Notificación Explícita de Conxestión (ECN) é unha extensión de TCP/IP que proporciona notificación de extremo a extremo da conxestión inminente da rede antes da perda. Dous bits (bit 0 e bit 1) no byte ToS da cabeceira IP úsanse para a ECN. É dicir, os bits ECN no byte ToS definen un paquete de 4 xeitos diferentes:

  • 00 – (predeterminado) indica que o paquete non é compatible con ECN
  • 01 – indica que o paquete é compatible con ECN
  • 10 – indica que o paquete é compatible con ECN
  • 11 – indica que se produciu unha conxestión nalgún lugar da rede

A ECN é unha funcionalidade opcional que só se usa cando ambos os extremos a admiten. A ECN debe considerarse complementaria á PFC para o comportamento da rede sen perdas e, polo tanto, é un compoñente integral da RoCE. Os bits da ECN márcanse no tráfico de certas clases cando se superan os limiares de búfer configurados.
A ECN funciona mediante un algoritmo de xestión activa de colas (AQM), a detección temperá aleatoria ponderada (WRED), para detectar a conxestión no dispositivo de rede e marcar o tráfico compatible con ECN cun indicador ECN.

Nota: A ECN só se usa cando ambos os extremos a admiten e están dispostos a usala. Os paquetes están marcados con ECN segundo WRED do seguinte xeito:

  • Se o tamaño medio da cola (é dicir, o número de paquetes na cola) está por debaixo do limiar mínimo, os paquetes póñense na cola como no funcionamento normal sen ECN.
  • Se o tamaño medio da cola é maior que o limiar máximo, os paquetes márcanse para conxestión.
  • Se o tamaño medio da cola está entre o limiar mínimo e o máximo da cola, os paquetes póñense en cola ou márcanse.
    A proporción de paquetes marcados aumenta linealmente desde o 0 % no limiar mínimo ata o 100 % no limiar máximo.

Configuración da ECN

  • A ECN está configurada na cola de transmisión de saída dunha interface
    arista(configuración)#interface ethernet 6/1/1
    arista(config-if-Et6/1/1)#tx-queue 6
    # Examplimiar probabilístico
    arista(config-if-Et6/1/1-txq-6)#detección-aleatoria ecn limiar-mínimo 500 kbytes máximo-
    limiar 1500 kbytes probabilidade-de-marca-máxima 25
    # Examplimiar determinista
    arista(config-if-Et6/1/1-txq-6)#detección-aleatoria ecn limiar-mínimo 256 kbytes máximo-
    limiar 256 kbytes probabilidade-de-marca-máxima 100
  • Activar os contadores ECN na cola de transmisión
    arista(config-if-Et6/1/1-txq-6)#detección aleatoria de reconto ECN
  • Activar a función de contador ECN no hardware
    arista(config)#función de contador de hardware ecn out
    arista(config)#mostrar a funcionalidade do contador de hardware | grep -i ECN
    ECN eliminado Jericho2: 1 arriba
  • En DCS-7280R, DCS-7280R2, DCS-7500R, DCS-7500R2, DCS-7280R3, DCS-7500R3 e DCS-7800R3, requírese a seguinte CLI para asignar recursos de contador para os contadores ECN.
    arista(config)# [non | predeterminado] función de contador de hardware ecn out

Vixilancia da PFC

A función de vixilancia de control de fluxo prioritario (PFC) monitoriza as interfaces do conmutador para detectar tormentas de pausa de control de fluxo prioritario. Se se detectan tales tormentas, realiza accións como:

  • Desactivar a reacción aos fotogramas de pausa recibidos
  • Deixa de enviar paquetes a estas interfaces e descarta calquera paquete entrante destas interfaces.

A recepción de tormentas de pausa de PFC adoita ser unha indicación dun nodo con mal comportamento augas abaixo, e non se desexa propagar esta conxestión augas arriba. Teña en conta que a granularidade da monitorización é por porto e por prioridade.

Configuración
Configura o intervalo para sondear as colas:
arista(config)# control-de-fluxo-de-prioridade pausa vixilante intervalo-de-sondeo-predeterminado ?
<0.1 – 30> Intervalo de sondaxe en segundos
Configura o intervalo despois do cal o porto debería comezar a descartar paquetes en prioridades conxestionadas:
arista(config)# control-de-fluxo-de-prioridade pausa tempo-de-espera-predeterminado do vixilante ?
<0.2-60> Valor do tempo límite en segundos
Configura o intervalo despois do cal os portos atascados e as prioridades, cando estea libre de PFC Pause, deberían recuperarse e comezar a reenviar:
arista(config)# control-de-fluxo-de-prioridade pausa vixilante tempo-de-recuperación-predeterminado ?
<0.2-60> Tempo de recuperación en segundos
Configura a acción de vixilancia de PFC para que sexa eliminada:
arista(config)# control-de-fluxo-de-prioridade pausa acción de vixilancia eliminación
Se a acción de eliminación non está configurada, a acción predeterminada é deixar de reaccionar ás tramas de pausa PFC recibidas no (porto, prioridade)
experimentando a tormenta PFC Pause.

Mostrar comandos
# mostrar contadores de control de fluxo de prioridade vixilante
Tempo total de TxQ Tempo total de tempo
atascado recuperado
——————————————
Et3 UC1 6 6

Implementación de RoCE en adaptadores NIC Ethernet Broadcom
Deseñados para entornos empresariais e de escala na nube, os adaptadores NIC Ethernet Broadcom son a solución ideal para a conectividade de rede para computación de alto rendemento, conectividade segura de centros de datos e aplicacións de IA/ML. Broadcom admite unha ampla carteira de adaptadores NIC Ethernet que van desde velocidades de porto de 1 Gbps a 400 Gbps e ofrece o mellor rendemento da súa clase, aceleración de hardware e capacidades de descarga que resultan nun maior rendemento, maior eficiencia da CPU e menor latencia da carga de traballo para TCP/IP, así como para o tráfico RoCE. RoCE é compatible con adaptadores Ethernet baseados en ASIC BCM576xx (Thor2) e os adaptadores admiten velocidades de 400GE. Os adaptadores NIC Ethernet Broadcom con compatibilidade con RoCE están dispoñibles en factores de forma OCP e PCIE e resúmense na Táboa 2 e na Táboa 3 a continuación.

Táboa 2: Adaptadores NIC Broadcom OCP3.0 con compatibilidade con RoCE

Número de peza ASIC  Portos  E/S
BCM957608-N2200G BCM57608 2 x 200 G
1 x 400 G
QSFP112
BCM957608-N1400GD BCM57608 1 x 400 G QSFP112-DD

Táboa 3: Adaptadores NIC PCIE de Broadcom con compatibilidade con RoCE

Número de peza ASIC  Portos  E/S
BCM957608-P2200G BCM57608 2 x 200 G
1 x 400 G
QSFP112
BCM957608-P1400GD BCM57608 1 x 400 G QSFP112-DD

RoCE (RDMA sobre Ethernet converxida) é unha funcionalidade completa de descarga de hardware compatible cos controladores NIC Ethernet de Broadcom, que permite a funcionalidade RDMA sobre unha rede Ethernet. RoCE axuda a reducir a carga de traballo da CPU, xa que proporciona acceso directo á memoria para as aplicacións, evitando a CPU.

Control de conxestión RoCE en adaptadores NIC Ethernet Broadcom
Os adaptadores NIC Ethernet Broadcom admiten dous modos de control de conxestión (CC), DCQCN-P e DCQCN-D, onde DCQCN-P utiliza unha política de marcado ECN probabilístico, coa probabilidade de marcado aumentando linealmente dentro dun rango de niveis de cola conxestionada, mentres que DCQCN-D utiliza unha política de marcado ECN determinista como en DCTCP, onde o 100 % dos paquetes se marcan cando o nivel da cola conxestionada supera un limiar configurado.
En ambos os modos, a NIC realiza operacións moi semellantes e utiliza a mesma infraestrutura para controlar a velocidade de cada fluxo (par de colas ou QP, na terminoloxía RoCE). Non obstante, dado que o número de paquetes marcados ECN e, polo tanto, de CNP difiren, o cálculo de
o nivel de conxestión é diferente.
En DCQCN-P hai menos CNP que en DCQCN-D xa que cando o nivel da cola conxestionada comeza a subir, só unha pequena porcentaxetagOs paquetes que atravesan o conmutador están marcados como ECN. Algúns dos fluxos que reciben CNP reducen a súa velocidade mentres que outros non. Se a conxestión persiste, unha porcentaxe máis altatagMárcanse varios paquetes e é posible que máis fluxos reciban un sinal da rede e reduzcan a súa taxa. Polo tanto, cando hai moitos fluxos en competencia, o nivel da cola conxestionada pode subir a un nivel máis alto ata estabilizarse en comparación con DCQCN-D. Por outra banda, dado que hai máis CNP con DCQCN-D, hai unha maior carga na NIC ao procesar o fluxo de CNP e acceder ao contexto de fluxo asociado.
O algoritmo CC nos adaptadores NIC Ethernet Broadcom mellorouse en relación co documento DCQN orixinal debido a varios problemas no algoritmo orixinal. Para obter máis detalles, consulte o documento técnico sobre o control de conxestión para RoCE para adaptadores Ethernet Broadcom.

Guía de instalación para adaptadores NIC Ethernet Broadcom
Guía do usuario de Broadcom Ethernet, dispoñible publicamente, ofrece instrucións detalladas sobre como instalar RoCE en adaptadores de rede Ethernet Broadcom.

Actualización do firmware nos adaptadores NIC Ethernet Broadcom
O seguinte comando niccli úsase para actualizar o firmware do adaptador nos adaptadores NIC Ethernet Broadcom. Ten en conta que o comando niccli require acceso sudo ou root.
sudo niccli -i instalar
ExampLe:
sudo niccli -i 1 instala BCM957608-P1400G.pkg
Configuración da NVRAM
Para actualizar a configuración da NVRAM, use a utilidade niccli incluída coa versión. Execute niccli version para comprobar a versión que está a usar.

  • Asegúrate de que RDMA estea activado para o PF específico.
  • Para o rendemento RoCE, o rendemento profesionalfile A configuración de NVM CFG debe estar configurada en RoCE (valor 1). NOTA: É necesario reiniciar o host para que a nova configuración teña efecto.

Verifica a configuración de RDMA e rendemento cos seguintes comandos:
sudo niccli -i 1 nvm -getoption soporte_rdma -scope 0
sudo niccli -i 1 nvm -getoption rendemento_profile

O valor de saída para o parámetro support_rdma debería ser Enabled e o valor para performance_profile debería ler RoCE.
Para activar RDMA para o PF específico e para configurar o profesional de rendementofile para RoCE, use os seguintes comandos:
sudo niccli -i 1 nvm -setoption soporte_rdma -scope 0 -value 1
sudo niccli -i 1 nvm -setoption rendemento_profile -valor 1
Reinicie o sistema despois de configurar as opcións de NVRAM.
Requisitos do host para a compilación de controladores/bibliotecas
A compilación do controlador e da biblioteca depende de paquetes de compilación como automake, libtool, make, gcc, etc. Recoméndanse os seguintes paquetes segundo a distribución do sistema operativo que se estea a usar.
» CentOS/Redhat/Fedora
Consulta os seguintes comandos para os sistemas operativos CentOS, RedHat e Fedora:
instalación do grupo dnf "Ferramentas de desenvolvemento"
instalación do grupo dnf "Soporte de Infiniband"
yum install -y libibverbs-devel qperf perftest infiniband-diags make gcc kernel kernel-devel autoconf aclocal libtool libibverbs-utils rdma-core-devel
» Ubuntu/Debian
Consulta os seguintes comandos para os sistemas operativos Ubuntu ou Debian:
apt install -y automake autoconf libtool bc bison build-essential flex libibverbs-dev ibverbs-utils infiniband-diags perftest ethtool

Instalación do controlador de capa 2 e RoCE
Esta sección describe como instalar o controlador de comunicación de capa 2 (L2) e RoCE. O ficheiro tar de instalación contén netxtreme-bnxt_en- .tar.gz file. Isto file inclúe os controladores L2 e RoCE. Instala os controladores usando os seguintes comandos:
Vaia ao directorio na versión
CD /controladores_linux/paquete
VERSIÓN_DO_CONTROLADOR_BRCM=1.10.3-232.1.132.0
tar xvf netxtreme-bnxt_en-${BRCM_DRIVER_VERSION}.tar.gz
cd netxtreme-bnxt_en-${BRCM_DRIVER_VERSION}
facer
sudo make install
sudo depmod -a

Actualizando Initramfs
A maioría das distribucións de Linux empregan unha imaxe de disco RAM para almacenar os controladores para o arranque. Estes módulos do núcleo teñen prioridade, polo que o initramfs debe actualizarse despois de instalar os novos módulos bnxt_en/bnxt_re. Para os sistemas operativos CentOS, Redhat e Fedora, use sudo dracut -f e para os sistemas operativos Ubuntu/Debian use sudo update -initramfs -u.

Instalación da biblioteca RoCE
Esta sección describe como instalar a biblioteca RoCE. O ficheiro tar de instalación contén o ficheiro libbnxt_re- .tar.gz file. Isto file Inclúe a biblioteca libbnxt_re RoCE.

Executa os seguintes pasos.

  1. Para evitar posibles conflitos na biblioteca files, elimina ou renomea a biblioteca libbnxt RoCE da distribución de Linux usando o seguinte comando. O comando é un comando único e tenta localizar a biblioteca libbnxt_re da caixa de entrada nun dos directorios anteriores. Pode ser necesario executala como usuario sudo.
    atopar /usr/lib64 /usr/lib /lib64 -nome “libbnxt_re-rdmav*.so” -exec mv {} {}.inbox \;
  2. Compile e instale a biblioteca RDMA do espazo de usuario desde a fonte usando os seguintes comandos. Consulte Requisitos do host para a compilación de controladores/bibliotecas para obter información sobre as dependencias do paquete host que son necesarias para compilar a biblioteca RoCE desde a fonte. Teña en conta que a parte do comando que está en vermello escuro a continuación é específica da versión.
    CD /drivers_linux/bnxt_rocelib
    BRCM_LIB_VERSIÓN=232.1.132.0
    tar xvf libbnxt_re-${BRCM_LIB_VERSION}.tar.gz
    cd libbnxt_re-${BRCM_LIB_VERSIÓN}
    sh autogen.sh
    ./configure –sysconfdir=/etc
    facer
    sudo fai instalar todo
    sudo sh -c “echo /usr/local/lib >> /etc/ld.so.conf”
    sudo ldconfig
    sudo cp bnxt_re.driver /etc/libibverbs.d/
  3. Rexistra a suma md5 da biblioteca que se creou para verificar que a biblioteca correcta se está a executar usando o seguinte comando.
    atopar.-nome “*.so” -exec md5sum {} \;
  4. Emprega os seguintes comandos para identificar a ruta da biblioteca libbnxt_re que se está a usar no host e, a seguir, calcula a súa md5sum. A md5sum debe coincidir coa md5sum das bibliotecas compiladas no paso anterior.
    strace ibv_devinfo 2>&1 | grep libbnxt_re | grep -v 'Non tal file'
    md5sum mostrado polo último comando

Validación da instalación de RoCE
Despois de instalar os controladores e as bibliotecas, siga os seguintes pasos para validar a instalación de RoCE.
Confirmación do GUID para a interface RoCE
O GUID do nodo indica que RoCE se configurou correctamente no sistema. Hai dous comandos que se poden usar para confirmar o GUID da interface RoCE:

  • ibv_devices: indica se o GUID está dispoñible.
  • ibv_devinfo: indica se o GUID está dispoñible e proporciona detalles adicionais sobre a interface RoCE.

#dispositivos_ibv
GUID do nodo do dispositivo
bnxt_re0 be97e1fffeda96d0

# ibv_devinfo
hca_id: bnxt_re0
transporte: InfiniBand (0)
fw_ver: 232.1.132.0
node_guid: d604:e6ff:fe7e:5bbc
guid_da_imaxe_do_sis: d604:e6ff:fe7e:5bbc
ID do provedor: 0x14e4
id_da_peça_do_provedor: 5984
hw_ver: 0x11
phys_port_cnt: 1
porto: 1
estado: PORT_ACTIVE (4)
máx_mtu: 4096 (5)
mtu_activo: 4096 (5)
tapa_pequena: 0
tapa_do_porto: 0
porto_lmc: 0x00
capa_de_ligazón: Ethernet

Instalación do paquete de configuración de QOS de RoCE (bnxt_re_conf)
O paquete de configuración de QoS de RoCE (bnxt_re_conf) configura regras e scripts udev para configurar os parámetros de QoS de RoCE: valores PFC, CC, RoCE e CNP DSCP, etc. Bnxt_re_conf implica unha regra udev (90-bnxt_re.rules) que se activa cando se carga o dispositivo bnxt_re e invoca un script contenedor (bnxt_re_conf.sh) que tomaría os valores dos parámetros requiridos dunha configuración. file e executará a configuración usando bnxt_setupcc.sh.

O paquete bnxt_re_conf distribúese en varios formatos (Debian, RPM e ficheiro tar de código fonte). Dependendo da distribución do sistema operativo que se use, pódese usar o formato de paquete axeitado.
CD /drivers_linux/bnxt_re/bnxt_re_conf
dpkg -i bnxt_re_conf_232.0.155.5-1_all.deb
or
rpm -Uvh bnxt_re_conf-232.0.155.5-1.noarch.rpm

Recoméndase reiniciar o servidor se o paquete bnxt_re_conf se instala por primeira vez ou o contido de /etc/bnxt_re/bnxt_re.conf file modifícanse. Isto permite que a configuración de QOS de RoCE se aplique correctamente a cada NIC.
Despois de instalar o paquete bnxt_re_conf, asegúrate de que estea instalado correctamente comprobando a presenza do ficheiro /etc/bnxt_re/bnxt_re.conf. file. O file o contido debe coincidir cos valores de QOS configurados. Os valores predeterminados móstranse como segue:

# cat /etc/bnxt_re/bnxt_re.conf
ACTIVAR_FC=1
FC_MODE=3
ROCE_PRI=3
ROCE_DSCP=26
CNP_PRI=7
CNP_DSCP=48
ROCE_BW=50
UTILIDADE=3

A aplicación QOS RoCE correcta en cada NIC RoCE pódese verificar mediante o seguinte comando da ferramenta NICCLI proporcionado por Broadcom:
# sudo niccli -i 1 obter qos
TLV de configuración de IEEE 8021QAZ ETS:
MAPA_PRIOR: 0:0 1:0 2:0 3:1 4:0 5:0 6:0 7:2
Ancho de banda TC: 50% 50% 0%
TSA_MAP: 0:ets 1:ets 2:strict
TLV de PFC IEEE 8021QAZ:
PFC activado: 3
TLV da aplicación IEEE 8021QAZ:
APLICACIÓN Nº 0:
Prioridade: 7
Selección: 5
DSCP: 48
APLICACIÓN Nº 1:
Prioridade: 3
Selección: 5
DSCP: 26
APLICACIÓN Nº 2:
Prioridade: 3
Selección: 3
UDP ou DCCP: 4791
Límite de taxa TC: 100 % 100 % 100 % 0 % 0 % 0 % 0 % 0 %

Cando a NIC está configurada para RoCE nun host xunto co paquete de configuración de QOS de RoCE (bnxt_re_conf), a NIC configúrase automaticamente para DCQCN-P xunto cos seguintes axustes.

  • Os paquetes RoCE v2 están marcados cun valor DSCP de 26 e usan a prioridade 3 internamente.
  • Os paquetes CNP están marcados cun valor DSCP de 48 e usan a prioridade 7 internamente
  • PFC está activado para o tráfico de prioridade 3

Confirmar o fluxo de tráfico cara ao punto final remoto de RoCE
Se o punto final RoCE está configurado actualmente, o fluxo de tráfico pódese verificar usando unha das utilidades do paquete máis perfectas.

Uso do comando:
ib_write_bw -d bnxt_re0 -q 2 -F –informe_gbits
———————————————————————————————–
Proba de ancho de banda de RDMA_Write
Porto dual: DESACTIVADO Dispositivo: bnxt_re0
Número de qps: 2 Tipo de transporte: IB
Tipo de conexión: RC Usando SRQ: OFF
Orde de relaxación PCIe: ACTIVADA
API de ibv_wr*: DESACTIVADA
Moderación de CQ: 1
Mtu: 4096[B] Tipo de ligazón: Ethernet
Índice GID: 3
Datos en liña máx.: 0[B] rdma_cm QPs: OFF
Método de ex. de datos: Ethernet
————————————————————————————————
Enderezo local: LID 0000 QPN 0x2c04 PSN 0x9b1afe RKey 0x4000002 VAddr 0x007fa691285000
GID: 00:00:00:00:00:00:00:00:00:00:255:255:192:168:01:10
Enderezo local: LID 0000 QPN 0x2c03 PSN 0x3a1c10 RKey 0x4000002 VAddr 0x007fa691295000
GID: 00:00:00:00:00:00:00:00:00:00:255:255:192:168:01:10
Enderezo remoto: LID 0000 QPN 0x2c04 PSN 0x3ef2c9 RKey 0x4000002 VAddr 0x007f7ecc568000
GID: 00:00:00:00:00:00:00:00:00:00:255:255:192:168:01:20
Enderezo remoto: LID 0000 QPN 0x2c03 PSN 0x15f7f RKey 0x4000002 VAddr 0x007f7ecc578000
GID: 00:00:00:00:00:00:00:00:00:00:255:255:192:168:01:20
————————————————————————————————
#bytes #iteracións Pico de ancho de banda [Gb/seg] Media de ancho de banda [Gb/seg] Taxa de mensaxes [Mpps] 65536 4486898 0.00 392.07 0.747809
————————————————————————————————————————

Configuración do control de fluxo prioritario nas NIC de Broadcom
O controlador RoCE de Broadcom habilita tres clases de tráfico (L2, RoCE e paquete de notificación de conxestión (CNP)). Ao cargar o controlador, configuran automaticamente as prioridades predeterminadas do punto de código de prioridade (PCP) de RoCE/CNP e os valores predeterminados do punto de código de servizos diferenciados (DSCP). O control de fluxo de prioridade (PFC) e o control de conxestión (CC) están habilitados por defecto e os valores predeterminados indícanse na táboa 4. Non se require ningunha outra configuración no host se os conmutadores augas arriba están configurados con estes valores predeterminados.

Táboa 4: NIC de Broadcom: valores predeterminados de PCP e DSCP

Tipo de tráfico Valor predeterminado do PCP  Valor DSCP predeterminado
RoCE 3 26
CNP 7 48

As clases de tráfico predeterminadas son:

  • TC0 (Tráfico L2)
  • TC1 (Tráfico RoCE)
  • TC2 (Tráfico CNP)

En ausencia de tráfico L2, asígnase todo o ancho de banda para o tráfico RoCE.
Para cambiar os valores predeterminados de PCP e DSCP para que coincidan coa configuración de rede do usuario, pódense cambiar os parámetros en /etc/bnxt_re/bnxt_re.conf.
Por exampPor exemplo, se precisamos cambiar a seguinte configuración de QOS na NIC, debemos cambiar os seguintes parámetros en /etc/bnxt_re/bnxt_re.conf

  • Prioridade 5 de RoCE PCP e valor 32 de DSCP
  • Prioridade CNP PCP 6 e valor DSCP 36

Modifica o file cat /etc/bnxt_re/bnxt_re.conf cos valores seguintes:
ROCE_PRI=5
ROCE_DSCP=32
CNP_PRI=6
CNP_DSCP=36
Despois de facer os cambios anteriores, reinicie o servidor para que os cambios teñan efecto. Os cambios feitos por este método son persistentes despois de reiniciar.
Alternativamente, os parámetros anteriores tamén se poden cambiar usando o seguinte comando usando bnxt_setupcc.sh:
sudo bnxt_setupcc.sh -d -i -m -s -p
valor> -r -c
ExampLe:
sudo bnxt_setupcc.sh -d bnxt_re0 -i ens4f0np0 -m 3 -s 32 -p 36 -r 5 -c 6 -u 3
Os cambios realizados con este método non son persistentes despois de reiniciar.
Para comprobar a configuración, execute os seguintes comandos:
#sudo niccli -i 1 obter qos
———————————————————————————
Interfaz de liña de comandos da rede NIC v232.0.148.0 – Broadcom Inc. (c) 2024 (Bld-106.52.39.138.16.0)
———————————————————————————
TLV de configuración de IEEE 8021QAZ ETS:
MAPA_PRIOR: 0:0 1:0 2:0 3:0 4:0 5:1 6:2 7:0
Ancho de banda TC: 50% 50% 0%
TSA_MAP: 0:ets 1:ets 2:strict
IEEE
TLV PFC 8021QAZ:
PFC activado: 5
IEEE
Teléfono de aplicación 8021QAZ:
APLICACIÓN Nº 0:
Prioridade: 6
Selección: 5
DSCP: 36
APLICACIÓN Nº 1:
Prioridade: 5
Selección: 5
DSCP: 32
APLICACIÓN Nº 2:
Prioridade: 5
Selección: 3
UDP ou DCCP: 4791
Límite de taxa TC: 100 % 100 % 100 % 0 % 0 % 0 % 0 % 0 %
#sudo niccli -i 1 dscp2prio
———————————————————————————
Interfaz de liña de comandos da rede NIC v232.0.148.0 – Broadcom Inc. (c) 2024 (Bld-106.52.39.138.16.0)
———————————————————————————————
Mapeo de dscp2prio:
prioridade: 5
dscp:32
prioridade: 6
dscp:36
#sudo niccli -i 1 mapa_de_listas -pri2cos
———————————————————————————
Interfaz de liña de comandos da rede NIC v232.0.148.0 – Broadcom Inc. (c) 2024 (Bld-106.52.39.138.16.0)
———————————————————————————
A cola base é 0 para o porto 0
—————————
ID da cola de TC prioritaria
————————
0 0 4
1 0 4
2 0 4
3 0 4
4 0 4
5 1 0
6 2 5
7 0 4

Configuración do control de conxestión nas NIC de Broadcom
Para axustar o parámetro de control de conxestión, o controlador Broadcom RoCE baséase na configuración do kernel. O algoritmo de control de conxestión predeterminado é DCQCN-P. Para cambiar ao algoritmo DCQCN-D, use o seguinte procedemento.
NOTA: Os valores ECN do interruptor deberán modificarse. A opción -P usa unha marcación probabilística mentres que -D necesita modificar o interruptor para usar unha marcación determinista (100 %). Por exemplo,ample

  • -P: 500/1500/25%
  • -D: 256/256/100%
  • Configuración de DCQCN-D
    Para configurar DCQCN-D, use os seguintes comandos:
    mkdir -p /sys/kernel/config/bnxt_re/bnxt_re0
    cd
    /sys/kernel/config/bnxt_re/bnxt_re0/ports/1/cc/
    echo -n 0 > modo_cc
    eco -n 1 > aplicar
  • Configuración de DCQCN-P
    Para configurar DCQCN-P, use os seguintes comandos:
    mkdir -p /sys/kernel/config/bnxt_re/bnxt_re0
    cd /sys/kernel/config/bnxt_re/bnxt_re0/ports/1/cc/
    echo -n 1 > modo_cc
    eco -n 1 > aplicar
  • Viewos parámetros actuais de control de conxestión
    Para view os parámetros de control de conxestión configurados actualmente, use os seguintes comandos:
    mkdir -p /sys/kernel/config/bnxt_re/bnxt_re0
    cd
    /sys/kernel/config/bnxt_re/bnxt_re0/ports/1/cc/
    eco -n 1 > avanzado
    eco -n 1 > aplicar
    gato aplicar

Datos de rendemento do RoCE
Configuración de medición de datos de rendemento RoCE
Para medir os datos de rendemento de 400GE, utilízanse 4 conmutadores Arista e 64 nodos.

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial - Configuración de RoceFigura 7: Configuración de Roce

Para medir as cifras de rendemento no clúster con NIC Broadcom (400GE) e conmutadores Arista (200GE/400GE) para esta guía do usuario, empregáronse as probas de referencia de OSU MPI e GPCNet. A configuración do clúster empregada para as probas de referencia recóllese na Táboa 5 a continuación.

Táboa 5: Configuración do clúster para probas de rendemento en 400GE

Servidor  Cambiar 
Modelo: HPE ProLiant DL385 Gen11
CPU: AMD(R) EPYC 9534 de 64 núcleos
CPU do procesador a 2.6045 GHz
Fíos por núcleo: 1 Núcleo(s) por soquete: 64
Tipo de memoria: DDR5 -4800 MT/s
Memoria: 384 GB (192 GB/socket)
Núcleo: 5.14.0-284.30.1.el9_2.
x86_64 (Red Hat Enterprise Linux versión 9.2 (Plow))
Modelo: Arista DCS-7060X664PE(TH5 TOR)
Revisión de hardware: 11.20
Versión do software: 4.33.2F
NIC Puntos de referencia
Modelo: Broadcom P2200G
Versión do controlador: 232.0.144.0
Versión de firmware: 232.0.145.0
Control de conxestión: DCQCN-p
UCX: 1.15.0
OpenMPI: 4.1.6
OSU: 7.3
LÁMPADAS: lamps-2 de agosto de 2023
HPCG: 3.1

Datos de rendemento do RoCE sobreview

Para medir as cifras de rendemento no clúster con NIC Broadcom (400GE) e conmutadores Arista (200GE/400GE) para esta guía do usuario, empregáronse as probas de referencia de OSU MPI e GPCNet. A configuración do clúster empregada para as probas de referencia recóllese na Táboa 5 a continuación.

Táboa 6: Rendemento do ROCE da tarxeta de rede Broadcom NIC/conmutador Arista en 400GE

Categoría  Proba  Puntos de referencia
Puntos de referencia de OSU Rendemento: osu_mbw_mr, 64 KB, 2 nodos, 64 PPN, ancho de banda agregado 792 Gbps
Latencia de descarga: osu_lat, 2B, 2 nodos (só interruptor) 3.6 nós
Puntos de referencia dos colectivos da OSU latencia de osu_alltoall, 64 nodos, 64 PPN, mensaxe de 64K (bloqueo)
latencia de osu_allreduce, 64 nodos, 64PPN, mensaxe de 64K (bloqueo)
475 ms
251 nós
LÁMPADAS Simulador paralelo atómico/molecular a grande escala
Rhodo Scaled Benchmark - OpenMPU CPU/atom/steps
1.86E-09
Benchmark escalado en cadea: CPU/átomo/pasos de OpenMPU 8.42E-11
HPCG GFLOP/s de gradiente conxugado de alto rendemento 5,473

Proba de ancho de banda múltiple/taxa de mensaxes OSU MPI (osu_mbw_wr)
O obxectivo da proba de ancho de banda e taxa de mensaxes de varios pares é avaliar o ancho de banda unidireccional agregado e a taxa de mensaxes entre varios pares de procesos. Cada un dos procesos emisores envía un número fixo de mensaxes (o tamaño da xanela) consecutivas ao proceso receptor emparellado antes de esperar unha resposta do receptor. Este proceso repítese durante varias iteracións. O obxectivo desta proba de referencia é determinar o ancho de banda e a taxa de mensaxes alcanzadas dun nodo a outro cun número configurable de procesos executándose en cada nodo.

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: NIC Broadcom e conmutadores Arista en 400GEFigura 8: proba de referencia de osu_mbw_wr con NIC de Broadcom e conmutadores Arista en 400GE

Proba de latencia de todo a todo (osu_alltoall) de OSU MPI
Esta proba de referencia mide a latencia mínima, máxima e media da operación en N procesos, para varias lonxitudes de mensaxe, ao longo de moitas iteracións e informa do tempo medio de finalización para cada lonxitude de mensaxe.

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: NIC Broadcom e conmutadores Arista en 400GE 2Figura 9: proba de latencia de osu_alltoall con NIC de Broadcom e conmutadores Arista en 400GE

Proba de latencia de redución total de OSU (osu_allreduce)
Do mesmo xeito que osu_alltoall, a proba de referencia de osu_allreduce mide a latencia mínima, máxima e media da operación en N procesos, para varias lonxitudes de mensaxe, durante moitas iteracións e informa do tempo medio de finalización para cada lonxitude de mensaxe.

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial: NIC Broadcom e conmutadores Arista en 400GE 5Figura 10: Proba de redución da latencia de OSU con NIC Broadcom e conmutadores Arista en 400GE

Cableado

Ao seleccionar o cableado para servidores e conmutadores nun centro de datos, é fundamental ter en conta o tipo de interconexión. Esta decisión afecta á fiabilidade do centro de datos, ao consumo de enerxía, aos requisitos de refrixeración e ao custo xeral. Broadcom e Arista colaboraron para ofrecer varias opcións de cableado precualificadas que garanten unha integración perfecta para unha solución completa de extremo a extremo. Estas opcións inclúen cables de cobre DAC (ata 5 metros), cables eléctricos activos, cables ópticos e cables ópticos lineais conectables (LPO), que ofrecen un consumo de enerxía reducido e unha fiabilidade mellorada en comparación coas solucións ópticas tradicionais. A táboa 7 describe as diferentes opcións de conectividade e compara as métricas clave de despregamento a ter en conta.

Táboa 7: Métricas comparativas para diferentes tipos de cables/ópticas

Cable Distancia Poder Fiabilidade Custo MPN
Cable de cobre (DAC) 5m Baixo Alto Baixo Ampfenol: DJERGN-0003
Cable eléctrico activo (AEC) 7m Medio Medio Medio Credo:
CAC82X321 A2N-CO-HW
Transceptor óptico VSR 50 m Alto Baixo Alto Conmutador: Arista OSFP-800G-2VSR4
NIC: Eopotlink EOLQ-854HG-01-M
Transceptor óptico DR 500 m Alto Baixo Alto Conmutador: Arista OSFP-800G-2XDR4 NIC: Hisense LMQ3621S-PC1
Óptica conectable lineal DR (LPO) 500 m Medio Medio Medio Interruptor: Arista LPO-800G-2DR4
NIC: Eoptolink EOLQ-134HG-5H-MSL

Introdución á tecnoloxía LPO
Os LPO eliminan un DSP que normalmente está presente nos transceptores ópticos e nos cables AOC. A eliminación do DSP significa que non se realiza ningún procesamento nin modulación do sinal e que o sinal de saída é unha representación lineal do sinal de entrada. Calquera corrección de sinal necesaria é xestionada polos SerDes da NIC e/ou polos SerDes do conmutador de rede remoto.
A eliminación do procesamento DSP no transceptor leva a un menor custo e unha menor disipación de enerxía. A tecnoloxía LPO permite un 40 % menos de enerxía en comparación cos transceptores ópticos baseados en DSP e unha menor latencia. Os módulos LPO tamén funcionan a temperaturas máis baixas, o que mellora significativamente a fiabilidade.
A funcionalidade e as interfaces LPO defínense polas dúas especificacións principais, OIF CEI-112G-LINEAR-PAM4 e 100G-DR-LPO MSA. A especificación CEI-112G-LINEAR define a interface eléctrica PAM4 de chip a módulo de 112 Gb/s, encapsulado próximo ou coempaquetado para o seu uso no rango de 36 a 56 GBd. A especificación LPO MSA define as interfaces ópticas PAM4 de 100 Gb/s/carril e 53.125 GBd, as ligazóns ópticas que usan fibra monomodo estándar e as interfaces eléctricas host-módulo para hosts con SerDes baseados en DSP.

Resumo

Arista e Broadcom están comprometidos en cumprir os requisitos en constante evolución das aplicacións de IA, tanto presentes como futuras. Este compromiso implica a implementación dunha solución robusta e preconfigurada que ofreza unha rede optimizada de extremo a extremo de 400 G altamente escalable. Ademais, a nosa asociación prioriza a integración de NIC, conmutadores e interconexións fiables e de baixo consumo para maximizar a dispoñibilidade da rede e a eficiencia do acelerador. Esta solución rigorosamente probada e validada garante unha rápida implementación, o que permite que as cargas de traballo de IA estean operativas nun prazo mínimo.

Referencias

Produtos de enrutamento de grao de nube Arista
Plataformas de centros de datos de hiperescala Arista
Calidade de servizo de Arista EOS
Control de fluxo prioritario (PFC) de Arista e notificación explícita de conxestión (ECN)
Guía de configuración de Arista
Descargas do software Arista EOS
Redes de IA Arista
Arista CloudVision
Detalles, preguntas e respostas da óptica Arista
Folla de datos Arista Broadcom RoCE
Adaptadores de rede Ethernet Broadcom
Guía de configuración da NIC Ethernet de Broadcom
Descargas de firmware e controladores de tarxetas de rede Ethernet Broadcom
Guía de configuración de Broadcom RoCE
Control de conxestión de NIC Ethernet de Broadcom
Control de conxestión para implementacións RDMA a grande escala
Configuración de Peer Memory Direct con NIC de Broadcom
Guía de solucións de cable Broadcom
Compatibilidade de cables/interconexións para adaptadores BCM957608 (Thor 2)
Compatibilidade de cables/interconexións para adaptadores BCM9575XX, BCM9574XX e anteriores

Santa Clara—Sede Corporativa
5453 Great America Parkway, Santa Clara, CA 95054
Teléfono: +1-408-547-5500
Fax: +1-408-538-8920
Correo electrónico: info@arista.com

Irlanda—Sede Internacional
Avenida Atlántica 3130
Westpark Business Campus
Shannon, Co. Clare
Irlanda

Vancouver: Oficina de I+D
9200 Glenlyon Pkwy, Unidade 300
Burnaby, Columbia Británica
Canadá V5J 5J8

San Francisco: Oficina de I+D e vendas 1390
Market Street, Suite 800
San Francisco, CA 94102

India: Oficina de I+D
Global Tech Park, Torre A, andar 11
Circunvalación exterior de Marathahalli
Aldea Devarabeesanahalli, Varthur Hobli
Bangalore, India 560103

Oficina administrativa de Singapur-APAC
9 Temasek Boulevard
#29-01, Suntec Tower Two
Singapur 038989

Nashua—Oficina de I+D
Avenida Tara, 10
Nashua, NH 03062

Copyright © 2025 Arista Networks, Inc. Todos os dereitos reservados. CloudVision e EOS son marcas rexistradas e Arista Networks é unha marca comercial de Arista Networks, Inc. Todos os demais nomes de empresas son marcas comerciais dos seus respectivos propietarios. A información deste documento está suxeita a cambios sen previo aviso. É posible que algunhas funcións aínda non estean dispoñibles. Arista Networks, Inc. non asume ningunha responsabilidade polos erros que poidan aparecer neste documento. 9 de xullo de 2025 07-0018-01

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial - SymbolLogotipo de ARISTA

Documentos/Recursos

Redes Ethernet de alto rendemento da serie ARISTA 7800R para sistemas de intelixencia artificial [pdfGuía do usuario
Serie 7800R, Redes Ethernet de alto rendemento da serie 7800R para sistemas de intelixencia artificial, Redes Ethernet de alto rendemento para sistemas de intelixencia artificial, Redes Ethernet para sistemas de intelixencia artificial, Redes para sistemas de intelixencia artificial, Sistemas de intelixencia artificial

Referencias

Deixa un comentario

O teu enderezo de correo electrónico non será publicado. Os campos obrigatorios están marcados *