Accton AS9716-32D a 100G: QSFP28 LR4 de INNOLIGHT enlaza con Arista pero nunca con un Fortigate 3810D CFP2-LR4
Estamos levantando un leaf en un Accton AS9716-32D corriendo SONiC master (build master.207726). Cuatro de los puertos capaces de 400G tienen que correr a 100G hacia un par de firewalls, y ni uno solo enlaza.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 en la jaula del switch
- Fortigate 3810D con un CFP2-LR4 en el otro extremo
- puertos forzados a 100G, autoneg apagado, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downLo que probé:
- el puerto como 2 lanes con PAM4 y como 4 lanes con NRZ, sin diferencia en ninguna dirección
sudo config interface fec Ethernet0 noneen vez de RS FEC- los mismos módulos INNOLIGHT y la misma fibra contra un puerto QSFP28 de Arista, donde el enlace sube de inmediato
Así que la óptica y la fibra quedan descartadas. Algo sobre cómo se maneja este puerto de 400G a 100G, o sobre lo que el lado CFP2 espera en las lanes, lo mantiene apagado. ¿Alguien tiene una jaula de 400G en esta plataforma hablando 100G a un CFP2-LR4, y cómo era el perfil del puerto?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Dos preguntas antes de que alguien empiece con la aritmética de lanes. ¿Qué dice el Fortigate de su lado, el CFP2 ve luz y se queda caído, o directamente no registra el módulo? ¿Y qué FEC está configurado en el puerto del 3810D?
En un par LR4, RS FEC habilitado en exactamente un extremo basta para mantener el enlace caído para siempre, y los puertos CFP2-LR4 normalmente no tienen RS FEC que encender de entrada.
El Fortigate muestra la interfaz caída y nada útil en los contadores. El módulo se reconoce ahí y ese puerto llevaba un enlace de 100G a otro equipo antes de que tocáramos nada. No encuentro ninguna configuración de FEC de ese lado, ni expuesta ni oculta.
De nuestro lado RS FEC se quita limpiamente: después de
sudo config interface fec Ethernet0 nonela columna FEC dicenone, el puerto rebota y vuelve admin up, oper down exactamente de la misma manera. Así que quitar RS FEC solo en el switch no nos compra nada.Los dos perfiles que probaste no son equivalentes, y uno de ellos no puede funcionar por construcción. Un CFP2-LR4 es una interfaz NRZ de cuatro lanes: cuatro lanes eléctricas de 25G hacia el host, cuatro longitudes de onda en la fibra. Si tu perfil de puerto pone la jaula en 2 lanes de PAM4, el switch está metiendo 2x50G a un par que tiene que entregar cuatro lanes NRZ a su lado de línea, y nada entrena sin importar la configuración de FEC. El único perfil candidato en este emparejamiento es 4 lanes de NRZ.
Con eso arreglado, la variable que queda es el FEC. 100GBASE-LR4 no lleva RS FEC, y un puerto CFP2-LR4 típicamente no ofrece forma de encenderlo, lo cual coincide con lo que encontraste en el Fortigate. Si tu lado todavía tiene
rsen ese puerto, eso solo basta para explicar un enlace permanentemente apagado.Entonces: NRZ de 4 lanes, autoneg apagado,
sudo config interface fec Ethernet0 none, rebota el puerto, y luego lee de vueltashow interfaces statuspara comprobar que ambas configuraciones realmente se aplicaron.Agrego el ángulo aburrido de los estándares a eso. Aquí nada negocia el FEC, es una propiedad estática de ambos extremos y tiene que coincidir en cada lane del enlace. La guía del fabricante para 100G canalizado dice lo mismo en una sola frase: cuando un puerto de 100G se divide en lanes de 25G, ambos extremos de cada lane deben correr el mismo modo de FEC o las lanes nunca entrenan.
También vale la pena volcar lo que realmente declara la EEPROM del TR-FC13R-N00. Estos módulos reportan cumplimiento con 100GBASE-LR4 y 25GBASE-LR, y algunas plataformas eligen su modo de lane por defecto a partir de ese campo en vez de lo que escribiste en la configuración.
Distintos fabricantes, misma forma. Tuve un enlace de 100G entre un MikroTik CCR2216 y un Arista sobre ópticos QSFP28 SR4 que había estado arriba durante meses y luego simplemente dejó de subir. RouterOS había pasado de 7.8 a 7.12.1 en esa ventana. Ambos extremos forzados: auto-negotiation=no, fec-mode=fec91, MTU 9000 y 100G-baseSR4-LR4 en el CCR, 100gfull con corrección de error Reed-Solomon en el Arista. Cambiar los ópticos no cambió nada, la potencia recibida en las cuatro lanes estaba sana, y dividir el puerto en 4x25G solo me dio lanes fluctuando.
Tampoco encontré la respuesta ahí, pero el patrón es el mismo que el tuyo: los ópticos son inocentes y el driver de puerto de un lado cambió debajo de ti. Si estás sobre un snapshot master, esa es la primera variable que yo movería.
Cuidado con el último paso. Poner el FEC en none y ver
noneen la salida no es prueba de que el puerto esté funcionando sin RS FEC. En varias de estas plataformas el valor se guarda en la base de datos de configuración y la CLI lo devuelve tranquilamente, mientras que el serdes mantiene el modo con el que fue programado hasta que el puerto se vuelve a crear de verdad. Un cambio de velocidad en una cage compatible con 400G lo recrea de todos modos, así que los dos controles interactúan y el orden importa.La misma precaución vale para el perfil de lane: en una cage con capacidad de breakout eso viene de la configuración de puerto de la plataforma, no solo de
sudo config interface speed. Si el perfil nunca se regeneró, es muy posible que tus dos intentos hayan corrido sobre el mismo mapa de lanes subyacente, lo que explicaría por qué PAM4 y NRZ se veían idénticos. Reinicia el equipo tras el cambio y comprueba desde un arranque en frío.Repasé todo. Puerto recreado como 4 lanes de NRZ, FEC none de nuestro lado, autoneg apagado, configuración guardada, recarga completa, revisado de nuevo desde un arranque en frío. El par CFP2 sigue caído. RS FEC en el Fortigate genuinamente no está expuesto, así que ni siquiera podemos crear un mismatch coincidente desde ese extremo.
Mientras tanto el mismo INNOLIGHT TR-FC13R-N00 en la misma jaula enlaza contra un puerto QSFP28 de Arista en segundos, así que los módulos y la fibra siguen descartados.
Quería adjuntar el volcado técnico completo pero está sobre el límite de tamaño aquí. Por ahora los cuatro puertos siguen caídos y los uplinks del firewall se movieron a otro equipo. Si alguien tiene un puerto de 400G en esta plataforma realmente corriendo 100G hacia un CFP2, me gustaría saber con qué perfil terminaron.