Accton AS9716-32D à 100G : un QSFP28 LR4 INNOLIGHT se lie à un Arista mais jamais à un CFP2-LR4 Fortigate 3810D
Nous mettons en service un leaf sur un Accton AS9716-32D faisant tourner SONiC master (build master.207726). Quatre des ports capables de 400G doivent tourner à 100G vers une paire de pare-feu, et pas un seul ne se lie.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 dans la cage du switch
- Fortigate 3810D avec un CFP2-LR4 à l'autre extrémité
- ports forcés à 100G, autoneg désactivé, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downCe que j'ai essayé :
- le port en 2 voies avec PAM4 et en 4 voies avec NRZ, aucune différence dans un sens ou l'autre
sudo config interface fec Ethernet0 noneau lieu de RS FEC- les mêmes modules INNOLIGHT et la même fibre contre un port QSFP28 Arista, où le lien monte immédiatement
Donc les optiques et la fibre sont disculpées. Quelque chose dans la façon dont ce port 400G est piloté en 100G, ou dans ce que le côté CFP2 attend sur les voies, le maintient éteint. Quelqu'un a-t-il déjà fait parler une cage 400G en 100G vers un CFP2-LR4 sur cette plateforme, et à quoi ressemblait le profil de port utilisé ?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Deux questions avant que quiconque ne se lance dans l'arithmétique des voies. Que dit le Fortigate de son côté, le CFP2 voit-il de la lumière et reste-t-il down, ou ne détecte-t-il pas du tout le module ? Et quel FEC est configuré sur le port du 3810D ?
Sur une paire LR4, RS FEC activé sur exactement une seule extrémité suffit à garder le lien down pour toujours, et les ports CFP2-LR4 n'ont généralement pas de RS FEC à activer pour commencer.
Le Fortigate montre l'interface down et rien d'utile dans les compteurs. Le module y est reconnu et ce port portait un lien 100G vers un autre boîtier avant qu'on n'y touche. Je ne trouve aucun réglage FEC de ce côté du tout, exposé ou caché.
De notre côté, RS FEC se retire proprement : après
sudo config interface fec Ethernet0 none, la colonne FEC affichenone, le port rebondit et revient admin up, oper down exactement de la même façon. Donc retirer RS FEC sur le switch seul ne nous apporte rien.Les deux profils que vous avez essayés ne sont pas équivalents, et l'un d'eux ne peut pas fonctionner par construction. Un CFP2-LR4 est une interface NRZ à quatre voies : quatre voies électriques 25G vers l'hôte, quatre longueurs d'onde sur la fibre. Si votre profil de port met la cage sur 2 voies de PAM4, le switch pilote du 2x50G vers un pair qui doit remettre quatre voies NRZ à son côté ligne, et rien ne s'entraîne quel que soit le réglage FEC. Le seul profil candidat dans cet appairage est 4 voies de NRZ.
Une fois ça corrigé, la variable restante est le FEC. Le 100GBASE-LR4 ne porte pas de RS FEC, et un port CFP2-LR4 n'offre typiquement aucun moyen de l'activer, ce qui correspond à ce que vous avez trouvé sur le Fortigate. Si votre côté a toujours
rssur ce port, ça seul suffit à expliquer un lien éteint en permanence.Donc : NRZ 4 voies, autoneg désactivé,
sudo config interface fec Ethernet0 none, rebondir le port, puis relireshow interfaces statuspour vérifier que les deux réglages ont vraiment pris.J'ajoute l'angle standards ennuyeux à ça. Rien ne négocie le FEC ici, c'est une propriété statique des deux extrémités et elle doit correspondre sur chaque voie du lien. La documentation du vendor pour le 100G channelisé dit la même chose en une phrase : quand un port 100G est découpé en voies de 25G, les deux extrémités de chaque voie doivent tourner dans le même mode FEC sinon les voies ne s'entraînent jamais.
Ça vaut aussi le coup de vider ce que l'EEPROM du TR-FC13R-N00 déclare réellement. Ces modules rapportent une conformité 100GBASE-LR4 et 25GBASE-LR, et certaines plateformes choisissent leur mode de voie par défaut à partir de ce champ plutôt que de ce que vous avez tapé dans la config.
Vendors différents, même forme. J'avais un lien 100G entre un MikroTik CCR2216 et un Arista via des optiques QSFP28 SR4 qui tournait depuis des mois puis a simplement arrêté de monter. RouterOS était passé de 7.8 à 7.12.1 dans cet intervalle. Les deux extrémités forcées : auto-negotiation=no, fec-mode=fec91, MTU 9000 et 100G-baseSR4-LR4 sur le CCR, 100gfull avec correction d'erreur Reed-Solomon sur l'Arista. Remplacer les optiques n'a rien changé, la puissance reçue sur les quatre voies était saine, et découper le port en 4x25G ne m'a donné que des voies qui flappaient.
Jamais trouvé la réponse là non plus, mais le schéma est le même que le vôtre : les optiques sont innocentes et le driver de port d'un côté a changé sous vos pieds. Si vous êtes sur un snapshot master, c'est la première variable que je bougerais.
Attention à la dernière étape. Configurer le FEC sur none et voir
nonedans la sortie n'est pas une preuve que le port fonctionne sans RS FEC. Sur plusieurs de ces plateformes, la valeur atterrit dans la base de configuration et la CLI la réaffiche docilement, tandis que le serdes conserve le mode avec lequel il a été programmé jusqu'à ce que le port soit vraiment recréé. Un changement de vitesse sur une cage compatible 400G le recrée de toute façon, donc les deux réglages interagissent et l'ordre compte.Même prudence pour le profil de voies (lane profile) : sur une cage compatible breakout, celui-ci provient de la configuration des ports de la plateforme, pas seulement de
sudo config interface speed. Si le profil n'a jamais été régénéré, vos deux tentatives ont pu très bien tourner sur la même carte de voies sous-jacente, ce qui expliquerait pourquoi PAM4 et NRZ semblaient identiques. Redémarrez l'équipement après le changement et vérifiez à froid.Tout vérifié. Port recréé en 4 voies de NRZ, FEC none de notre côté, autoneg désactivé, config sauvegardée, rechargement complet, revérifié à partir d'un démarrage à froid. La paire CFP2 est toujours down. Le RS FEC sur le Fortigate n'est vraiment pas exposé, donc nous ne pouvons même pas créer une incohérence correspondante de ce côté.
Pendant ce temps, le même INNOLIGHT TR-FC13R-N00 dans la même cage se lie à un port QSFP28 Arista en quelques secondes, donc les modules et la fibre restent disculpés.
Je voulais joindre le dump technique complet mais il dépasse la limite de taille ici. Pour l'instant les quatre ports restent down et les uplinks du pare-feu ont été déplacés vers un autre boîtier. Si quelqu'un a un port 400G sur cette plateforme faisant réellement tourner du 100G vers un CFP2, j'aimerais savoir quel profil vous avez fini par utiliser.