Accton AS9716-32D bei 100G: INNOLIGHT QSFP28 LR4 linkt zu Arista, aber nie zu einem Fortigate 3810D CFP2-LR4
Wir bringen einen Leaf auf einem Accton AS9716-32D mit SONiC master (Build master.207726) hoch. Vier der 400G-fähigen Ports müssen mit 100G zu einem Firewall-Paar laufen, und kein einziger will linken.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 im Switch-Käfig
- Fortigate 3810D mit CFP2-LR4 am Gegenende
- Ports fest auf 100G, Autoneg aus, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downWas ich versucht habe:
- den Port als 2 Lanes mit PAM4 und als 4 Lanes mit NRZ, kein Unterschied in beide Richtungen
sudo config interface fec Ethernet0 nonestatt RS FEC- dieselben INNOLIGHT-Module und dieselbe Faser gegen einen Arista-QSFP28-Port, wo der Link sofort hochkommt
Optik und Faser sind also raus. Irgendetwas daran, wie dieser 400G-Port bei 100G angesteuert wird, oder daran, was die CFP2-Seite auf den Lanes erwartet, hält ihn dunkel. Hat schon mal jemand einen 400G-Käfig auf dieser Plattform bei 100G gegen ein CFP2-LR4 sprechen lassen, und wie sah das Port-Profil dabei aus?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Zwei Fragen, bevor jemand mit der Lane-Rechnerei anfängt. Was sagt die Fortigate auf ihrer Seite, sieht das CFP2 Licht und bleibt down, oder registriert es das Modul überhaupt nicht? Und welches FEC ist auf dem 3810D-Port konfiguriert?
Bei einem LR4-Paar reicht RS FEC, das nur an einem Ende aktiv ist, um den Link für immer down zu halten, und CFP2-LR4-Ports haben meist gar kein RS FEC zum Einschalten.
Die Fortigate zeigt das Interface down und nichts Brauchbares in den Countern. Das Modul wird dort erkannt, und dieser Port hat schon einen 100G-Link zu einer anderen Box getragen, bevor wir irgendetwas angefasst haben. Ich finde auf dieser Seite überhaupt keine FEC-Einstellung, weder offen noch versteckt.
Auf unserer Seite geht RS FEC sauber runter: Nach
sudo config interface fec Ethernet0 nonesteht in der FEC-Spaltenone, der Port bounct und kommt genauso wieder als admin up, oper down zurück. Nur RS FEC auf dem Switch runterzunehmen bringt uns also nichts.Die zwei Profile, die du versucht hast, sind nicht gleichwertig, und eins davon kann konstruktionsbedingt gar nicht funktionieren. Ein CFP2-LR4 ist ein Vier-Lane-NRZ-Interface: vier elektrische 25G-Lanes zum Host, vier Wellenlängen auf der Faser. Wenn dein Port-Profil den Käfig auf 2 Lanes PAM4 setzt, steuert der Switch 2x50G in einen Peer, der vier NRZ-Lanes an seine Line-Seite weitergeben muss, und da trainiert nichts, egal welche FEC-Einstellung. Das einzige infrage kommende Profil bei dieser Paarung ist 4 Lanes NRZ.
Wenn das steht, bleibt FEC als Variable. 100GBASE-LR4 trägt kein RS FEC, und ein CFP2-LR4-Port bietet üblicherweise gar keine Möglichkeit, es einzuschalten, das passt zu dem, was du an der Fortigate gefunden hast. Wenn auf deiner Seite an diesem Port noch
rssteht, reicht das allein, um einen dauerhaft dunklen Link zu erklären.Also: 4 Lanes NRZ, Autoneg aus,
sudo config interface fec Ethernet0 none, Port bouncen, dannshow interfaces statuszurücklesen und prüfen, ob beide Einstellungen wirklich gehalten haben.Noch die langweilige Standards-Perspektive dazu. Hier handelt niemand FEC aus, das ist eine statische Eigenschaft beider Enden, und sie muss auf jeder Lane des Links übereinstimmen. Die Herstellervorgabe für channelisiertes 100G sagt dasselbe in einem Satz: Wenn ein 100G-Port in 25G-Lanes aufgebrochen wird, müssen beide Enden jeder Lane denselben FEC-Modus fahren, sonst trainieren die Lanes nie.
Lohnt sich auch, mal auszulesen, was das TR-FC13R-N00-EEPROM tatsächlich behauptet. Diese Module melden 100GBASE-LR4- und 25GBASE-LR-Konformität, und manche Plattformen wählen ihren Standard-Lane-Modus aus diesem Feld statt aus dem, was du in die Config getippt hast.
Andere Hersteller, gleiche Form. Ich hatte einen 100G-Link zwischen einem MikroTik CCR2216 und einer Arista über QSFP28-SR4-Optik, der monatelang stand und dann einfach nicht mehr hochkam. RouterOS war in diesem Zeitraum von 7.8 auf 7.12.1 gegangen. Beide Enden fest eingestellt: auto-negotiation=no, fec-mode=fec91, MTU 9000 und 100G-baseSR4-LR4 auf der CCR, 100gfull mit Reed-Solomon-Fehlerkorrektur auf der Arista. Austauschoptik hat nichts geändert, die empfangene Leistung auf allen vier Lanes war gesund, und den Port in 4x25G aufzubrechen brachte mir nur flappende Lanes.
Die Antwort hab ich dort auch nie gefunden, aber das Muster ist dasselbe wie bei dir: Die Optik ist unschuldig, und der Port-Treiber einer Seite hat sich unter dir geändert. Wenn du auf einem Master-Snapshot sitzt, wäre das die erste Variable, die ich anfassen würde.
Vorsicht beim letzten Schritt. FEC auf none zu setzen und
nonein der Ausgabe zu sehen ist kein Beweis, dass der Port ohne RS FEC läuft. Auf mehreren dieser Plattformen landet der Wert in der Config-Datenbank, und die CLI gibt ihn bereitwillig zurück, während das Serdes den Modus behält, mit dem es programmiert wurde, bis der Port wirklich neu angelegt wird. Ein Speed-Wechsel an einem 400G-fähigen Käfig legt ihn ohnehin neu an, die beiden Regler wirken also zusammen, und die Reihenfolge zählt.Gleiche Vorsicht beim Lane-Profil: Bei einem breakout-fähigen Käfig kommt das aus der Plattform-Port-Konfiguration, nicht allein aus
sudo config interface speed. Wenn das Profil nie neu erzeugt wurde, sind deine beiden Versuche womöglich auf derselben zugrunde liegenden Lane-Map gelaufen, das würde erklären, warum PAM4 und NRZ identisch aussahen. Box nach der Änderung neu laden und ab einem Kaltstart prüfen.Alles durchgearbeitet. Port neu angelegt als 4 Lanes NRZ, FEC none auf unserer Seite, Autoneg aus, Config gespeichert, komplettes Reload, wieder ab einem Kaltstart geprüft. Das CFP2-Paar bleibt down. RS FEC ist auf der Fortigate wirklich nicht zugänglich, wir können also nicht mal von dieser Seite einen passenden Mismatch erzeugen.
Währenddessen linkt dasselbe INNOLIGHT TR-FC13R-N00 im selben Käfig gegen einen Arista-QSFP28-Port innerhalb von Sekunden, Module und Faser bleiben also raus.
Ich wollte den vollständigen technischen Dump anhängen, aber der liegt hier über dem Größenlimit. Vorerst bleiben die vier Ports down, und die Firewall-Uplinks sind auf eine andere Box umgezogen. Falls jemand auf dieser Plattform einen 400G-Port hat, der tatsächlich 100G in ein CFP2 fährt, würde mich interessieren, bei welchem Profil ihr gelandet seid.