Accton AS9716-32D op 100G: INNOLIGHT QSFP28 LR4 linkt naar Arista maar nooit naar een Fortigate 3810D CFP2-LR4
We zetten een leaf op op een Accton AS9716-32D met SONiC master (build master.207726). Vier van de 400G-capabele poorten moeten op 100G naar een firewallpaar draaien, en niet één ervan wil linken.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 in de switchcage
- Fortigate 3810D met een CFP2-LR4 aan de andere kant
- poorten geforceerd op 100G, autoneg uit, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downWat ik geprobeerd heb:
- de poort als 2 lanes met PAM4 en als 4 lanes met NRZ, geen verschil in beide richtingen
sudo config interface fec Ethernet0 nonein plaats van RS FEC- dezelfde INNOLIGHT-modules en dezelfde fiber tegen een Arista QSFP28-poort, waar de link meteen opkomt
De optics en de fiber zijn dus vrijgepleit. Iets in hoe deze 400G-poort op 100G aangestuurd wordt, of in wat de CFP2-kant op de lanes verwacht, houdt hem donker. Heeft iemand op dit platform een 400G-cage die 100G praat met een CFP2-LR4, en hoe zag het poortprofiel eruit?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Twee vragen voor iemand aan de lane-rekenkunde begint. Wat zegt de Fortigate aan zijn kant, ziet de CFP2 licht en blijft hij down, of registreert hij de module helemaal niet? En welke FEC staat er geconfigureerd op de 3810D-poort?
Bij een LR4-paar is RS FEC ingeschakeld aan precies één kant genoeg om de link voor altijd down te houden, en CFP2-LR4-poorten hebben meestal om te beginnen al geen RS FEC om aan te zetten.
De Fortigate toont de interface als down en niets nuttigs in de counters. De module wordt daar herkend en die poort droeg een 100G-link naar een andere box voordat we iets aanraakten. Ik kan aan die kant helemaal geen FEC-instelling vinden, zichtbaar of verborgen.
Aan onze kant gaat RS FEC netjes uit: na
sudo config interface fec Ethernet0 noneleest de FEC-kolomnone, de poort bounct en komt terug als admin up, oper down, op precies dezelfde manier. Dus RS FEC alleen op de switch laten vallen levert ons niets op.De twee profielen die je geprobeerd hebt zijn niet equivalent, en een ervan kan door zijn constructie niet werken. Een CFP2-LR4 is een vierlane-NRZ-interface: vier elektrische 25G-lanes richting de host, vier golflengtes op de fiber. Als jouw poortprofiel de cage op 2 lanes PAM4 zet, stuurt de switch 2x50G naar een peer die vier NRZ-lanes aan zijn lijnkant moet afleveren, en dan traint er niets, ongeacht de FEC-instelling. Het enige kandidaatprofiel in deze combinatie is 4 lanes NRZ.
Met dat vastgezet blijft FEC de resterende variabele over. 100GBASE-LR4 draagt geen RS FEC, en een CFP2-LR4-poort biedt doorgaans geen manier om het aan te zetten, wat overeenkomt met wat je op de Fortigate vond. Als jouw kant op die poort nog steeds
rsheeft, is dat alleen al genoeg om een permanent donkere link te verklaren.Dus: 4-lane NRZ, autoneg uit,
sudo config interface fec Ethernet0 none, de poort bouncen, en daarnashow interfaces statusteruglezen om te checken dat beide instellingen ook echt beklijfd zijn.Nog de saaie standaardenhoek daaraan toevoegen. Hier onderhandelt niets over FEC, het is een statische eigenschap van beide kanten en moet overeenkomen op elke lane van de link. De leveranciersrichtlijn voor channelized 100G zegt hetzelfde in één zin: als een 100G-poort opgesplitst wordt in 25G-lanes, moeten beide kanten van elke lane dezelfde FEC-modus draaien, anders trainen de lanes nooit.
Ook de moeite waard om te dumpen wat de EEPROM van de TR-FC13R-N00 daadwerkelijk claimt. Deze modules rapporteren 100GBASE-LR4- en 25GBASE-LR-conformiteit, en sommige platforms kiezen hun standaard lanemodus uit dat veld in plaats van uit wat jij in de config hebt getypt.
Andere vendors, zelfde patroon. Ik had een 100G-link tussen een MikroTik CCR2216 en een Arista over QSFP28 SR4-optics die maandenlang up was geweest en toen gewoon stopte met opkomen. RouterOS was in die periode van 7.8 naar 7.12.1 gegaan. Beide kanten geforceerd: auto-negotiation=no, fec-mode=fec91, MTU 9000 en 100G-baseSR4-LR4 op de CCR, 100gfull met reed-solomon error correction op de Arista. Vervangende optics veranderden niets, de ontvangen power op alle vier de lanes was gezond, en de poort opsplitsen in 4x25G gaf me alleen maar flapperende lanes.
Daar ook nooit het antwoord gevonden, maar het patroon is hetzelfde als het jouwe: de optics zijn onschuldig en de portdriver van één kant is onder je veranderd. Als jij op een master-snapshot zit, is dat de eerste variabele die ik zou aanpakken.
Voorzichtig met die laatste stap. FEC op none zetten en
nonein de output zien is geen bewijs dat de poort zonder RS FEC draait. Op verschillende van deze platforms landt de waarde in de configdatabase en print de CLI hem gewillig terug, terwijl de serdes de modus aanhoudt waarmee hij geprogrammeerd was totdat de poort echt opnieuw aangemaakt wordt. Een speedwijziging op een 400G-capabele cage maakt hem sowieso opnieuw aan, dus de twee knoppen interacteren en de volgorde maakt uit.Zelfde voorzichtigheid voor het laneprofiel: op een breakout-capabele cage komt dat uit de platformpoortconfiguratie, niet alleen uit
sudo config interface speed. Als het profiel nooit geregenereerd is, kunnen beide pogingen van jou best op dezelfde onderliggende lanemap gedraaid hebben, wat zou verklaren waarom PAM4 en NRZ identiek leken. Herlaad de box na de wijziging en controleer vanaf een cold start.Alles doorgewerkt. Poort opnieuw aangemaakt als 4 lanes NRZ, FEC none aan onze kant, autoneg uit, config opgeslagen, volledige reload, opnieuw gecontroleerd vanaf een cold start. Het CFP2-paar staat nog steeds down. RS FEC op de Fortigate is echt niet blootgesteld, dus we kunnen daar niet eens een bijpassende mismatch creëren.
Ondertussen linkt dezelfde INNOLIGHT TR-FC13R-N00 in dezelfde cage binnen enkele seconden tegen een Arista QSFP28-poort, dus de modules en de fiber blijven vrijgepleit.
Ik wilde de volledige technische dump bijvoegen maar die zit hier boven de groottelimiet. Voorlopig blijven de vier poorten down en zijn de firewalluplinks naar een andere box verplaatst. Als iemand op dit platform daadwerkelijk een 400G-poort 100G naar een CFP2 heeft draaien, hoor ik graag met welk profiel je geëindigd bent.