Accton AS9716-32D a 100G: l'INNOLIGHT QSFP28 LR4 si aggancia all'Arista ma mai a un Fortigate 3810D CFP2-LR4
Stiamo portando in linea una leaf su un Accton AS9716-32D con SONiC master (build master.207726). Quattro delle porte capaci di 400G devono girare a 100G verso una coppia di firewall, e nemmeno una si aggancia.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 nella cage dello switch
- Fortigate 3810D con un CFP2-LR4 sul lato remoto
- porte forzate a 100G, autoneg off, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downCosa ho provato:
- la porta come 2 lane con PAM4 e come 4 lane con NRZ, nessuna differenza in nessuna delle due direzioni
sudo config interface fec Ethernet0 noneal posto di RS FEC- gli stessi moduli INNOLIGHT e la stessa fibra contro una porta Arista QSFP28, dove il link si alza immediatamente
Quindi le ottiche e la fibra sono scagionate. Qualcosa nel modo in cui questa porta 400G viene pilotata a 100G, o in quello che il lato CFP2 si aspetta sulle lane, la tiene spenta. C'è qualcuno che ha una cage 400G su questa piattaforma che parla 100G con un CFP2-LR4, e come si presentava il profilo di porta?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Due domande prima che qualcuno inizi con l'aritmetica delle lane. Cosa dice il Fortigate dal suo lato, il CFP2 vede luce e resta giù, oppure non registra affatto il modulo? E quale FEC è configurato sulla porta del 3810D?
Su una coppia LR4, l'RS FEC abilitato su un solo lato basta a tenere il link giù per sempre, e le porte CFP2-LR4 di solito non hanno nemmeno un RS FEC da accendere.
Il Fortigate mostra l'interfaccia giù e niente di utile nei contatori. Il modulo lì viene riconosciuto e quella porta portava un link 100G verso un altro box prima che toccassimo qualsiasi cosa. Non riesco a trovare nessuna impostazione FEC su quel lato, né esposta né nascosta.
Dal nostro lato RS FEC si toglie senza problemi: dopo
sudo config interface fec Ethernet0 nonela colonna FEC riportanone, la porta rimbalza e torna admin up, oper down esattamente allo stesso modo. Quindi togliere RS FEC solo sullo switch non ci porta nulla.I due profili che hai provato non sono equivalenti, e uno dei due non può funzionare per costruzione. Un CFP2-LR4 è un'interfaccia NRZ a quattro lane: quattro lane elettriche da 25G verso l'host, quattro lunghezze d'onda sulla fibra. Se il tuo profilo di porta mette la cage su 2 lane PAM4, lo switch sta pilotando 2x50G verso un peer che deve consegnare quattro lane NRZ al suo lato linea, e non si allena nulla indipendentemente dall'impostazione FEC. L'unico profilo candidato in questo abbinamento è 4 lane NRZ.
Con quello fissato, la variabile rimasta è il FEC. 100GBASE-LR4 non porta RS FEC, e una porta CFP2-LR4 tipicamente non offre modo di accenderlo, il che combacia con quello che hai trovato sul Fortigate. Se il tuo lato ha ancora
rssu quella porta, questo da solo basta a spiegare un link permanentemente spento.Quindi: NRZ a 4 lane, autoneg off,
sudo config interface fec Ethernet0 none, rimbalza la porta, poi rileggishow interfaces statusper controllare che entrambe le impostazioni siano davvero rimaste.Aggiungo il noioso lato degli standard. Qui il FEC non si negozia affatto, è una proprietà statica di entrambi i lati e deve corrispondere su ogni lane del link. Le linee guida del vendor per il 100G channelizzato dicono la stessa cosa in una frase: quando una porta 100G viene spezzata in lane da 25G, entrambi i lati di ogni lane devono girare con la stessa modalità FEC o le lane non si allenano mai.
Vale anche la pena estrarre cosa dichiara davvero l'EEPROM del TR-FC13R-N00. Questi moduli riportano conformità 100GBASE-LR4 e 25GBASE-LR, e alcune piattaforme scelgono la loro modalità di lane predefinita da quel campo piuttosto che da quello che hai digitato nella configurazione.
Vendor diversi, stessa forma. Avevo un link 100G tra un MikroTik CCR2216 e un Arista su ottiche QSFP28 SR4 che era su da mesi e poi ha semplicemente smesso di alzarsi. RouterOS in quel periodo era passato da 7.8 a 7.12.1. Entrambi i lati forzati: auto-negotiation=no, fec-mode=fec91, MTU 9000 e 100G-baseSR4-LR4 sul CCR, 100gfull con reed-solomon error correction sull'Arista. Sostituire le ottiche non ha cambiato nulla, la potenza ricevuta su tutte e quattro le lane era sana, e spezzare la porta in 4x25G mi ha dato solo lane che flappavano.
Nemmeno lì ho mai trovato la risposta, ma il pattern è lo stesso del tuo: le ottiche sono innocenti e il driver di porta di un lato è cambiato sotto i tuoi piedi. Se sei su uno snapshot master, quella è la prima variabile su cui mi muoverei.
Attenzione all'ultimo passaggio. Impostare FEC su none e vedere
nonenell'output non è la prova che la porta giri senza RS FEC. Su diverse di queste piattaforme il valore finisce nel database di configurazione e la CLI lo ristampa allegramente, mentre il serdes mantiene la modalità con cui è stato programmato finché la porta non viene davvero ricreata. Un cambio di velocità su una cage capace di 400G la ricrea comunque, quindi le due manopole interagiscono e l'ordine conta.Stessa cautela per il profilo di lane: su una cage capace di breakout arriva dalla configurazione di porta della piattaforma, non solo da
sudo config interface speed. Se il profilo non è mai stato rigenerato, entrambi i tuoi tentativi potrebbero benissimo aver girato sulla stessa mappa di lane sottostante, il che spiegherebbe perché PAM4 e NRZ sembravano identici. Ricarica il box dopo la modifica e controlla da un avvio a freddo.Ho ripercorso tutto. Porta ricreata come 4 lane NRZ, FEC none dal nostro lato, autoneg off, configurazione salvata, reload completo, ricontrollato da un avvio a freddo. La coppia CFP2 è ancora giù. RS FEC sul Fortigate genuinamente non è esposto, quindi non possiamo nemmeno creare un mismatch corrispondente da quel lato.
Nel frattempo lo stesso INNOLIGHT TR-FC13R-N00 nella stessa cage si aggancia a una porta Arista QSFP28 in pochi secondi, quindi i moduli e la fibra restano scagionati.
Volevo allegare il dump tecnico completo ma qui supera il limite di dimensione. Per ora le quattro porte restano giù e gli uplink del firewall sono stati spostati su un altro box. Se qualcuno ha una porta 400G su questa piattaforma che fa davvero 100G verso un CFP2, mi piacerebbe sapere con quale profilo è finito.