DAC 40G Q+DA0001 tra CRS326-24S+2Q+RM e Huawei S6720: entrambi i lati leggono il cavo, il link resta down
Sto ricostruendo l'aggregazione in uno dei nostri siti: un CRS326-24S+2Q+RM prende le porte SFP+ dei clienti e sale in uplink a 40G verso un Huawei S6720. Tratta corta dentro lo stesso rack, quindi un DAC passivo invece dell'ottica.
- MikroTik CRS326-24S+2Q+RM, porta QSFP+ qsfpplus1-1
- Huawei S6720-54C-EI-48S-AC, normale porta 40GE
- DAC passivo 40G QSFP+ MikroTik Q+DA0001
Entrambe le scatole leggono il cavo correttamente, il MikroTik lo mostra come il proprio Q+DA0001 e l'Huawei elenca un cavo in rame 40G nelle info di porta. E poi non succede niente:
MikroTik: qsfpplus1-1 no-link
Huawei: 40GE... current state : DOWN
Cosa è già stato fatto:
- fatto un loop dello stesso cavo tra le due porte QSFP+ del CRS326: fa link immediatamente
- fatto un loop tra due porte 40GE sull'Huawei: fa link anche lì
- scambiati i capi, spostato sull'altra porta QSFP+, reinserito tutto
- verificato che nessuno dei due lati sia administratively down
Quindi il cavo va bene e ciascuno switch è contento di lui da solo, solo la coppia cross-vendor si rifiuta. Qualcuno è mai riuscito a far salire un Q+DA0001 tra un CRS326 e un S6720, e cosa ha dovuto cambiare da un lato o dall'altro per far salire la porta?
Comments 5
Quell'abbinamento default-contro-default è il tuo problema, e lo è anche spegnere entrambi i lati insieme. Quello che ha funzionato qui sulla stessa combinazione è asimmetrico, il che sembra sbagliato scritto così, ma è così: la porta Huawei 40GE con l'auto-negoziazione disattivata, mentre qsfpplus1-1 sul MikroTik tiene il proprio autoneg attivo.
Sull'Huawei, dentro l'interfaccia:
Sul MikroTik, lascialo stare oppure impostalo esplicitamente così nessuno lo "aggiusta" più avanti:
Il link 40G è salito subito dopo sulla mia coppia CRS326-S6720 ed è rimasto stabile da allora. Non la venderei tanto come una correzione quanto come un workaround: le due implementazioni chiaramente non concordano su cosa un link DAC 40G dovrebbe negoziare, e l'impostazione asimmetrica è semplicemente l'angolo dove entrambe sono contente. Fallo in una finestra di manutenzione piuttosto che su un uplink live, e se non attacca, controlla se la tua immagine Huawei ti lascia disattivare l'autoneg su quella porta del tutto, perché quella parte non è universale.
Il 40G cross-vendor dove entrambi i lati vedono il cavo ma nessuno dei due lo porta su quasi sempre si riduce a cosa le due porte stanno cercando di negoziare.
Posta lo stato dell'autoneg da entrambi i lati: la config della porta 40GE sull'Huawei e il valore di auto-negotiation per qsfpplus1-1 sul MikroTik, e di' se hai cambiato uno dei due dal default. Di' anche se hai già provato a spegnerlo, su entrambi i lati insieme o su un solo lato, perché sono due esperimenti diversi.
I test di loop provano solo che il cavo va bene. Non ti dicono niente sul fatto che i due lati concordino sullo stesso comportamento di negoziazione, che è la parte interessante qui.
Entrambi i lati sono ai loro default: auto-negotiation=yes su qsfpplus1-1 e negotiation auto sulla porta 40GE dell'Huawei, e non ho toccato nessuna delle due config oltre a portare su le interfacce. Ho provato a spegnerlo su entrambi i lati contemporaneamente, il che non ha cambiato assolutamente nulla; la variante da un solo lato non mi era mai venuta in mente.
Lo stato del link resta no-link sul MikroTik e DOWN sull'Huawei, e i contatori non si muovono per niente, quindi non arriva mai abbastanza lontano da loggare un errore su nessuna delle due scatole.
Quell'ultimo avvertimento merita più di una nota a piè di pagina, perché è esattamente dove mi sono bloccato io. Su un S6320-54C-EI, con RouterOS 7.12 lato MikroTik, la porta 40G non ti lascia proprio spegnere l'auto-negoziazione, quindi il trucco asimmetrico non ha dove atterrare.
Sintomi altrimenti identici: entrambi i lati leggono il cavo, la porta resta down, nessun errore da nessuna parte. Quindi il workaround sopra è reale ma specifico per piattaforma, e l'incompatibilità di fondo tra queste due implementazioni 40G resta ancora aperta per quanto ne so.
Per chiunque arrivi qui e non riesca a far comportare in nessun modo un DAC cross-vendor: a un certo punto costa meno smettere di combattere.
Avevo un Alta Route 10 contro un CRS309-1G-8S+ dove il Route 10 riconosceva sia un DAC SFP+ 10Gtek che uno FS, riportati come SFP-H10GB-CU2M, mentre il CRS309 non mostrava nessun link partner advertising e la coppia faceva link solo se forzata giù a 1G. Forzare 10gbase_r in /cfg/sfpX.txt non faceva niente, e qualunque modulo stesse nella cage, ethtool sul Route 10 continuava a elencare modalità baseT. Cambiati entrambi i capi con ottiche FS SFP-10GSR-85 e link 10G istantaneo.
Velocità diversa e scatole diverse, stessa lezione: quando il cavo è dimostrato buono e i due lati continuano a non essere d'accordo, una coppia di ottiche costa meno di un'altra settimana di tuning.