Q+DA0001 40G-DAC zwischen CRS326-24S+2Q+RM und Huawei S6720: beide Seiten lesen das Kabel, Link bleibt down
Bauen die Aggregation an einem unserer Standorte neu: Ein CRS326-24S+2Q+RM übernimmt die Kunden-SFP+-Ports und uplinkt über 40G in einen Huawei S6720. Kurze Strecke im selben Rack, also ein passives DAC statt Optik.
- MikroTik CRS326-24S+2Q+RM, QSFP+-Port qsfpplus1-1
- Huawei S6720-54C-EI-48S-AC, einfacher 40GE-Port
- MikroTik Q+DA0001, passives 40G-QSFP+-DAC
Beide Boxen lesen das Kabel korrekt, der MikroTik zeigt es als sein eigenes Q+DA0001, und der Huawei listet in den Portinfos ein 40G-Kupferkabel. Und dann passiert nichts:
MikroTik: qsfpplus1-1 no-link
Huawei: 40GE... current state : DOWNWas schon gemacht wurde:
- dasselbe Kabel zwischen den beiden QSFP+-Ports des CRS326 verschleift: linkt sofort
- zwischen zwei 40GE-Ports am Huawei verschleift: linkt auch
- Enden getauscht, auf den anderen QSFP+-Port gewechselt, alles neu eingesetzt
- geprüft, dass keine Seite administrativ down ist
Das Kabel ist also gut, und jeder Switch für sich ist zufrieden damit, nur das herstellerübergreifende Paar weigert sich. Hat schon mal jemand ein Q+DA0001 zwischen einem CRS326 und einem S6720 hochbekommen, und was musstet ihr auf welcher Seite ändern, damit der Port hochkommt?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
Diese Default-gegen-Default-Paarung ist euer Problem, genauso wie beide Enden zusammen auszuschalten. Was hier bei derselben Kombination funktioniert hat, ist asymmetrisch, was sich falsch anfühlt, wenn man es aufschreibt, aber so ist es: der Huawei-40GE-Port mit ausgeschalteter Auto-Negotiation, während qsfpplus1-1 am MikroTik sein eigenes Autoneg aktiviert behält.
Am Huawei, im Interface:
Am MikroTik in Ruhe lassen oder explizit setzen, damit niemand es später "repariert":
Der 40G-Link kam direkt danach an meinem CRS326-zu-S6720-Paar hoch und ist seither stabil. Ich würde das eher als Workaround verkaufen denn als Fix: Die beiden Implementierungen sind sich eindeutig nicht einig darüber, was ein 40G-DAC-Link verhandeln sollte, und die asymmetrische Einstellung ist einfach die Ecke, in der beide zufrieden sind. In einem Wartungsfenster machen statt auf einem Live-Uplink, und wenn es nicht greift, prüfen, ob das Huawei-Image überhaupt erlaubt, Autoneg auf diesem Port abzuschalten, denn das ist nicht überall gleich.
Herstellerübergreifendes 40G, bei dem beide Enden das Kabel sehen, aber keines es hochbringt, läuft fast immer darauf hinaus, was die beiden Ports zu verhandeln versuchen.
Den Autoneg-Status von beiden Seiten posten: die 40GE-Port-Konfiguration am Huawei und den Auto-Negotiation-Wert für qsfpplus1-1 am MikroTik, und sagen, ob eines von beiden vom Default geändert wurde. Auch sagen, ob schon versucht wurde, es auszuschalten - an beiden Enden gleichzeitig, oder nur an einem, das sind zwei verschiedene Experimente.
Die Loop-Tests beweisen nur, dass das Kabel gut ist. Sie sagen nichts darüber, ob sich die beiden Enden auf dasselbe Verhandlungsverhalten einigen, und das ist hier der interessante Teil.
Beide Seiten stehen auf ihren Defaults: auto-negotiation=yes auf qsfpplus1-1 und negotiation auto auf dem Huawei-40GE-Port, und ich habe an keiner Config etwas angefasst außer die Interfaces hochzufahren. Ich habe schon versucht, es an beiden Enden gleichzeitig auszuschalten, was überhaupt nichts geändert hat; auf die einseitige Variante bin ich nie gekommen.
Der Linkstatus bleibt no-link am MikroTik und DOWN am Huawei, und die Zähler bewegen sich überhaupt nicht, es kommt also nie so weit, dass eine der Boxen einen Fehler loggt.
Diese letzte Einschränkung verdient mehr als eine Fußnote, denn genau da bin ich hängengeblieben. An einem S6320-54C-EI, mit RouterOS 7.12 auf der MikroTik-Seite, lässt sich Auto-Negotiation am 40G-Port überhaupt nicht ausschalten, der asymmetrische Trick hat also nirgends, wo er landen könnte.
Symptome ansonsten identisch: Beide Enden lesen das Kabel, der Port bleibt down, nirgends Fehler. Der Workaround oben ist also echt, aber plattformspezifisch, und die zugrunde liegende Inkompatibilität zwischen diesen beiden 40G-Implementierungen ist, soweit ich sehen kann, weiterhin offen.
Für alle, die hier landen und ein herstellerübergreifendes DAC einfach nicht zum Benehmen bringen: Irgendwann ist es billiger, aufzuhören zu kämpfen.
Ich hatte einen Alta Route 10 gegen einen CRS309-1G-8S+, bei dem der Route 10 sowohl ein 10Gtek- als auch ein FS-SFP+-DAC erkannte, gemeldet als SFP-H10GB-CU2M, während der CRS309 kein Link-Partner-Advertising zeigte und das Paar nur linkte, wenn auf 1G heruntergezwungen wurde. 10gbase_r in /cfg/sfpX.txt zu erzwingen hat nichts gebracht, und egal welches Modul im Käfig saß, ethtool am Route 10 listete weiter baseT-Modi. Beide Enden auf FS-SFP-10GSR-85-Optiken getauscht, und der 10G-Link stand sofort.
Andere Geschwindigkeit, andere Boxen, gleiche Lektion: Wenn das Kabel nachweislich gut ist und die beiden Enden sich trotzdem nicht einigen, kostet ein Paar Optiken weniger als noch eine Woche Tuning.