Brocade G720 hält jeden 64G-SFP-DD-Port in Module_Invalid, obwohl die DD-PoD-Lizenz aktiviert ist
Wir haben ein Paar Connectrix DS-7720B (Brocade G720) für eine neue Fabric geerbt, und ich bin noch lange nicht beim Zoning, weil kein einziger Double-Density-Port hochkommt. Jeder Einzelne sagt in switchshow dasselbe:
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)Was im Rack steckt:
- Connectrix DS-7720B / Brocade G720, Fabric OS noch auf der 9.0.x-Linie, mit der es geliefert wurde
- Double Density Ports on Demand-Lizenz installiert und als angewendet angezeigt
- Brocade-gebrandete 64G-FC-SFP-DD-Transceiver, Teil 57-1000505-01
- Werks-Patchkabel aus derselben Schachtel wie die Optiken
Bevor jemand das Offensichtliche vorschlägt: Ich habe jedes Modul neu gesetzt und zwei davon zwischen Ports getauscht, und der Fehler bleibt bei den Ports statt mit den Modulen zu wandern. Die Double Density Ports on Demand-Lizenz ist wirklich angewendet und nicht nur bestellt, das habe ich zweimal geprüft. Patchkabel getauscht, Enden gereinigt, kein Unterschied. Gewöhnliche Ports am selben Chassis tragen Traffic völlig problemlos, das ist also kein toter Switch.
Haben wir eine schlechte Charge Double-Density-Optik bekommen, oder schreibt der Switch sie ab, bevor er richtig angeschaut hat, was in der Cage steckt?
Comments 6
Deine Optik ist in Ordnung. Deine Firmware ist das Problem.
64G FC SFP-DD wird an einem G720 erst ab Fabric OS 9.1.0 unterstützt. Auf 9.0.x kennt die Firmware diesen Formfaktor überhaupt nicht, sie kann also nicht identifizieren, was in der Cage steckt, und fällt darauf zurück, es als inkompatibel zu deklarieren: genau das Module_Invalid mit Speed Mismatch / Incompatible SFP, das an jedem Double-Density-Port zu sehen ist. Deine Werkbank-Tests sagen aus der anderen Richtung dasselbe: Eine gewöhnliche Optik leuchtet genau in dem Port, der ein dd-Modul verweigert, und das zweite Chassis verhält sich identisch, weil es dieselbe Firmware fährt.
Das Teil, das du hast, 57-1000505-01, steht in der Brocade Transceiver Support Matrix, und in dieser Matrix steht auch die Mindestfirmware pro Plattform. Für den G720 beginnt dieser Eintrag bei 9.1.0. Auf 9.1.0 oder neuer gehen, und diese Ports kommen mit der bereits eingesetzten Optik hoch.
Die Blade in der Schachtel ist dieselbe Geschichte. Jede Gen-7-Plattform hat ihre eigene Untergrenze in der Matrix: darunter der G730 (DS-7730B), der 7850 (MP-7850B) und der FC64-64. Also jeden einzeln nachschlagen, bevor Double-Density-Optik draufkommt, sonst verliert man den nächsten Nachmittag beim nächsten Gerät noch einmal.
Was auch immer sonst passiert: Die Module nicht zurückschicken.
Mit dem RMA-Papierkram noch warten, denn eine ganze Charge toter Optik sieht von hier aus nicht danach aus. Module_Invalid, wobei dd schon in der Media-Spalte steht, heißt, der Switch hat etwas aus der Cage bekommen und mochte nicht, was er gelesen hat. Ein wirklich totes Modul kommt normalerweise nicht so weit: Da stünde stattdessen ein no-module-Status.
Drei Dinge würden das eingrenzen, und keines davon kostet etwas:
Und die Lizenz vorerst aus den Überlegungen lassen. Ports on Demand schaltet Ports frei, es bringt der Firmware keinen Formfaktor bei, den sie noch nie getroffen hat.
Guter Tipp mit der geliehenen Optik. Ein funktionierendes Brocade-Modul aus einem der normalen Ports gezogen, in Port 48 gesteckt, und es ging sofort als F-Port online. Ein 64G-SFP-DD zurück in denselben Port, und es ist innerhalb von ein, zwei Sekunden wieder Module_Invalid. Die Cage lebt also, die Lizenz macht ihre Arbeit, und der Port selbst ist in Ordnung: Der Switch will nur die Double-Density-Module nicht.
Beide Switches, ja. Der zweite DS-7720B steht größtenteils noch in seiner Kiste, aber ich habe zwei der dd-Module auf der Werkbank reingesteckt und dieselbe Zeile zurückbekommen, es ist also nicht ein Chassis mit einem Defekt.
Gen 7 sonst: noch nichts in Produktion, aber es gibt eine FC64-64-Blade in einer Schachtel, die auf einen Director-Slot wartet, gekauft genau für diese Optik. Wenn es dort auch beißt, wüsste ich das lieber jetzt als während des Migrationsfensters.
Anderer Hersteller, dieselbe Art von Falle. Poste das, falls es jemand anderem einen Nachmittag Module-Rausziehen erspart.
Dell S5248F-ON, SONiC-Master-Build. Kein einziger SFP28-Port funktionierte. Jede Port-LED durchgehend an, und show interface transceiver presence listete überhaupt keine Transceiver, bei völlig gesunder Optik in den Cages.
Nichts davon war optisch. Der Platform-Monitor-Container war unten: pmon lief nicht, ebenso wenig pcied, xcvrd und psud. xcvrd ist der Prozess, der per I2C mit den Modulen spricht, mit ihm tot hat also niemand überhaupt ein EEPROM gelesen, und die CLI hat ehrlich gemeldet, was sie wusste, nämlich nichts. docker ps und show system-health detail haben mir die ganze Geschichte in etwa einer Minute erzählt, nachdem ich schon einen halben Tag Module getauscht hatte.
Dieselbe Familie von Problem an einem Z9264F, wo der Sfp-Konstruktor des Plattform-Plugins mit AttributeError: 'Sfp' object has no attribute 'port_type' abgestürzt ist und beim Boot determine-reboot-cause.service mit sich runtergerissen hat. Wenn sich eine ganze Klasse von Ports exakt gleich daneben benimmt, ist die Optik so gut wie nie das, was man zuerst verdächtigen sollte.
Die andere Hälfte davon ist unglamourös, und da geht die Zeit eigentlich hin. Ein Fabric-OS-Sprung an einem Switch, an dem noch nichts dranhängt, ist trotzdem ein Change-Window und nicht etwas, das man zwischen zwei Meetings macht, also erst klären, was sonst noch in der Fabric mitziehen muss, und die Downtime sauber buchen.
Da die FC64-64 noch in der Schachtel ist: sie auf 9.1.0 oder neuer bringen, bevor sie je eine Double-Density-Optik sieht. Sonst reproduziert man diesen Thread in einem Director statt in einem Edge-Switch, mit Publikum.
Noch eine praktische Sache. Den Lieferanten erreichen, bevor er das RMA einträgt. Diese Module identifizieren sich völlig korrekt, der Host hat nur noch keinen Tabelleneintrag für sie. Wenn der Lieferant sie als defekt zurücknimmt, wartet man drei Wochen auf eine Ersatzcharge, die sich exakt gleich verhält, und muss das Upgrade danach trotzdem machen.
Bestätigt, und es war die Firmware.
Beide Switches gingen im Wartungsfenster am Wochenende auf 9.1.0, und beim Reboot kam jeder Double-Density-Port aus Module_Invalid raus und ging mit 64G online, mit genau der 57-1000505-01-Optik, die die ganze Zeit schon drinsteckte. Nichts neu gesetzt, nichts ersetzt, nichts neu verkabelt.
Die Lizenz erwies sich als die falsche Fährte, der ich hinterherjagte: von Anfang an korrekt angewendet, konnte sie auf 9.0.x einfach nichts Sinnvolles tun. Die Blade geht auf 9.1.0, bevor sie in die Nähe eines Director-Slots kommt, und das habe ich auf die Schachtel geschrieben, in der sie liegt. Hat uns ein RMA und ein ziemlich unangenehmes Gespräch mit dem Lieferanten erspart.