Il Brocade G720 tiene ogni porta SFP-DD 64G in Module_Invalid con la licenza DD PoD applicata
Abbiamo ereditato una coppia di Connectrix DS-7720B (Brocade G720) per una nuova fabric, e non sono ancora arrivato da nessuna parte vicino allo zoning, perché non sale nemmeno una delle porte double density. Ognuna di esse dice esattamente la stessa cosa in switchshow:
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)Cosa c'è nel rack:
- Connectrix DS-7720B / Brocade G720, Fabric OS ancora sulla linea 9.0.x con cui è stato consegnato
- licenza Double Density Ports on Demand installata e risultante applicata
- transceiver 64G FC SFP-DD a marchio Brocade, part 57-1000505-01
- bretelle di fabbrica dalla stessa scatola delle ottiche
Prima che qualcuno suggerisca l'ovvio: ho riseduto ogni modulo e ne ho spostati due tra le porte, e il guasto resta con le porte piuttosto che viaggiare con i moduli. La licenza Double Density Ports on Demand è davvero applicata e non solo ordinata, l'ho controllato due volte. Bretelle scambiate, capi puliti, nessuna differenza. Le porte normali sullo stesso chassis portano traffico piuttosto serenamente, quindi non è uno switch morto.
Ci hanno consegnato un lotto difettoso di ottiche double density, oppure lo switch le scarta prima ancora di aver guardato correttamente cosa c'è nella cage?
Comments 6
La tua ottica va bene. Il problema è il tuo firmware.
Gli SFP-DD FC 64G su un G720 sono supportati da Fabric OS 9.1.0 in poi. Su 9.0.x il firmware non ha proprio nozione di quel fattore di forma, quindi non riesce a identificare cosa sta nella cage e ripiega dichiarandolo incompatibile - il che è esattamente il Module_Invalid con Speed Mismatch / Incompatible SFP che vedi su ogni porta double density. Il tuo lavoro al banco dice la stessa cosa dalla direzione opposta: un'ottica normale si accende proprio nella porta che rifiuta un modulo dd, e il secondo chassis si comporta in modo identico perché fa girare firmware identico.
Il componente che hai, 57-1000505-01, è elencato nella Brocade Transceiver Support Matrix, ed è nella matrice che è scritto il firmware minimo per piattaforma. Per il G720 quella voce inizia a 9.1.0. Vai a 9.1.0 o successiva e quelle porte salgono con le ottiche già dentro.
Quella blade nella scatola è la stessa storia. Ogni piattaforma Gen 7 porta il proprio limite minimo nella matrice - il G730 (DS-7730B), il 7850 (MP-7850B) e l'FC64-64 tra questi - quindi controllali tutti prima di spostarci sopra ottiche double density, o perderai di nuovo un pomeriggio sul prossimo apparato.
Qualunque altra cosa tu faccia, non rimandare indietro i moduli.
Aspetta con la pratica RMA, perché da qui non sembra affatto un intero lotto di ottiche morte. Module_Invalid con dd già presente nella colonna media significa che lo switch ha tirato fuori qualcosa dalla cage e non gli è piaciuto quello che ha letto. Un modulo davvero morto di solito non arriva così lontano - ti troveresti invece davanti a uno stato no-module.
Tre cose restringerebbero il campo e nessuna ti costa niente:
E per ora tieni la licenza fuori dal ragionamento. Ports on Demand sblocca le porte; non insegna al firmware un fattore di forma che non ha mai incontrato.
Buona idea quella dell'ottica in prestito. Ho tirato fuori un modulo Brocade funzionante da una delle porte normali, l'ho messo nella porta 48, ed è andato online subito come F-Port. Rimetto un SFP-DD 64G nella stessa porta ed è di nuovo Module_Invalid in un secondo o due. Quindi la cage è viva, la licenza fa il suo lavoro e la porta in sé è a posto - è solo che lo switch non ne vuole sapere dei moduli double density.
Entrambi gli switch, sì. Il secondo DS-7720B è per lo più ancora nella sua cassa, ma ho messo due dei moduli dd sopra al banco e ho riavuto indietro la riga identica, quindi non è uno chassis solo con un guasto.
Gen 7 altrove: niente in produzione ancora, ma c'è una blade FC64-64 in una scatola in attesa di uno slot da director, ed è stata comprata apposta per prendere proprio queste ottiche. Se sta per mordere anche lì, preferirei saperlo adesso piuttosto che durante la finestra di migrazione.
Vendor diverso, stessa forma di trappola. La posto nel caso risparmi a qualcun altro un pomeriggio a tirare fuori moduli dalle cage.
Dell S5248F-ON, build master SONiC. Nemmeno una porta SFP28 funzionava. Ogni LED di porta fisso, e show interface transceiver presence non elencava assolutamente nessun transceiver, con ottiche perfettamente sane nelle cage.
Niente di tutto ciò era ottico. Il container platform monitor era giù: pmon non girava, e nemmeno pcied, xcvrd e psud. xcvrd è il processo che parla I2C con i moduli, quindi con lui morto nessuno leggeva affatto un EEPROM, e la CLI riportava onestamente quello che sapeva, cioè niente. docker ps e show system-health detail mi hanno raccontato tutta la storia in circa un minuto - dopo che avevo già passato mezza giornata a scambiare moduli.
Stessa famiglia di cosa su uno Z9264F, dove il costruttore Sfp del plugin di piattaforma è caduto con AttributeError: 'Sfp' object has no attribute 'port_type' e si è portato giù con sé determine-reboot-cause.service all'avvio. Quando un'intera classe di porte si comporta male esattamente allo stesso modo, l'ottica non è quasi mai la prima cosa da sospettare.
L'altra metà di questa storia è poco affascinante, ed è lì che va davvero il tempo. Un salto di Fabric OS su uno switch che ancora non ha niente dietro resta comunque una change window piuttosto che qualcosa che fai tra due riunioni, quindi capisci prima cos'altro nella fabric deve muoversi insieme a lui e prenota l'outage per bene.
Visto che quell'FC64-64 è ancora nella sua scatola: mettila su 9.1.0 o successiva prima che veda mai un'ottica double density. Altrimenti riproduci questo thread su un director invece che su uno switch edge, con un pubblico.
Un'altra cosa pratica. Arriva al tuo fornitore prima che registrino l'RMA. Quei moduli si identificano perfettamente bene, è l'host che semplicemente non ha ancora una voce in tabella per loro. Se il fornitore li accetta indietro come difettosi aspetterai tre settimane per un lotto sostitutivo che si comporta esattamente allo stesso modo, e dopo dovrai comunque fare l'upgrade.
Confermato, ed era il firmware.
Entrambi gli switch sono passati a 9.1.0 nella finestra del weekend, e al riavvio ogni porta double density è uscita da Module_Invalid ed è andata online a 64G con le stesse ottiche 57-1000505-01 che ci stavano dentro da sempre. Niente riseduto, niente sostituito, niente ricablato.
La licenza si è rivelata l'indizio falso che stavo inseguendo - applicata correttamente fin dall'inizio, semplicemente non poteva fare niente di utile su 9.0.x. La blade va a 9.1.0 prima di avvicinarsi anche solo a uno slot da director, e l'ho scritto sulla scatola in cui sta. Ci ha risparmiato un RMA e una conversazione piuttosto imbarazzante con il fornitore.