Brocade G720 houdt elke 64G SFP-DD-poort in Module_Invalid ondanks toegepaste DD PoD-licentie
We hebben een paar Connectrix DS-7720B (Brocade G720) geërfd voor een nieuwe fabric, en ik ben nog lang niet aan zonering toegekomen, omdat niet één van de double-density-poorten omhoog wil. Stuk voor stuk zeggen ze hetzelfde in switchshow:
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)Wat er in het rack zit:
- Connectrix DS-7720B / Brocade G720, Fabric OS nog steeds op de 9.0.x-lijn waarmee hij geleverd is
- Double Density Ports on Demand-licentie geïnstalleerd en getoond als toegepast
- Brocade-merk 64G FC SFP-DD-transceivers, onderdeel 57-1000505-01
- fabriekspatchkabels uit dezelfde doos als de optics
Voor iemand het voor de hand liggende oppert: ik heb elke module opnieuw ingestoken en er twee tussen poorten verwisseld, en de fout blijft bij de poorten hangen in plaats van met de modules mee te reizen. De Double Density Ports on Demand-licentie is echt toegepast en niet alleen besteld, dat heb ik twee keer gecheckt. Patchkabels verwisseld, uiteinden schoongemaakt, geen verschil. Gewone poorten op hetzelfde chassis verwerken netjes verkeer, dus dit is geen dode switch.
Hebben we een slechte partij double-density-optics gekregen, of schrijft de switch ze af voordat hij goed heeft gekeken wat er in de cage zit?
Comments 6
Je optics zijn prima. Je firmware is het probleem.
64G FC SFP-DD op een G720 wordt pas ondersteund vanaf Fabric OS 9.1.0. Op 9.0.x heeft de firmware helemaal geen notie van dat vormfactor, dus kan hij niet identificeren wat er in de cage zit en valt hij terug op het als incompatibel bestempelen ervan - precies de Module_Invalid met Speed Mismatch / Incompatible SFP die je op elke double-density-poort ziet. Jouw testwerk zegt vanuit de andere richting hetzelfde: een gewone optic gaat branden in precies de poort die een dd-module weigert, en het tweede chassis gedraagt zich identiek omdat het identieke firmware draait.
Het onderdeel dat je hebt, 57-1000505-01, staat in de Brocade Transceiver Support Matrix, en die matrix is waar de minimale firmware per platform is vastgelegd. Voor de G720 begint dat item bij 9.1.0. Ga naar 9.1.0 of hoger en die poorten komen omhoog met de optics die er al in zitten.
Die blade in de doos is hetzelfde verhaal. Elk Gen 7-platform heeft zijn eigen ondergrens in de matrix - de G730 (DS-7730B), de 7850 (MP-7850B) en de FC64-64 onder andere - dus zoek elk van hen op voordat je er double-density-optics op zet, anders verlies je deze middag nog een keer bij de volgende box.
Wat je ook doet, stuur de modules niet terug.
Hou de RMA-papieren nog even vast, want een hele partij dode optics is niet wat dit van hieruit lijkt. Module_Invalid met dd al in de mediakolom betekent dat de switch iets uit de cage heeft gehaald en niet leuk vond wat hij las. Een echt dode module komt meestal niet zo ver - dan zou je eerder een no-module-status zien.
Drie dingen zouden het kunnen afbakenen en geen ervan kost je iets:
En laat de licentie voorlopig buiten beschouwing. Ports on Demand ontgrendelt poorten; het leert de firmware niets over een vormfactor die hij nog nooit is tegengekomen.
Goede tip met die geleende optic. Ik heb een werkende Brocade-module uit een van de normale poorten gehaald, in poort 48 gezet, en hij kwam meteen online als F-Port. Stop een 64G SFP-DD terug in diezelfde poort en het is binnen een seconde of twee weer Module_Invalid. De cage leeft dus, de licentie doet zijn werk en de poort zelf is in orde - alleen de double-density-modules wil de switch niet hebben.
Beide switches, ja. De tweede DS-7720B staat grotendeels nog in zijn krat, maar ik heb er op de bank twee van de dd-modules in gezet en kreeg exact dezelfde melding terug, dus het is niet één chassis met een defect.
Gen 7 elders: nog niets in productie, maar er staat een FC64-64-blade in een doos te wachten op een directorslot, en die is gekocht om precies deze optics te gebruiken. Als het daar ook gaat bijten, weet ik dat liever nu dan tijdens het migratievenster.
Ander merk, zelfde soort valkuil. Ik post het voor het geval het iemand anders een middag modules uit cages trekken bespaart.
Dell S5248F-ON, SONiC master build. Geen enkele SFP28-poort werkte. Elke poort-LED brandde continu, en show interface transceiver presence toonde helemaal geen transceivers, terwijl de optics in de cages kerngezond waren.
Niets daarvan was optisch. De platform-monitorcontainer lag plat: pmon draaide niet, en pcied, xcvrd en psud ook niet. xcvrd is het proces dat I2C met de modules spreekt, dus met dat proces dood las niemand ook maar één EEPROM uit, en de CLI rapporteerde eerlijk wat hij wist, en dat was niets. docker ps en show system-health detail vertelden me het hele verhaal in ongeveer een minuut - nadat ik al een halve dag had besteed aan het verwisselen van modules.
Zelfde soort ding op een Z9264F, waar de Sfp-constructor van de platform-plugin onderuitging met AttributeError: 'Sfp' object has no attribute 'port_type' en daarbij determine-reboot-cause.service meesleurde tijdens het opstarten. Als een hele klasse poorten zich precies op dezelfde manier misdraagt, is de optic bijna nooit het eerste om te verdenken.
De andere helft hiervan is onglamoureus, en daar gaat de tijd eigenlijk in zitten. Een Fabric OS-sprong op een switch waar nog niets achter hangt, is nog steeds een change window en geen klusje tussen twee meetings door, dus zoek eerst uit wat er nog meer in de fabric mee moet en boek de uitval netjes.
Aangezien die FC64-64 nog in zijn doos zit: zet hem op 9.1.0 of hoger voordat hij ooit een double-density-optic ziet. Anders reproduceer je deze thread in een director in plaats van een edge switch, met publiek erbij.
Nog een praktisch puntje. Zorg dat je bij je leverancier bent voordat die de RMA vastlegt. Die modules identificeren zichzelf prima, de host heeft er alleen nog geen tabelvermelding voor. Als de leverancier ze terugneemt als defect, wacht je drie weken op een vervangende partij die zich precies hetzelfde gedraagt, en moet je daarna alsnog de upgrade doen.
Bevestigd, en het was de firmware.
Beide switches gingen tijdens het weekendvenster naar 9.1.0, en bij de reboot kwam elke double-density-poort uit Module_Invalid en ging online op 64G met dezelfde 57-1000505-01-optics die er de hele tijd al in hadden gezeten. Niets opnieuw ingestoken, niets vervangen, niets herbekabeld.
De licentie bleek de rode haring te zijn die ik had nagejaagd - vanaf het begin correct toegepast, hij kon op 9.0.x alleen niets nuttigs doen. De blade gaat naar 9.1.0 voordat hij ook maar in de buurt van een directorslot komt, en dat heb ik op de doos geschreven waar hij in zit. Scheelde ons een RMA en een behoorlijk ongemakkelijk gesprek met de leverancier.