DD PoD licence लगाने के बाद भी Brocade G720 हर 64G SFP-DD port को Module_Invalid में रखता है
हमें एक नए fabric के लिए Connectrix DS-7720B (Brocade G720) की एक जोड़ी विरासत में मिली, और मैं अभी तक zoning के आस-पास भी नहीं पहुंचा, क्योंकि double density ports में से एक भी up नहीं होगा। हर एक switchshow में यही कहता है:
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)rack में यह है:
- Connectrix DS-7720B / Brocade G720, Fabric OS अभी भी उसी 9.0.x line पर जिसके साथ यह deliver हुआ था
- Double Density Ports on Demand licence installed है और applied दिख रहा है
- Brocade branded 64G FC SFP-DD transceivers, part 57-1000505-01
- optics वाले उसी box से आए factory patch cords
कोई obvious सुझाव दे उससे पहले: मैंने हर module को reseat किया है और दो को ports के बीच घुमाया है, और fault modules के साथ नहीं बल्कि ports के साथ ही टिका रहता है। Double Density Ports on Demand licence सच में applied है, सिर्फ order नहीं किया गया, यह मैंने दो बार check किया। Patch cords बदले, ends साफ किए, कोई फर्क नहीं। उसी chassis के ordinary ports खुशी-खुशी traffic carry करते हैं, तो यह कोई मरा हुआ switch नहीं है।
क्या हमें double density optics का कोई खराब batch मिल गया, या switch cage में ठीक से देखने से पहले ही उन्हें बट्टे खाते में डाल दे रहा है?
Comments 6
आपकी optics ठीक हैं। problem आपकी firmware है।
G720 पर 64G FC SFP-DD, Fabric OS 9.1.0 से आगे supported है। 9.0.x पर firmware को उस form factor का कोई पता ही नहीं है, तो वह पहचान ही नहीं सकता कि cage में क्या बैठा है और उसे incompatible बताने पर fall back कर जाता है - जो ठीक वही Module_Invalid with Speed Mismatch / Incompatible SFP है जो आप हर double density port पर देख रहे हैं। आपका bench वाला काम दूसरी दिशा से यही बात कहता है: उसी port में जो dd module को मना करता है, एक ordinary optic जल उठता है, और दूसरा chassis बिल्कुल वैसा ही बर्ताव करता है क्योंकि उसमें identical firmware चल रहा है।
जो part आपके पास है, 57-1000505-01, वह Brocade Transceiver Support Matrix में listed है, और उसी matrix में हर platform के लिए minimum firmware लिखा होता है। G720 के लिए वह entry 9.1.0 से शुरू होती है। 9.1.0 या उसके बाद पर जाइए और वे ports पहले से लगी optics के साथ ही up हो जाएंगे।
box में रखा वह blade भी वही कहानी है। हर Gen 7 platform का matrix में अपना अलग floor है - इनमें G730 (DS-7730B), 7850 (MP-7850B) और FC64-64 शामिल हैं - तो double density optics उस पर लगाने से पहले हर एक को देख लीजिए, वरना अगले box पर यह दोपहर दोबारा गंवाएंगे।
बाकी जो भी करें, modules वापस मत भेजिए।
RMA paperwork पर अभी रुक जाइए, क्योंकि यहां से देखने पर यह dead optics के पूरे batch जैसा नहीं लगता। media column में dd का पहले से बैठा होना और Module_Invalid मतलब switch ने cage से कुछ निकाला तो ज़रूर, बस जो पढ़ा वह उसे पसंद नहीं आया। सच में dead module आमतौर पर इतनी दूर तक पहुंचता ही नहीं - तब आप no-module state देख रहे होते।
तीन चीज़ें इसे narrow करने में मदद करेंगी और इनमें से किसी की कोई कीमत नहीं:
और फिलहाल licence को सोच से बाहर रखिए। Ports on Demand ports unlock करता है; यह firmware को किसी ऐसे form factor के बारे में नहीं सिखाता जिससे उसका कभी सामना ही नहीं हुआ।
borrowed optic वाली बात अच्छी रही। मैंने एक normal port से एक working Brocade module निकाला, port 48 में डाला, और वह तुरंत F-Port के तौर पर online आ गया। उसी port में वापस एक 64G SFP-DD डालो तो एक-दो second में फिर Module_Invalid। यानी cage ज़िंदा है, licence अपना काम कर रहा है और port खुद ठीक है - switch सिर्फ double density modules को नहीं चाहता।
दोनों switches, हां। दूसरा DS-7720B ज्यादातर अभी भी अपने crate में है, पर मैंने bench पर उसमें दो dd modules डाले और बिल्कुल वही line वापस मिली, तो यह किसी एक chassis का fault नहीं है।
कहीं और Gen 7: अभी production में कुछ नहीं, पर एक FC64-64 blade एक box में director slot का इंतज़ार कर रहा है, और वह खरीदा ही ठीक इन्हीं optics को लेने के लिए गया था। अगर वहां भी यह काटने वाला है, तो migration window के दौरान की बजाय मैं अभी जान लेना पसंद करूंगा।
Vendor अलग है, trap की shape वही। post कर रहा हूं ताकि किसी और की cages से modules निकालते हुए एक दोपहर बच जाए।
Dell S5248F-ON, SONiC master build। एक भी SFP28 port काम नहीं कर रहा था। हर port LED solid, और show interface transceiver presence में कोई transceiver बिल्कुल नहीं listed, जबकि cages में बिल्कुल healthy optics लगी थीं।
इसमें कुछ भी optical नहीं था। platform monitor container down था: pmon नहीं चल रहा था, और न ही pcied, xcvrd और psud चल रहे थे। xcvrd वह process है जो modules से I2C पर बात करता है, तो उसके मरे होने पर कोई EEPROM पढ़ ही नहीं रहा था, और CLI ईमानदारी से वही report कर रहा था जो उसे पता था, यानी कुछ नहीं। docker ps और show system-health detail ने करीब एक मिनट में पूरी कहानी बता दी - इसके पहले कि मैं आधा दिन modules इधर-उधर घुमाने में गंवा चुका था।
Z9264F पर भी उसी family की चीज़ हुई, जहां platform plugin के Sfp constructor में AttributeError: 'Sfp' object has no attribute 'port_type' आकर गिर गया और boot के समय अपने साथ determine-reboot-cause.service को भी नीचे ले गया। जब ports की पूरी class एक ही तरीके से misbehave करे, तो optic लगभग कभी सबसे पहले suspect करने वाली चीज़ नहीं होती।
इसका दूसरा आधा हिस्सा उतना glamorous नहीं है, और असल में वक्त वहीं जाता है। जिस switch के पीछे अभी कुछ नहीं जुड़ा, उस पर भी Fabric OS jump एक change window ही है, दो meetings के बीच किया जाने वाला काम नहीं, तो पहले यह तय कर लीजिए कि fabric में इसके साथ और क्या move करना पड़ेगा और outage को ठीक से book कीजिए।
चूंकि वह FC64-64 अभी भी अपने box में है: उसे double density optic देखने से पहले ही 9.1.0 या उसके बाद पर डाल दीजिए। वरना आप इस thread को edge switch की बजाय एक director में दोबारा बनाएंगे, वह भी दर्शकों के सामने।
एक और practical बात। supplier के RMA log करने से पहले उन तक पहुंच जाइए। वे modules अपने आप को बिल्कुल ठीक से identify करते हैं, बस host के पास अभी उनके लिए table entry नहीं है। अगर supplier उन्हें faulty मानकर वापस ले लेता है तो आप तीन हफ्ते एक replacement batch का इंतज़ार करेंगे जो बिल्कुल वैसे ही बर्ताव करेगा, और फिर भी upgrade करना पड़ेगा।
Confirm हो गया, और यह firmware ही थी।
दोनों switches weekend वाले window में 9.1.0 पर गए, और reboot पर हर double density port Module_Invalid से बाहर निकलकर 64G पर online हो गया, उन्हीं 57-1000505-01 optics के साथ जो पूरे समय उनमें बैठी थीं। कुछ भी reseat नहीं हुआ, कुछ भी बदला नहीं, कोई cabling नहीं हुई।
licence निकलकर वह red herring निकला जिसे मैं chase कर रहा था - शुरू से सही तरीके से applied थी, बस 9.0.x पर कुछ काम की नहीं कर सकती थी। blade किसी director slot के आस-पास जाने से पहले 9.1.0 पर जाएगा, और मैंने यह उस box पर लिख दिया है जिसमें वह रखा है। इससे हमारा एक RMA और supplier के साथ एक काफी अजीब बातचीत, दोनों बच गए।