Brocade G720 trzyma każdy port 64G SFP-DD w stanie Module_Invalid mimo zastosowanej licencji DD PoD
Odziedziczyliśmy parę Connectrix DS-7720B (Brocade G720) do nowej fabric i nawet nie zbliżyłem się jeszcze do zoningu, bo ani jeden port double density nie chce wstać. Każdy z nich mówi to samo w switchshow:
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)Co jest w szafie:
- Connectrix DS-7720B / Brocade G720, Fabric OS wciąż na linii 9.0.x, z jaką zostało dostarczone
- licencja Double Density Ports on Demand zainstalowana i pokazująca się jako zastosowana
- transceivery 64G FC SFP-DD sygnowane przez Brocade, część 57-1000505-01
- fabryczne patchcordy z tego samego pudełka co optyka
Zanim ktoś zasugeruje oczywistość: wyjąłem i włożyłem z powrotem każdy moduł, dwa z nich przełożyłem między portami, i usterka zostaje przy portach, a nie wędruje razem z modułami. Licencja Double Density Ports on Demand jest naprawdę zastosowana, a nie tylko zamówiona, sprawdziłem to dwa razy. Patchcordy wymienione, końcówki wyczyszczone, bez różnicy. Zwykłe porty w tym samym chassis przenoszą ruch bez żadnych problemów, więc to nie martwy switch.
Czy trafiła nam się wadliwa partia optyki double density, czy switch odrzuca je, zanim w ogóle porządnie sprawdzi, co siedzi w klatce?
Comments 6
Twoja optyka jest w porządku. Problemem jest firmware.
64G FC SFP-DD na G720 jest obsługiwane od Fabric OS 9.1.0 wzwyż. Na 9.0.x firmware w ogóle nie ma pojęcia o tym formacie, więc nie potrafi zidentyfikować, co siedzi w klatce, i domyślnie uznaje to za niekompatybilne - co jest dokładnie tym Module_Invalid ze Speed Mismatch / Incompatible SFP, który widzisz na każdym porcie double density. Twoje testy na stole mówią to samo z drugiej strony: zwykła optyka zapala się dokładnie w tym porcie, który odrzuca moduł dd, a drugie chassis zachowuje się identycznie, bo działa na identycznym firmware.
Część, którą masz, 57-1000505-01, jest wymieniona w Brocade Transceiver Support Matrix, a to właśnie w tej matrycy zapisane jest minimalne firmware dla każdej platformy. Dla G720 ten wpis zaczyna się od 9.1.0. Wejdź na 9.1.0 lub nowsze i te porty wstaną z optyką, która już w nich siedzi.
Z tym blade'em w pudle jest ta sama historia. Każda platforma Gen 7 ma swój własny próg w matrycy - między innymi G730 (DS-7730B), 7850 (MP-7850B) i FC64-64 - więc sprawdź każdą z osobna, zanim przełożysz na nią optykę double density, bo inaczej stracisz to popołudnie drugi raz przy następnym pudle.
Cokolwiek jeszcze zrobisz, nie odsyłaj modułów.
Wstrzymaj się z papierami do RMA, bo z tego, co widać stąd, to nie wygląda na całą wadliwą partię optyki. Module_Invalid z dd już widocznym w kolumnie media oznacza, że switch coś wyciągnął z klatki i nie spodobało mu się to, co przeczytał. Naprawdę martwy moduł zwykle nie dochodzi nawet tak daleko - zamiast tego miałbyś stan no-module.
Trzy rzeczy zawęziłyby sprawę i żadna z nich nic cię nie kosztuje:
I na razie zostaw licencję poza myśleniem o tym. Ports on Demand odblokowuje porty, nie uczy firmware'u formatu, którego nigdy wcześniej nie spotkał.
Dobra podpowiedź z pożyczoną optyką. Wyjąłem działający moduł Brocade z jednego ze zwykłych portów, wsadziłem do portu 48 i wstał od razu jako F-Port. Wkładam z powrotem do tego samego portu 64G SFP-DD i w ciągu sekundy albo dwóch znowu jest Module_Invalid. Czyli klatka żyje, licencja robi swoje, a sam port jest w porządku - switch po prostu nie chce konkretnie modułów double density.
Oba switche, tak. Drugi DS-7720B w większości wciąż stoi w skrzyni, ale wsadziłem do niego na stole dwa moduły dd i dostałem dokładnie tę samą linijkę z powrotem, więc to nie jedno chassis z usterką.
Gen 7 gdzie indziej: na produkcji na razie nic, ale w pudle czeka blade FC64-64 na slot w directorze, kupiony właśnie pod tę optykę. Jeśli tam też ugryzie, wolę wiedzieć teraz niż w oknie migracji.
Inny producent, ten sam kształt pułapki. Piszę to, gdyby komuś innemu zaoszczędziło popołudnia wyciągania modułów z klatek.
Dell S5248F-ON, master build SONiC. Ani jeden port SFP28 nie działał. Dioda na każdym porcie świeciła stabilnie, a show interface transceiver presence nie pokazywało żadnych transceiverów, mimo całkowicie zdrowej optyki w klatkach.
Nic z tego nie było optyczne. Kontener platform monitor stał: pmon nie działał, podobnie jak pcied, xcvrd i psud. xcvrd to proces, który gada po I2C z modułami, więc kiedy on nie żył, nikt w ogóle nie czytał EEPROM-u, a CLI uczciwie zgłaszało to, co wiedziało, czyli nic. docker ps i show system-health detail powiedziały mi całą historię w jakąś minutę - już po tym, jak spędziłem pół dnia na przekładaniu modułów.
Ta sama rodzina problemu na Z9264F, gdzie konstruktor Sfp we wtyczce platformy wywalił się z AttributeError: 'Sfp' object has no attribute 'port_type' i ściągnął przy tym przy boocie determine-reboot-cause.service. Kiedy cała klasa portów zachowuje się dokładnie tak samo źle, optyka niemal nigdy nie jest tym, co warto podejrzewać najpierw.
Druga połowa tej sprawy jest mało efektowna, a to właśnie tam faktycznie ucieka czas. Skok Fabric OS na switchu, za którym jeszcze nic nie stoi, to wciąż okno zmiany, a nie coś, co robi się między dwoma spotkaniami, więc najpierw ustal, co jeszcze w fabric musi się przesunąć razem z nim, i porządnie zarezerwuj okno serwisowe.
Skoro ten FC64-64 wciąż stoi w pudle: wgraj mu 9.1.0 lub nowsze, zanim w ogóle zobaczy optykę double density. Inaczej powtórzysz ten wątek na directorze zamiast na switchu brzegowym, i to z publicznością.
Jeszcze jedna praktyczna rzecz. Dogadaj się z dostawcą, zanim zgłosi RMA. Te moduły identyfikują się bez zarzutu, po prostu host jeszcze nie ma dla nich wpisu w tabeli. Jeśli dostawca przyjmie je z powrotem jako wadliwe, poczekasz trzy tygodnie na partię zamienną, która zachowa się dokładnie tak samo, a potem i tak trzeba będzie zrobić upgrade.
Potwierdzam, to był firmware.
Oba switche poszły na 9.1.0 w oknie w weekend, i po reboocie każdy port double density wyszedł z Module_Invalid i wstał na 64G z tą samą optyką 57-1000505-01, która siedziała w nich przez cały ten czas. Nic nie przełożone, nic nie wymienione, nic nie przekablowane.
Licencja okazała się fałszywym tropem, za którym goniłem - zastosowana poprawnie od początku, po prostu nie mogła zrobić niczego pożytecznego na 9.0.x. Blade idzie na 9.1.0, zanim zbliży się do slotu w directorze, i napisałem to na pudle, w którym stoi. Zaoszczędziło nam to RMA i dość niezręcznej rozmowy z dostawcą.