Dell DD9900 w parze HA nie widzi SFP w ethMa: State UP, link status NO, Cannot get module EEPROM information
Obsługuję zapasowy storage w serwerowni. Para DD9900 w HA, porty sieciowe na NDC QLogic. Po kolejnym restarcie albo ponownym włożeniu modułu port ethMa przestaje widzieć transceiver, i to już nie jednorazowy przypadek, tylko stabilnie powtarzający się patent.
- Dell DD9900, DD OS 7.2.0.95, konfiguracja HA
- NDC QLogic QL41164HMCU 4x10GbE (Dell 0XVVY1)
- moduły ABCU-5710RZ-CS4B, FCLF-8521-3-HP, FTLX8571D3BCL-FC, AFBR-703ASDZ - łapie i miedź, i optykę
Co widać w systemie:
State UP
link status NO
Transceiver is unplugged
Cannot get module EEPROM informationethtool -m na tym porcie nic nie zwraca.
Co już przerobiliśmy:
- przekładaliśmy moduły między portami i zmienialiśmy patchcordy - problem jedzie za portem, a nie za modułem
- przepinaliśmy link na inny switch i na inny port switcha
- wymienialiśmy sam NDC na nowy, po jakimś czasie dostaliśmy dokładnie to samo
Port przy tym figuruje jako UP, czyli system uznaje, że wszystko jest w porządku, i nie zgłasza żadnego alarmu. Gdzie kopać dalej - sterownik, DD OS czy jednak sprzęt?
Show original (Русский)
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
Skoro na pojedynczym systemie się nie odtwarza, a na HA - stabilnie tak, sprzęt można odpuścić. To wada sterownika QLogic, która wyłazi właśnie w konfiguracji HA na DD OS 7.2. Stąd cały obraz: port figuruje jako UP, linku nie ma, a w logu Transceiver is unplugged i Cannot get module EEPROM information. Sterownik po prostu nie dobija się do EEPROM modułu, a jaki moduł stoi, miedziany czy optyczny, jest mu obojętne - dlatego przebieranie modułów, kabli, portów switcha, a nawet wymiana NDC nic nie dały.
Leczy się to aktualizacją DD OS minimum do 7.10.1, tam jedzie zaktualizowany pakiet firmware'u i sterowników, po nim objaw znika. Póki okno na aktualizację nie jest uzgodnione:
Zastrzeżenie co do wsparcia: przed upgrade'em zweryfikujcie u vendora macierz kompatybilności właśnie dla waszej konfiguracji HA, 7.10.1 to dolna granica, a nie rekomendacja, żeby stawiać dokładnie tę wersję. I na przyszłość: w nowszych DD z tych NDC zrezygnowano na rzecz Intel X710, więc przy odświeżaniu parku sprzętu sprawa sama się zamyka.
Trzy pytania, żeby zawęzić krąg. Pierwsze: na pojedynczym systemie to się łapie, czy tylko na parze HA? To istotne, bo HA zmienia sposób, w jaki wstają i przełączają się interfejsy, i połowa takich historii żyje właśnie tam.
Drugie: na tej karcie są tylko moduły SFP, czy gdzieś w sąsiednim porcie wisi DAC? QLogic w dokumentacji wprost zabrania mieszać DAC i SFP na jednej karcie, i skutki bywają dokładnie takie - część portów przestaje czytać EEPROM.
Trzecie:
ethtool -mna sąsiednich portach tej samej karty działa normalnie, czy też milczy?Zebraliśmy stanowisko testowe i pogoniliśmy. Na pojedynczym systemie z tymi samymi modułami i tym samym DD OS 7.2 w ogóle nie udało się odtworzyć, ile by nie szarpać modułami i nie restartować. Łapie się tylko na parze HA, i to chyba jest klucz.
DAC i SFP na jednej karcie nie mieszamy, we wszystkich czterech portach moduły tego samego typu.
ethtool -mna sąsiednich portach czyta się normalnie, EEPROM oddaje się w całości, a na ethMa - to samo Cannot get module EEPROM information, dopóki port po kolejnym restarcie sam się nie podniesie.Podpiszę się pod „odejściem od QLogic". Była karta QLogic 8262 (seria 8200) w FreeNAS 11.3-U5 na HP MicroServer Gen10: obie funkcje PCI widoczne, działa tylko ql0, a ql1 wstaje jako none2 i się nie inicjalizuje, czyli połowa karty jest po prostu martwa.
W logu przy każdym starcie
0x200000 bytes of rid 0x10 res 3 failed, a zaraz po tymunable to map any ports. Radzili sprawdzić przezpciconf -l, czy to nie przeoznaczona HP NC523SFP, zaktualizować firmware adaptera i pobawić się tunablami MSI/MSI-X. Nic z tego nie pomogło, kartę w końcu wymieniono, a pod storage wprost polecają tam Chelsio T520-CR albo Intel X520. Więc przejście na X710 w nowszych systemach wygląda na coś naturalnego.