Dell DD9900 в HA-паре не видит SFP в ethMa: State UP, link status NO, Cannot get module EEPROM information
Обслуживаю резервное хранилище в ЦОДе. Пара DD9900 в HA, сетевые порты на NDC QLogic. После очередной перезагрузки или переустановки модуля порт ethMa перестаёт видеть трансивер, и это уже не разовая случайность, а стабильно повторяющийся фокус.
- Dell DD9900, DD OS 7.2.0.95, конфигурация HA
- NDC QLogic QL41164HMCU 4x10GbE (Dell 0XVVY1)
- модули ABCU-5710RZ-CS4B, FCLF-8521-3-HP, FTLX8571D3BCL-FC, AFBR-703ASDZ - цепляет и медь, и оптику
Что видно в системе:
State UP
link status NO
Transceiver is unplugged
Cannot get module EEPROM informationethtool -m по этому порту не отдаёт ничего.
Что уже перепробовали:
- переставляли модули между портами и меняли патчкорды - проблема ездит за портом, а не за модулем
- перевешивали линк на другой коммутатор и на другой порт коммутатора
- меняли сам NDC на новый, через какое-то время получили ровно то же самое
Порт при этом числится UP, то есть система считает, что всё в порядке, и никакого аварийного сигнала не поднимает. Куда копать дальше - драйвер, DD OS или всё-таки железо?
AI translation to English
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
Раз на одиночной системе не воспроизводится, а на HA - стабильно, железо можно отпускать. Это дефект драйвера QLogic, который вылезает именно в HA-конфигурации на DD OS 7.2. Отсюда и вся картина: порт числится UP, линка нет, а в логе Transceiver is unplugged и Cannot get module EEPROM information. Драйвер просто не добирается до EEPROM модуля, и какой модуль стоит, медный или оптический, ему безразлично - поэтому перебор модулей, шнуров, портов коммутатора и даже замена NDC ничего и не дали.
Лечится обновлением DD OS минимум до 7.10.1, там едет обновлённый бандл прошивок и драйверов, после него симптом уходит. Пока окно на обновление не согласовано:
Оговорка по поддержке: перед апгрейдом сверьтесь с вендором по матрице совместимости именно на вашу HA-конфигурацию, 7.10.1 - это нижняя граница, а не рекомендация ставить ровно её. И на будущее: в более новых DD от этих NDC ушли в сторону Intel X710, так что при обновлении парка вопрос закрывается сам собой.
Три вопроса, чтобы сузить круг. Первое: на одиночной системе такое ловится или только на HA-паре? Это принципиально, потому что HA меняет то, как поднимаются и переезжают интерфейсы, и половина подобных историй живёт именно там.
Второе: на этой карте только SFP-модули или где-то в соседнем порту висит DAC? QLogic в документации прямо запрещает мешать DAC и SFP на одной карте, и последствия бывают ровно такие - часть портов перестаёт читать EEPROM.
Третье:
ethtool -mна соседних портах той же карты отрабатывает нормально или тоже молчит?Собрали стеенд и погоняли. На одиночной системе с теми же модулями и той же DD OS 7.2 воспроизвести не удалось вообще, сколько ни дёргали модули и ни перезагружались. Ловится только на HA-паре, и это, похоже, ключ.
DAC и SFP на одной карте не мешаем, во всех четырёх портах модули одного типа.
ethtool -mна соседних портах читается нормально, EEPROM отдаётся полностью, а на ethMa - то самое Cannot get module EEPROM information, пока порт после очередной перезагрузки не заведётся сам собой.Про «уйти с QLogic» подпишусь. Была плата QLogic 8262 (серия 8200) в FreeNAS 11.3-U5 на HP MicroServer Gen10: обе PCI-функции видны, работает только ql0, а ql1 поднимается как none2 и не иницилизируется, то есть половина карты просто мертва.
В логе на каждой загрузке
0x200000 bytes of rid 0x10 res 3 failedи следомunable to map any ports. Советовали проверить поpciconf -l, не перемаркированная ли это HP NC523SFP, обновить прошивку адаптера и поиграть тюналбами MSI/MSI-X. Ничего из этого не помогло, карту в итоге поменяли, а под хранилище там прямым текстом советуют Chelsio T520-CR или Intel X520. Так что переезд на X710 в новых системах выглядит закономерно.