Dell DD9900 em par HA não reconhece o SFP na ethMa: State UP, link status NO, Cannot get module EEPROM information
Cuido de um storage de backup no datacenter. Par DD9900 em HA, portas de rede na NDC QLogic. Depois de um reboot ou de reinstalar o módulo, a porta ethMa para de enxergar o transceptor, e isso não é mais um acaso isolado, é um comportamento que se repete direitinho.
- Dell DD9900, DD OS 7.2.0.95, configuração HA
- NDC QLogic QL41164HMCU 4x10GbE (Dell 0XVVY1)
- módulos ABCU-5710RZ-CS4B, FCLF-8521-3-HP, FTLX8571D3BCL-FC, AFBR-703ASDZ - pega tanto cobre quanto óptica
O que aparece no sistema:
State UP
link status NO
Transceiver is unplugged
Cannot get module EEPROM informationethtool -m nessa porta não retorna nada.
O que já tentei:
- troquei os módulos entre as portas e troquei os cordões ópticos - o problema segue a porta, não o módulo
- passei o link para outro switch e para outra porta do switch
- troquei a própria NDC por uma nova, depois de um tempo apareceu exatamente a mesma coisa
A porta, nesse meio tempo, continua marcada como UP, ou seja, o sistema acha que está tudo certo e não levanta alarme nenhum. Por onde eu sigo cavando: driver, DD OS ou é hardware mesmo?
Show original (Русский)
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
Já que não reproduz em sistema standalone e reproduz direitinho em HA, pode soltar o hardware. É um defeito do driver QLogic que aparece justamente na configuração HA em DD OS 7.2. Daí vem todo o quadro: a porta fica marcada como UP, não há link, e no log aparece Transceiver is unplugged e Cannot get module EEPROM information. O driver simplesmente não chega até a EEPROM do módulo, e para ele tanto faz se o módulo é de cobre ou óptico - por isso trocar módulos, cordões, portas do switch e até substituir a NDC não resolveu nada.
Corrige atualizando o DD OS no mínimo para a 7.10.1, que traz um pacote atualizado de firmwares e drivers; depois disso o sintoma desaparece. Enquanto a janela de atualização não for aprovada:
Ressalva sobre suporte: antes do upgrade, confira com o fabricante a matriz de compatibilidade para a sua configuração HA especificamente, 7.10.1 é o piso, não uma recomendação de instalar exatamente essa versão. E para o futuro: nos DD mais novos essas NDC foram trocadas por Intel X710, então numa atualização do parque a questão se resolve sozinha.
Três perguntas para fechar o cerco. Primeira: isso acontece também em sistema standalone ou só no par HA? Isso é decisivo, porque o HA muda a forma como as interfaces sobem e migram, e metade dessas histórias mora exatamente aí.
Segunda: nessa placa só tem módulos SFP ou tem um DAC pendurado em alguma porta vizinha? A QLogic proíbe explicitamente na documentação misturar DAC e SFP na mesma placa, e a consequência é exatamente essa - parte das portas para de ler a EEPROM.
Terceira:
ethtool -mnas portas vizinhas da mesma placa funciona normal ou também fica mudo?Montamos uma bancada de teste e rodamos os testes. Em sistema standalone, com os mesmos módulos e o mesmo DD OS 7.2, não conseguimos reproduzir de jeito nenhum, por mais que trocássemos módulos e reiniciássemos. Só acontece no par HA, e isso parece ser a chave.
Não misturamos DAC e SFP na mesma placa, as quatro portas têm módulos do mesmo tipo.
ethtool -mnas portas vizinhas lê normal, a EEPROM sai inteira, e na ethMa aparece aquele mesmo Cannot get module EEPROM information, até a porta subir sozinha depois de mais um reboot.Assino embaixo do 'sair da QLogic'. Tinha uma placa QLogic 8262 (série 8200) num FreeNAS 11.3-U5 em um HP MicroServer Gen10: as duas funções PCI aparecem, mas só a ql0 funciona, a ql1 sobe como none2 e não inicializa, ou seja, metade da placa está simplesmente morta.
No log, em todo boot,
0x200000 bytes of rid 0x10 res 3 failede na sequênciaunable to map any ports. Sugeriram checar pelopciconf -lse não era uma HP NC523SFP remarcada, atualizar o firmware do adaptador e mexer nos tunables de MSI/MSI-X. Nada disso resolveu, a placa acabou sendo trocada, e para storage ali recomendam abertamente Chelsio T520-CR ou Intel X520. Então a migração para X710 nos sistemas novos faz todo sentido.