Dell DD9900 in coppia HA non vede l'SFP su ethMa: State UP, link status NO, Cannot get module EEPROM information
Gestisco uno storage di backup in un data center. Coppia di DD9900 in HA, porte di rete sulla NDC QLogic. Dopo un riavvio o dopo aver rimontato il modulo, la porta ethMa smette di vedere il transceiver, e non è più un caso isolato ma una cosa che si ripete con regolarità.
- Dell DD9900, DD OS 7.2.0.95, configurazione HA
- NDC QLogic QL41164HMCU 4x10GbE (Dell 0XVVY1)
- moduli ABCU-5710RZ-CS4B, FCLF-8521-3-HP, FTLX8571D3BCL-FC, AFBR-703ASDZ - prende sia rame che ottica
Quello che si vede nel sistema:
State UP
link status NO
Transceiver is unplugged
Cannot get module EEPROM informationethtool -m su questa porta non restituisce niente.
Cosa abbiamo già provato:
- spostato i moduli tra le porte e cambiato le bretelle - il problema segue la porta, non il modulo
- spostato il link su un altro switch e su un'altra porta dello switch
- sostituito la NDC con una nuova, e dopo un po' è tornato esattamente lo stesso comportamento
La porta intanto risulta UP, quindi il sistema pensa che sia tutto a posto e non solleva nessun allarme. Dove si continua a scavare adesso: driver, DD OS o comunque l'hardware?
Show original (Русский)
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
Se sul sistema singolo non si riproduce e sull'HA sì, sempre, l'hardware si può escludere. È un difetto del driver QLogic che salta fuori proprio nella configurazione HA su DD OS 7.2. Da qui tutto il quadro: la porta risulta UP, il link non c'è, e nel log compaiono Transceiver is unplugged e Cannot get module EEPROM information. Il driver semplicemente non arriva all'EEPROM del modulo, e che il modulo sia in rame o in ottica non fa differenza - per questo cambiare moduli, cavi, porte dello switch e perfino la NDC non ha dato nulla.
Si risolve aggiornando DD OS almeno alla 7.10.1, dove arriva un bundle aggiornato di firmware e driver, dopo il quale il sintomo sparisce. Finché la finestra di aggiornamento non è concordata:
Nota sul supporto: prima dell'upgrade verificate con il vendor la matrice di compatibilità per la vostra configurazione HA, 7.10.1 è il limite minimo, non la versione consigliata da installare esattamente. E per il futuro: nei DD più recenti queste NDC sono state sostituite con Intel X710, quindi con il rinnovo del parco macchine la questione si chiude da sola.
Tre domande per restringere il campo. Primo: sul sistema singolo si presenta lo stesso o solo sulla coppia HA? È fondamentale, perché l'HA cambia il modo in cui le interfacce si alzano e migrano, e metà di queste storie sta proprio lì.
Secondo: su questa scheda ci sono solo moduli SFP o su una porta vicina c'è un DAC? QLogic nella documentazione vieta espressamente di mescolare DAC e SFP sulla stessa scheda, e le conseguenze sono proprio queste - alcune porte smettono di leggere l'EEPROM.
Terzo:
ethtool -msulle porte vicine della stessa scheda funziona normalmente o tace anche lì?Abbiamo montato un banco di prova e testato per bene. Sul sistema singolo, con gli stessi moduli e la stessa DD OS 7.2, non si riesce a riprodurre in nessun modo, per quanto si tirino fuori i moduli o si riavvii. Si presenta solo sulla coppia HA, e sembra proprio questa la chiave.
Non mescoliamo DAC e SFP sulla stessa scheda, su tutte e quattro le porte ci sono moduli dello stesso tipo.
ethtool -msulle porte vicine legge normalmente, l'EEPROM viene restituito per intero, mentre su ethMa compare proprio quel Cannot get module EEPROM information, finché la porta non riparte da sola dopo l'ennesimo riavvio.Mi accodo su «abbandonare QLogic». Avevo una scheda QLogic 8262 (serie 8200) su FreeNAS 11.3-U5, HP MicroServer Gen10: entrambe le funzioni PCI sono visibili, ma funziona solo ql0, mentre ql1 si presenta come none2 e non si inizializza, quindi metà scheda è semplicemente morta.
Nel log a ogni avvio compaiono
0x200000 bytes of rid 0x10 res 3 failede subito dopounable to map any ports. Mi avevano consigliato di controllare conpciconf -lse fosse una HP NC523SFP rimarchiata, di aggiornare il firmware dell'adattatore e di giocare con i tunable MSI/MSI-X. Niente di tutto questo ha aiutato, alla fine la scheda è stata sostituita, e per lo storage lì consigliano esplicitamente Chelsio T520-CR o Intel X520. Quindi il passaggio a X710 nei sistemi nuovi sembra una conseguenza naturale.