HA 对里的 Dell DD9900 在 ethMa 上看不到 SFP：State UP，link status NO，Cannot get module EEPROM information
我维护数据中心里的一套备份存储。一对 DD9900 组成 HA，网络端口在 NDC QLogic 网卡上。每次重启或者重新插拔模块之后，ethMa 端口就不再能识别收发器，而且这已经不是偶发的一次性现象，是稳定复现的固定戏码。
- Dell DD9900，DD OS 7.2.0.95，HA 配置
- NDC QLogic QL41164HMCU 4x10GbE（Dell 0XVVY1）
- 模块有 ABCU-5710RZ-CS4B、FCLF-8521-3-HP、FTLX8571D3BCL-FC、AFBR-703ASDZ——铜口和光口都试过
系统里看到的：
State UP
link status NO
Transceiver is unplugged
Cannot get module EEPROM information对这个端口执行 ethtool -m 什么都不返回。
已经试过的：
- 在端口之间换过模块，也换过跳线——问题跟着端口走，不跟着模块走
- 把链路挪到另一台交换机，也挪到那台交换机的另一个端口
- 把 NDC 网卡本身换成新的，过一段时间又出现一模一样的情况
端口的状态一直显示 UP，也就是说系统认为一切正常，也不会拉起任何告警。接下来该往哪查——驱动、DD OS，还是终究是硬件问题？
Show original (Русский)
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
既然在单机系统上复现不出来，而在 HA 上稳定复现，硬件这个方向可以放下了。这是 QLogic 驱动的一个缺陷，专门出现在 DD OS 7.2 的 HA 配置里。这就解释了整个现象：端口显示 UP，没有链路，日志里是 Transceiver is unplugged 和 Cannot get module EEPROM information。驱动根本没能走到模块的 EEPROM 那一步，模块是铜口还是光口对它来说无所谓——这也是为什么换模块、换线、换交换机端口，甚至换掉 NDC 网卡都没用。
解法是把 DD OS 升级到至少 7.10.1，那个版本里带了更新过的固件和驱动包，升级之后这个现象就消失了。在升级窗口还没协调好之前：
关于支持要提醒一句：升级前先对照厂商的兼容性矩阵核实你这套具体的 HA 配置，7.10.1 是下限，不代表建议你只升到这个版本。另外提一句以后的情况：更新款的 DD 已经从这些 NDC 网卡转向了 Intel X710，所以随着设备更新换代，这个问题会自然消失。
三个问题，帮忙缩小范围。第一：在单机系统上能不能复现，还是只在 HA 对上才会出现？这一点很关键，因为 HA 改变了接口起来和迁移的方式，很多类似的故事根源恰恰在这里。
第二：这块卡上是不是只插了 SFP 模块，还是相邻端口上挂着 DAC？QLogic 文档明确禁止在同一块卡上混用 DAC 和 SFP，出问题的表现正是这样——部分端口读不到 EEPROM。
第三：同一块卡上相邻端口执行
ethtool -m是正常的，还是同样没有反应？搭了个测试环境跑了一遍。在单机系统上，用一样的模块和一样的 DD OS 7.2，无论怎么拔插模块、怎么重启，都没能复现这个问题。只有在 HA 对上才会出现，这看起来正是关键所在。
没有在同一块卡上混用 DAC 和 SFP，四个端口用的都是同一类型的模块。相邻端口上
ethtool -m读取正常，EEPROM 能完整返回，而 ethMa 上就是那句 Cannot get module EEPROM information，直到某次重启之后端口自己又恢复正常。「离开 QLogic」这一条我完全同意。之前遇到过一块 QLogic 8262（8200 系列）网卡，装在一台 HP MicroServer Gen10 上跑 FreeNAS 11.3-U5：两个 PCI 功能都能看到，但只有 ql0 能工作，ql1 显示为 none2，根本无法初始化，也就是说这块卡有一半是彻底死的。
日志里每次启动都有
0x200000 bytes of rid 0x10 res 3 failed，紧跟着是unable to map any ports。有人建议用pciconf -l核实一下这是不是一块改标的 HP NC523SFP，也建议升级网卡固件、调一调 MSI/MSI-X 相关的可调参数。这些都没有用，最后把卡换掉了；对存储场景，大家明确推荐的是 Chelsio T520-CR 或 Intel X520。所以新系统转向 X710 这个趋势看起来是顺理成章的。