诊断ConnectX-4端口有链路但无流量、25G光模块在MikroTik交换机上只协商到1G的问题
用两块双口Mellanox ConnectX-4网卡、一台MikroTik SFP+交换机、1米OM4跳线,加上来自几个厂商的混用10G/25G光模块,其中一个网卡端口显示link UP但拿不到DHCP,也无法路由;25G光模块只协商到1G;之前一直稳定的10G链路也开始间歇性掉线。互换光模块和光纤、用ethtool强制速率、重启,结果都不一致。
- 硬件: Mellanox ConnectX-4,MikroTik SFP+交换机
- 收发模块: 10G SFP+ SR,25G SFP28 SR(混合厂商),SFP+ DAC
- 封装形态: SFP+,SFP28,DAC
症状/报错信息:
link UP but no DHCP
25G optic negotiates 1G
intermittent link loss
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 2
通过在端口之间互换光模块和光纤来定位问题(一根损坏的光纤芯就可能导致这种现象),用DAC作为一个简单的参照链路,更新网卡固件,检查卡的边缘连接器,并在DHCP服务器上确认请求是否真的到达了。
用网络命名空间测试后，25G 光模块最终跑出了 23.5 Gbps，第二个端口也证明是正常的；根本原因还不清楚，但看起来和光模块或环境因素有关。