ConnectX-4のポートがリンクするがトラフィックがなく、MikroTikスイッチ上で25Gオプティクスが1Gでしかネゴシエートしない問題の切り分け
2枚のデュアルポートMellanox ConnectX-4カード、MikroTikのSFP+スイッチ、1mのOM4パッチ、複数ベンダーの10G/25Gトランシーバが混在する構成で、あるNICポートはリンクUPと表示されるもののDHCPを取得できずルーティングもできなかった。25Gトランシーバは1Gでしかネゴシエートせず、以前は安定していた10Gリンクも断続的に切断した。トランシーバやファイバーの入れ替え、ethtoolでの速度固定、再起動を試したが結果は一貫しなかった。
- ハードウェア: Mellanox ConnectX-4, MikroTik SFP+ switch
- トランシーバ: 10G SFP+ SR, 25G SFP28 SR(複数ベンダー混在), SFP+ DAC
- フォームファクタ: SFP+, SFP28, DAC
症状 / メッセージ:
link UP but no DHCP
25G optic negotiates 1G
intermittent link loss
Comments 2
ポート間でトランシーバとファイバーを入れ替えて切り分けてください(1本の損傷した芯でも起こり得ます)。単純な基準リンクとしてDACを使い、NICファームウェアを更新し、カードのエッジコネクタを点検し、DHCPサーバ側でリクエストが届いているかどうか確認してください。
ネットワークネームスペースでのテストで、ようやく25Gオプティクスで23.5 Gbpsが出て、2番目のポートは問題ないことが分かった。根本原因ははっきりしないままだったが、トランシーバか環境に関係するものに見えた。