Chẩn đoán một cổng ConnectX-4 có link nhưng không có traffic, và optic 25G chỉ negotiate được 1G trên một switch MikroTik
Với hai card Mellanox ConnectX-4 hai cổng, một switch SFP+ MikroTik, patch OM4 1 m và transceiver 10G/25G trộn lẫn từ nhiều vendor, một cổng NIC báo link UP nhưng không lấy được DHCP và không route được, transceiver 25G chỉ negotiate được 1G, và các link 10G trước đó vốn ổn định thì rớt chập chờn. Đổi transceiver và sợi quang, ép speed bằng ethtool, và reboot cho kết quả không nhất quán.
- Phần cứng: Mellanox ConnectX-4, switch SFP+ MikroTik
- Transceiver: SFP+ SR 10G, SFP28 SR 25G (nhiều vendor trộn lẫn), DAC SFP+
- Form factor: SFP+, SFP28, DAC
Triệu chứng / thông báo:
link UP but no DHCP
25G optic negotiates 1G
intermittent link loss
Comments 2
Cô lập bằng cách đổi transceiver và sợi quang giữa các cổng (chỉ một lõi hỏng cũng đủ gây ra chuyện này), dùng một DAC làm link tham chiếu đơn giản, cập nhật firmware NIC, kiểm tra connector cạnh card, và xác nhận trên DHCP server xem request có tới hay không.
Test bằng network namespace cuối cùng cho ra 23.5 Gbps với optic 25G và cổng thứ hai chứng tỏ vẫn ổn; nguyên nhân gốc vẫn chưa rõ nhưng có vẻ liên quan tới transceiver/môi trường.