Диагностика порта ConnectX-4: линк есть, трафика нет, а оптика 25G согласуется только на 1G на коммутаторе MikroTik
С двумя двухпортовыми картами Mellanox ConnectX-4, коммутатором MikroTik SFP+, метровыми патчами OM4 и смешанными трансиверами 10G/25G разных вендоров один порт сетевой карты показывал link UP, но не получал DHCP и не мог маршрутизировать, трансиверы 25G согласовывались только на 1G, а ранее стабильные линки 10G периодически пропадали. Замена трансиверов и волокна, принудительное задание скорости через ethtool и перезагрузки давали противоречивые результаты.
- Оборудование: Mellanox ConnectX-4, коммутатор MikroTik SFP+
- Трансиверы: 10G SFP+ SR, 25G SFP28 SR (разные вендоры), SFP+ DAC
- Форм-фактор: SFP+, SFP28, DAC
Симптомы / сообщения:
link UP but no DHCP
25G optic negotiates 1G
intermittent link loss
Comments 2
Изолируйте проблему, меняя местами трансиверы и волокно между портами (повреждённая жила может давать такой эффект), используйте DAC как простой эталонный линк, обновите прошивку сетевой карты, осмотрите краевой разъём карты и уточните на сервере DHCP, доходят ли запросы.
Тестирование с сетевыми namespace в итоге дало 23.5 Gbps на оптике 25G, и второй порт оказался исправен; первопричина осталась невыясненной, но, похоже, была связана с трансивером или окружением.