Diagnozowanie portu ConnectX-4 z linkiem bez ruchu i optyki 25G negocjującej tylko 1G na switchu MikroTik
Z dwiema dwuportowymi kartami Mellanox ConnectX-4, switchem MikroTik SFP+, patchami OM4 1 m i mieszanymi transceiverami 10G/25G od kilku producentów, jeden port karty pokazywał link UP, ale nie dostawał DHCP i nie mógł routować, transceivery 25G negocjowały tylko 1G, a wcześniej stabilne linki 10G padały co jakiś czas. Zamiana transceiverów i światłowodów, wymuszanie prędkości przez ethtool i restarty dawały niespójne wyniki.
- Sprzęt: Mellanox ConnectX-4, switch MikroTik SFP+
- Transceivery: 10G SFP+ SR, 25G SFP28 SR (mieszani producenci), SFP+ DAC
- Format: SFP+, SFP28, DAC
Objawy / komunikaty:
link UP but no DHCP
25G optic negotiates 1G
intermittent link loss
Comments 2
Izoluj problem, zamieniając transceivery i światłowody między portami (jedna uszkodzona żyła może to powodować), użyj DAC-a jako prostego linku referencyjnego, zaktualizuj firmware karty, obejrzyj złącze krawędziowe karty i potwierdź na serwerze DHCP, czy zapytania w ogóle docierają.
Testy z network namespaces w końcu dały 23,5 Gbps na optyce 25G, a drugi port okazał się sprawny; źródłowa przyczyna pozostała niejasna, ale wyglądała na związaną z transceiverem albo środowiskiem.