Diagnosticando uma porta ConnectX-4 com link mas sem tráfego e ópticas de 25G negociando só 1G num switch MikroTik
Com duas placas Mellanox ConnectX-4 de porta dupla, um switch MikroTik SFP+, patches OM4 de 1 m e transceptores mistos 10G/25G de vários fabricantes, uma porta da NIC mostrava link UP mas não pegava DHCP e não conseguia rotear, os transceptores de 25G negociavam só 1G, e links de 10G antes estáveis caíam de forma intermitente. Trocar transceptores e fibras, forçar velocidade com ethtool e reiniciar davam resultados inconsistentes.
- Hardware: Mellanox ConnectX-4, switch MikroTik SFP+
- Transceptores: SFP+ SR de 10G, SFP28 SR de 25G (fabricantes variados), DAC SFP+
- Fator de forma: SFP+, SFP28, DAC
Sintomas / mensagens:
link UP but no DHCP
25G optic negotiates 1G
intermittent link loss
Comments 2
Isole trocando transceptores e fibras entre portas (um único filamento danificado pode causar isso), use um DAC como link de referência simples, atualize o firmware da NIC, inspecione o conector edge da placa, e confirme no servidor DHCP se as requisições chegam.
Testar com network namespaces finalmente produziu 23,5 Gbps com as ópticas de 25G, e a segunda porta se mostrou boa; a causa raiz ficou pouco clara, mas parecia relacionada a transceptor/ambiente.