ConnectX-7 400G OSFP para uma porta QSFP-DD do switch: um DAC passivo basta, ou as taxas de lane atrapalham
Estou subindo um par de servidores GPU contra nossa fabric 400G existente, e já consegui comprar o cabo errado uma vez, então prefiro acertar a teoria antes de pedir de novo.
- NIC: ConnectX-7 MCX715105AS-WEAT, porta 400G única, gaiola OSFP
- Switch: portas QSFP-DD 400G
- Em mãos: um DAC passivo 400G QSFP-DD para OSFP com a ponta OSFP aletada
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endA ponta aletada não encaixa na gaiola da NIC de jeito nenhum - essa carcaça é feita para uma gaiola de switch com espaço para as aletas, e a placa não tem nenhuma. Além da mecânica, tudo o que já li até agora diz que a porta OSFP dessa placa roda lanes de 100G, enquanto o 400G no QSFP-DD é montado com lanes de 50G, o que sugere que um cabo passivo não consegue ligar as duas pontas, seja qual for a cara dos conectores.
O que já verifiquei antes de postar:
- passei pela lista de cabos validados e não encontrei nenhuma entrada QSFP-DD para OSFP com essa combinação;
- confirmei a exigência de flat top para a gaiola da NIC na documentação da placa;
- pedi ao fornecedor uma versão flat top do mesmo DAC, que eles conseguem fornecer, mas isso não resolve nada quanto à questão dos lanes.
Então existe algum DAC passivo que realmente conecte uma porta de switch QSFP-DD 400G a um ConnectX-7 OSFP, ou transceptores mais fibra é a única resposta honesta aqui?
Comments 5
Mas qual switch? Você nomeou o tipo de porta, mas não o modelo, e é isso que decide se existe um perfil de breakout utilizável desse lado.
Também diga se você precisa de um link 400G honesto ponta a ponta, ou se 4x100G na placa resolveria a tarefa do mesmo jeito. São duas listas de compras bem diferentes, e a segunda é bem mais curta.
Você tem dois problemas separados, e só um deles é sobre o cabo que comprou.
Mecânico: a gaiola da CX-7 aceita módulos OSFP flat-top. A maioria dos DACs OSFP no mercado vem na carcaça aletada, pensada para gaiolas de switch, e é exatamente isso que você tem em mãos, então nunca vai encaixar direito na placa.
Elétrico: a porta OSFP 400G dessa placa roda quatro lanes de 100G, enquanto o 400G no QSFP-DD é oito lanes de 50G. Um DAC passivo é cobre e nada mais, não faz nenhuma conversão, então mesmo com uma ponta flat-top do lado da NIC, as duas pontas nunca vão concordar quanto aos lanes. É essa a parte que as pessoas costumam descobrir depois que o cabo já chegou.
A combinação indicada para esse pareamento exato é óptica, não cobre: um transceptor QSFP-DD 400G DR4 (MMS1V00-WM) no switch, fibra crossover MPO-12/APC da família MFP7E30, e um módulo OSFP flat-top (MMS4X00-NS400) na NIC. Três itens de linha para um link só, o que é chato, mas é o conjunto que realmente funciona junto.
NIC para NIC é o caso fácil, para constar: DACs OSFP800 flat-top fazem isso sem nada do que foi dito acima.
Cobre não está totalmente fora de cogitação, só depende de qual placa está na caixa.
A CX-7 de porta dupla 200G com gaiolas QSFP112 aceita DACs QSFP56 vindos de uma porta de switch QSFP-DD através de um fanout sem drama, porque ali as taxas de lane batem. E na parte OSFP 400G alguém relatou rodar um adaptador OSFP para QSFP28 com DACs 100G comuns em uma fabric existente, então o lado mecânico dá para contornar.
A ressalva é que o caminho do adaptador não tem nenhum respaldo. Perguntada diretamente sobre adaptadores passivos OSFP para QSFP28 exatamente para esse caso, a NVIDIA mandou o pessoal ler quais cabos são validados na documentação de firmware do ConnectX-7, e acrescentou que adaptadores não são testados nem garantidos. Alguém que perguntou a mesma coisa sobre um SN4700 em QSFP-DD e um SN3700 em QSFP56 não recebeu nada melhor. Pode muito bem funcionar na sua bancada; ninguém vai te ajudar no dia em que parar de funcionar.
Um dado da geração anterior, porque é a mesma família de surpresas.
Um Arista 7060X6 com um splitter ACC OSFP 800G para 2x400G QSFP112 simplesmente não linkava com um ConnectX-8, enquanto um ConnectX-7 na mesma porta com o mesmo cabo subia na hora. O diagnóstico da NIC retornou um status de grupo do PHY FW trazendo
Recommendation: Negotiation failure. Forçar a velocidade da porta para 400G em vez de deixar a auto-negociação decidir trouxe o link físico direto para cima. Cabos AEC do mesmo formato funcionaram com o ConnectX-8 sem alteração nenhuma, e o mesmo comportamento apareceu contra outros switches baseados em Tomahawk 5, o que aponta para um problema de interoperabilidade de auto-negociação e link-training, não para um cabo com defeito.Vale guardar para quando sua óptica chegar: se um link fica down, tire a auto-negociação da jogada antes de culpar o transceptor.
O ponto da taxa de lane merece ser sublinhado, porque morde do lado do InfiniBand com a mesma força.
Tínhamos um Quantum-2 QM9700 que precisava alcançar um Switch-IB 2 SB7800 antigo. O NDR roda cada gaiola OSFP como quatro lanes PAM4 de 100G; o SB7800 é EDR, quatro lanes NRZ de 25G. Um link direto entre os dois nunca foi validado e simplesmente não é suportado - o caminho abençoado coloca um switch HDR no meio. O que existe como alternativa não suportada é um splitter passivo: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 em 1 m, 1,5 m e 2 m. Uma gaiola de porta dupla do lado NDR se abre em um par de portas QSFP28 no switch antigo, cada metade caindo para taxas EDR no caminho.
Leia com atenção as condições, porém. O cobre EDR que sai do QM9700 tem limite de 2 m, então o splitter é um truque de mesmo rack e nada além disso. E você gasta uma gaiola: o que era uma porta OSFP agora conta como duas na topologia. Equipamento diferente, mesma lição que a sua - quando as duas pontas discordam na taxa de lane, cobre simples não é o que resolve isso.