ConnectX-7 OSFP de 400G hacia un puerto de switch QSFP-DD: basta con un DAC pasivo, o las velocidades de carril lo impiden
Estoy levantando un par de equipos GPU contra nuestro fabric existente de 400G, y ya he conseguido comprar el cable equivocado una vez, así que prefiero dejar clara la teoría antes de volver a pedir.
- NIC: ConnectX-7 MCX715105AS-WEAT, un único puerto de 400G, jaula OSFP
- Switch: puertos QSFP-DD de 400G
- En mano: un DAC pasivo QSFP-DD a OSFP de 400G con el extremo OSFP con aletas
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endEl extremo con aletas no encaja en absoluto en la jaula de la NIC - esa carcasa está construida para una jaula de switch con espacio para las aletas, y la tarjeta no tiene ninguno. Más allá de la mecánica, todo lo que he leído hasta ahora dice que el puerto OSFP de esta tarjeta corre carriles de 100G mientras que el 400G en QSFP-DD se construye a partir de carriles de 50G, lo que sugiere que un cable pasivo no puede unir los dos extremos por muy bien que encajen los conectores.
Lo que comprobé antes de publicar:
- repasé la lista de cables validados y no encontré ninguna entrada QSFP-DD a OSFP que coincida con este emparejamiento;
- confirmé el requisito de flat-top para la jaula de la NIC con la documentación de la tarjeta;
- pregunté al proveedor por una versión flat-top del mismo DAC, que sí pueden suministrar, pero eso no resuelve nada sobre la cuestión de los carriles.
¿Existe entonces algún DAC pasivo que realmente conecte un puerto de switch QSFP-DD de 400G con una ConnectX-7 OSFP, o transceptores más fibra es la única respuesta honesta aquí?
Comments 5
¿Pero qué switch, en concreto? Nombraste el tipo de puerto pero no el modelo, y eso es lo que decide si hay siquiera un perfil de breakout usable de ese lado.
Di también si necesitas un enlace de 400G honesto de punta a punta, o si 4x100G hacia la tarjeta resolvería la tarea igual de bien. Son dos listas de la compra bastante distintas, y la segunda es bastante más corta.
Tienes dos problemas separados y solo uno de ellos tiene que ver con el cable que compraste.
Mecánico: la jaula de la CX-7 acepta módulos OSFP flat-top. La mayoría de los DAC OSFP del mercado vienen en la carcasa con aletas pensada para jaulas de switch, y eso es exactamente lo que tienes en la mano, así que nunca encajará correctamente en la tarjeta.
Eléctrico: el puerto OSFP de 400G de esa tarjeta corre cuatro carriles de 100G, mientras que el 400G en QSFP-DD son ocho carriles de 50G. Un DAC pasivo es cobre y nada más, no engrana nada, así que incluso con un extremo flat-top del lado de la NIC los dos extremos nunca se ponen de acuerdo en los carriles. Esa es la parte que la gente suele descubrir después de que el cable ya ha llegado.
La combinación señalada para este emparejamiento exacto es óptica, no de cobre: un transceptor QSFP-DD 400G DR4 (MMS1V00-WM) en el switch, fibra cruzada MPO-12/APC de la familia MFP7E30, y un módulo OSFP flat-top (MMS4X00-NS400) en la NIC. Tres partidas para un solo enlace, lo cual es molesto, pero es el conjunto que realmente está pensado para funcionar junto.
De NIC a NIC es el caso fácil, para lo que vale: los DAC OSFP800 flat-top hacen eso sin nada de lo anterior.
El cobre no está completamente descartado, simplemente depende de qué tarjeta hay en la caja.
La CX-7 de doble puerto de 200G con jaulas QSFP112 acepta DAC QSFP56 desde un puerto de switch QSFP-DD a través de un fanout sin drama, porque ahí las velocidades de carril coinciden. Y sobre la parte OSFP de 400G, alguien reportó usar un adaptador de OSFP a QSFP28 con DAC de 100G normales hacia un fabric existente, así que el lado mecánico se puede sortear.
La advertencia es que la vía del adaptador no tiene ningún respaldo. Preguntados directamente sobre adaptadores pasivos de OSFP a QSFP28 exactamente para ese caso, NVIDIA remitió a la gente a leer qué cables están validados en la documentación de firmware de la ConnectX-7, y añadió que los adaptadores ni se prueban ni se garantizan. Alguien que preguntó lo mismo sobre un SN4700 en QSFP-DD y un SN3700 en QSFP56 no obtuvo nada mejor. Puede que funcione perfectamente en tu banco; nadie te va a ayudar el día que deje de funcionar.
Un dato de la generación anterior, porque es la misma familia de sorpresas.
Un Arista 7060X6 con un splitter ACC OSFP de 800G a 2x400G QSFP112 no enlazaba en absoluto con una ConnectX-8, mientras que una ConnectX-7 en el mismo puerto con el mismo cable subía de inmediato. El diagnóstico de la NIC devolvió un estado de grupo de firmware del PHY con
Recommendation: Negotiation failure. Forzar la velocidad del puerto a 400G en lugar de dejarla autonegociar hizo que el enlace físico subiera de inmediato. Cables AEC de la misma forma funcionaron con la ConnectX-8 sin cambios, y el mismo comportamiento apareció contra otros switches basados en Tomahawk 5, lo que apunta a un problema de interoperabilidad de autonegociación y entrenamiento de enlace más que a un cable defectuoso.Vale la pena guardarlo para cuando lleguen tus ópticos: si un enlace se queda down, saca la autonegociación de la ecuación antes de culpar al transceptor.
El punto de la velocidad de carril merece subrayarse, porque muerde igual de fuerte del lado InfiniBand.
Teníamos un Quantum-2 QM9700 que necesitaba llegar a un viejo Switch-IB 2 SB7800. El NDR maneja cada jaula OSFP como cuatro carriles PAM4 de 100G; el SB7800 es EDR, cuatro carriles NRZ de 25G. Un enlace directo entre esos dos nunca se validó y no está soportado en absoluto - el camino bendecido pone un switch HDR en medio. Lo que existe como alternativa no soportada es un splitter pasivo: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 en 1 m, 1,5 m y 2 m. Una jaula de doble puerto del lado NDR se abre en abanico hacia un par de puertos QSFP28 en el switch viejo, cada mitad bajando a velocidades EDR en el camino.
Lee las condiciones dos veces, eso sí. El cobre EDR que sale del QM9700 tope a los 2 m, así que el splitter es un truco de mismo-rack y nada más. Y gastas una jaula: lo que antes era un puerto OSFP ahora cuenta como dos en la topología. Equipo distinto, misma lección que la tuya - cuando los dos extremos no coinciden en velocidad de carril, el cobre plano no es lo que los reconcilia.