ConnectX-7 400G OSFP verso una porta switch QSFP-DD: un DAC passivo basta o le velocità delle lane sono un problema
Sto collegando un paio di server GPU alla nostra fabric 400G esistente, e il cavo sbagliato l'ho già comprato una volta, quindi preferisco chiarire la teoria prima di riordinare.
- NIC: ConnectX-7 MCX715105AS-WEAT, singola porta 400G, cage OSFP
- Switch: porte QSFP-DD 400G
- In mano: un DAC passivo QSFP-DD verso OSFP 400G con terminale OSFP alettato
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endIl terminale alettato non entra affatto nella cage della NIC - quell'alloggiamento è pensato per una cage da switch con spazio per le alette, e la scheda non ne ha. Al di là della meccanica, tutto quello che ho letto finora dice che la porta OSFP di questa scheda usa lane da 100G, mentre il 400G su QSFP-DD è costruito da lane da 50G, il che suggerisce che un cavo passivo non possa collegare i due capi indipendentemente dall'aspetto dei connettori.
Cosa ho controllato prima di postare:
- ho scorso l'elenco dei cavi validati e non ho trovato nessuna voce QSFP-DD verso OSFP che corrisponda a questo abbinamento;
- ho confermato il requisito flat-top per la cage della NIC nella documentazione della scheda;
- ho chiesto al fornitore una versione flat-top dello stesso DAC, che possono fornire, ma questo non risolve la questione delle lane.
Quindi esiste un DAC passivo che colleghi davvero una porta switch QSFP-DD 400G a un ConnectX-7 OSFP, o l'unica risposta onesta qui sono i transceiver più la fibra?
Comments 5
Ma quale switch, di preciso? Hai indicato il tipo di porta ma non il modello, ed è proprio quello che decide se dall'altra parte esiste un profilo di breakout utilizzabile.
Di' anche se ti serve un link 400G vero end to end, oppure se 4x100G verso la scheda chiuderebbe comunque il compito. Sono due liste della spesa piuttosto diverse, e la seconda è parecchio più corta.
Hai due problemi distinti, e solo uno riguarda il cavo che hai comprato.
Meccanico: la cage della CX-7 accetta solo moduli OSFP flat-top. La maggior parte dei DAC OSFP sul mercato viene fornita nell'involucro alettato pensato per le cage da switch, ed è esattamente quello che hai in mano, quindi non entrerà mai correttamente nella scheda.
Elettrico: la porta OSFP 400G di quella scheda usa quattro lane da 100G, mentre il 400G su QSFP-DD è otto lane da 50G. Un DAC passivo è rame e basta, non converte nulla, quindi anche con un terminale flat-top sul lato NIC i due capi non si troveranno mai d'accordo sulle lane. Ed è proprio la parte che di solito si scopre dopo che il cavo è già arrivato.
La combinazione indicata per questo abbinamento esatto è ottica, non in rame: un transceiver QSFP-DD 400G DR4 (MMS1V00-WM) nello switch, fibra crossover MPO-12/APC della famiglia MFP7E30, e un modulo OSFP flat-top (MMS4X00-NS400) nella NIC. Tre voci per un solo link, il che è fastidioso, ma è l'insieme pensato per funzionare davvero insieme.
NIC verso NIC è il caso facile, per quel che vale: i DAC OSFP800 flat-top lo fanno senza bisogno di niente di tutto questo.
Il rame non è del tutto escluso, dipende solo da quale scheda c'è nel case.
La CX-7 dual-port 200G con cage QSFP112 accetta DAC QSFP56 da una porta switch QSFP-DD tramite un fanout senza problemi, perché lì le velocità delle lane coincidono. E sulla versione OSFP 400G qualcuno ha segnalato di aver usato un adattatore OSFP verso QSFP28 con normali DAC 100G su una fabric esistente, quindi il lato meccanico si può aggirare.
L'avvertenza è che la strada dell'adattatore non ha alcun supporto ufficiale. Interpellata direttamente sugli adattatori passivi OSFP verso QSFP28 per esattamente questo caso, NVIDIA ha rimandato le persone a leggere quali cavi sono validati nella documentazione firmware del ConnectX-7, aggiungendo che gli adattatori non sono né testati né garantiti. Chi ha chiesto la stessa cosa per uno SN4700 su QSFP-DD e uno SN3700 su QSFP56 non ha ottenuto niente di meglio. Sul banco può benissimo funzionare; il giorno che smette di funzionare non ti aiuterà nessuno.
Un dato dalla generazione precedente, perché è la stessa famiglia di sorprese.
Un Arista 7060X6 con uno splitter ACC OSFP 800G verso 2x400G QSFP112 non voleva saperne di agganciarsi a un ConnectX-8, mentre un ConnectX-7 sulla stessa porta con lo stesso cavo si è alzato subito. La diagnostica della NIC restituiva uno stato del gruppo PHY FW con
Recommendation: Negotiation failure. Forzare la velocità della porta a 400G invece di lasciarla auto-negoziare ha portato su il link fisico all'istante. Cavi AEC della stessa forma hanno funzionato con il ConnectX-8 senza modifiche, e lo stesso comportamento è saltato fuori anche con altri switch basati su Tomahawk 5, il che fa pensare a un problema di interoperabilità tra auto-negoziazione e link-training piuttosto che a un cavo difettoso.Da tenere a mente per quando arriveranno le tue ottiche: se un link resta giù, togli di mezzo l'auto-negoziazione prima di dare la colpa al transceiver.
Il discorso sulle velocità di lane merita di essere sottolineato, perché morde altrettanto forte sul lato InfiniBand.
Avevamo un Quantum-2 QM9700 che doveva raggiungere un vecchio Switch-IB 2 SB7800. NDR pilota ogni cage OSFP come quattro lane PAM4 da 100G; lo SB7800 è EDR, quattro lane NRZ da 25G. Un link diretto tra i due non è mai stato validato e non è affatto supportato - la via approvata mette uno switch HDR in mezzo. Quello che esiste come alternativa non supportata è uno splitter passivo: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 in 1 m, 1,5 m e 2 m. Una cage a doppia porta sul lato NDR si sdoppia verso una coppia di porte QSFP28 sul vecchio switch, e ciascuna metà scende alle velocità EDR lungo il percorso.
Leggi bene le condizioni, però. Il rame EDR in uscita dal QM9700 arriva al massimo a 2 m, quindi lo splitter è un trucco da stesso rack e niente più. E ci rimetti una cage: quella che prima era una porta OSFP conta ora come due nella topologia. Attrezzatura diversa, stessa lezione della tua - quando i due capi non sono d'accordo sulla velocità delle lane, il semplice rame non è quello che li mette d'accordo.