ConnectX-7 400G OSFP naar een QSFP-DD switchpoort: is een passieve DAC genoeg, of zitten de lane rates in de weg
Ik breng een paar GPU-boxen op onze bestaande 400G-fabric, en ik heb al één keer de verkeerde kabel weten te bestellen, dus ik wil de theorie liever op orde hebben voordat ik opnieuw bestel.
- NIC: ConnectX-7 MCX715105AS-WEAT, één 400G-poort, OSFP-cage
- Switch: 400G QSFP-DD-poorten
- In huis: een passieve 400G QSFP-DD naar OSFP DAC met een finned OSFP-uiteinde
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endHet finned uiteinde past helemaal niet in de NIC-cage - die behuizing is gebouwd voor een switchcage met ruimte voor de vinnen, en de kaart heeft die ruimte niet. Los van de mechanica zegt alles wat ik tot nu toe gelezen heb dat de OSFP-poort op deze kaart 100G-lanes draait, terwijl 400G op QSFP-DD is opgebouwd uit 50G-lanes, wat erop wijst dat een passieve kabel de twee uiteinden niet kan overbruggen, hoe de connectoren er ook uitzien.
Wat ik gecontroleerd heb voor ik dit postte:
- de lijst met gevalideerde kabels doorgenomen en geen enkele QSFP-DD-naar-OSFP-vermelding gevonden die bij deze combinatie past;
- de flat-top-eis voor de NIC-cage bevestigd met de kaartdocumentatie;
- de leverancier gevraagd om een flat-top-versie van dezelfde DAC, die ze kunnen leveren, maar dat lost niets op aan de lane-kwestie.
Bestaat er dus een passieve DAC die een QSFP-DD 400G-switchpoort echt kan verbinden met een OSFP ConnectX-7, of zijn transceivers plus fiber hier het enige eerlijke antwoord?
Comments 5
Welke switch is het eigenlijk? Je noemde het poorttype maar niet het model, en dat is wat bepaalt of er aan die kant überhaupt een bruikbaar breakoutprofiel bestaat.
Zeg ook of je een eerlijke 400G-link end-to-end nodig hebt, of dat 4x100G naar de kaart de taak net zo goed zou afronden. Dat zijn twee behoorlijk verschillende boodschappenlijstjes, en de tweede is een stuk korter.
Je hebt twee aparte problemen en maar één daarvan gaat over de kabel die je gekocht hebt.
Mechanisch: de CX-7-cage neemt flat-top OSFP-modules. De meeste OSFP-DAC's op de markt worden geleverd in de finned behuizing die voor switchcages bedoeld is, en dat is precies wat je in handen hebt, dus hij zal nooit goed in de kaart passen.
Elektrisch: de 400G OSFP-poort op die kaart draait vier lanes van 100G, terwijl 400G op QSFP-DD acht lanes van 50G is. Een passieve DAC is koper en verder niets, hij schakelt niets om, dus zelfs met een flat-top-uiteinde aan de NIC-kant komen de twee uiteinden nooit tot overeenstemming over de lanes. Dat is het deel dat mensen meestal pas ontdekken nadat de kabel al is aangekomen.
De combinatie die voor precies deze koppeling wordt aangewezen, is optisch, geen koper: een 400G DR4 QSFP-DD-transceiver (MMS1V00-WM) in de switch, MPO-12/APC crossoverfiber uit de MFP7E30-familie, en een flat-top OSFP-module (MMS4X00-NS400) in de NIC. Drie regels voor één link, wat vervelend is, maar het is de set die daadwerkelijk bedoeld is om samen te werken.
NIC naar NIC is, voor wat het waard is, het makkelijke geval: flat-top OSFP800-DAC's doen dat zonder iets van het bovenstaande.
Koper is niet helemaal van tafel, het hangt gewoon af van welke kaart er in de doos zit.
De dual-port 200G CX-7 met QSFP112-cages neemt QSFP56-DAC's vanaf een QSFP-DD-switchpoort via een fanout zonder problemen, omdat de lane rates daar wel overeenkomen. En op het 400G OSFP-onderdeel meldde iemand een OSFP-naar-QSFP28-adapter met gewone 100G-DAC's in een bestaande fabric te draaien, dus de mechanische kant is te omzeilen.
De kanttekening is dat de adapterroute helemaal geen ruggensteun heeft. Op de botte vraag over passieve OSFP-naar-QSFP28-adapters voor precies dat geval verwees NVIDIA mensen door naar de ConnectX-7-firmwaredocs om te lezen welke kabels gevalideerd zijn, en voegde toe dat adapters niet getest en niet gegarandeerd zijn. Iemand die hetzelfde vroeg over een SN4700 op QSFP-DD en een SN3700 op QSFP56 kreeg niets beters te horen. Het kan best op jouw testbank werken; niemand helpt je op de dag dat het ophoudt te werken.
Een datapunt uit de generatie hierboven, want het is dezelfde familie van verrassingen.
Een Arista 7060X6 met een ACC OSFP 800G naar 2x400G QSFP112-splitter wilde helemaal niet linken met een ConnectX-8, terwijl een ConnectX-7 op dezelfde poort met dezelfde kabel meteen opkwam. NIC-diagnostiek gaf een PHY FW group-status terug met daarin
Recommendation: Negotiation failure. De poortsnelheid forceren naar 400G in plaats van hem te laten auto-negotiaten, bracht de fysieke link direct omhoog. AEC-kabels van dezelfde vorm werkten ongewijzigd met de ConnectX-8, en hetzelfde gedrag dook op bij andere op Tomahawk 5 gebaseerde switches, wat wijst op een interopprobleem met auto-negotiation en link-training in plaats van een slechte kabel.De moeite waard om te onthouden voor als jouw optiek arriveert: blijft een link down, sluit dan eerst auto-negotiation uit voordat je de transceiver de schuld geeft.
Het punt over lane rate verdient een streep eronder, want het bijt aan de InfiniBand-kant net zo hard.
We hadden een Quantum-2 QM9700 die een oude Switch-IB 2 SB7800 moest bereiken. NDR stuurt elke OSFP-cage aan als vier PAM4-lanes van 100G; de SB7800 is EDR, vier NRZ-lanes van 25G. Een directe link tussen die twee is nooit gevalideerd en wordt helemaal niet ondersteund - het gezegende pad zet een HDR-switch ertussen. Wat wel bestaat als niet-ondersteund alternatief is een passieve splitter: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 in 1 m, 1,5 m en 2 m. Eén twin-port-cage aan de NDR-kant waaiert uit naar een paar QSFP28-poorten op de oude switch, waarbij elke helft onderweg terugvalt naar EDR-snelheden.
Lees de voorwaarden wel twee keer. Koperen EDR vanuit de QM9700 houdt op bij 2 m, dus de splitter is een truc binnen hetzelfde rack en niets meer. En je geeft een cage uit: wat vroeger één OSFP-poort was, telt nu als twee in de topologie. Ander materieel, zelfde les als bij jou - als de twee uiteinden het niet eens zijn over de lane rate, is gewoon koper niet het middel dat ze verzoent.