ConnectX-7 400G OSFP zu einem QSFP-DD-Switch-Port: reicht ein passives DAC, oder stehen die Lane-Raten im Weg
Ich bringe ein Paar GPU-Boxen an unser bestehendes 400G-Fabric, und ich habe schon einmal das falsche Kabel gekauft, deshalb würde ich die Theorie lieber klären, bevor ich noch einmal bestelle.
- NIC: ConnectX-7 MCX715105AS-WEAT, ein einzelner 400G-Port, OSFP-Cage
- Switch: 400G-QSFP-DD-Ports
- Vorhanden: ein passives 400G-QSFP-DD-zu-OSFP-DAC mit finnenbesetztem OSFP-Ende
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endDas finnenbesetzte Ende sitzt in der NIC-Cage überhaupt nicht - dieses Gehäuse ist für eine Switch-Cage mit Platz für die Finnen gebaut, und die Karte hat keine. Jenseits der Mechanik sagt alles, was ich bisher gelesen habe, dass der OSFP-Port auf dieser Karte 100G-Lanes fährt, während 400G auf QSFP-DD aus 50G-Lanes aufgebaut ist, was nahelegt, dass ein passives Kabel die beiden Enden nicht überbrücken kann, egal wie die Steckverbinder aussehen.
Was ich vor dem Posten geprüft habe:
- die validierte Kabelliste durchgesehen und keinen Eintrag QSFP-DD zu OSFP gefunden, der zu dieser Paarung passt;
- die Flat-Top-Anforderung für die NIC-Cage mit der Kartendokumentation bestätigt;
- den Lieferanten nach einer Flat-Top-Version desselben DAC gefragt, die er liefern kann, aber das löst die Lane-Frage nicht.
Also, gibt es überhaupt ein passives DAC, das einen QSFP-DD-400G-Switch-Port wirklich mit einem OSFP-ConnectX-7 verbindet, oder ist Transceiver plus Fiber hier die einzige ehrliche Antwort?
Comments 5
Welcher Switch denn genau? Du hast den Port-Typ genannt, aber nicht das Modell, und das entscheidet, ob es auf dieser Seite überhaupt ein brauchbares Breakout-Profil gibt.
Sag auch, ob du einen echten 400G-Link durchgehend brauchst, oder ob 4x100G in die Karte die Aufgabe genauso gut lösen würde. Das sind zwei ziemlich unterschiedliche Einkaufslisten, und die zweite ist einiges kürzer.
Du hast zwei getrennte Probleme, und nur eines davon hat mit dem gekauften Kabel zu tun.
Mechanisch: die CX-7-Cage nimmt Flat-Top-OSFP-Module. Die meisten OSFP-DACs am Markt kommen im finnenbesetzten Gehäuse für Switch-Cages, und genau das hast du in der Hand, es wird also nie richtig in der Karte sitzen.
Elektrisch: der 400G-OSFP-Port auf dieser Karte fährt vier Lanes mit 100G, während 400G auf QSFP-DD acht Lanes mit 50G sind. Ein passives DAC ist Kupfer und sonst nichts, es übersetzt nichts, also einigen sich die beiden Enden selbst mit Flat-Top-Ende auf der NIC-Seite nie auf die Lanes. Das ist der Teil, den die meisten erst entdecken, nachdem das Kabel schon angekommen ist.
Die Kombination, auf die für genau diese Paarung verwiesen wird, ist optisch, nicht Kupfer: ein 400G-DR4-QSFP-DD-Transceiver (MMS1V00-WM) im Switch, MPO-12/APC-Crossover-Fiber aus der MFP7E30-Familie, und ein Flat-Top-OSFP-Modul (MMS4X00-NS400) in der NIC. Drei Positionen für einen einzigen Link, ärgerlich, aber das ist die Kombination, die tatsächlich zusammen funktionieren soll.
NIC zu NIC ist immerhin der einfache Fall: Flat-Top-OSFP800-DACs machen das ohne irgendetwas von alldem.
Kupfer ist nicht ganz vom Tisch, es hängt nur davon ab, welche Karte in der Box steckt.
Die Dual-Port-200G-CX-7 mit QSFP112-Cages nimmt QSFP56-DACs von einem QSFP-DD-Switch-Port über einen Fanout ohne Drama, weil die Lane-Raten dort zusammenpassen. Und beim 400G-OSFP-Teil hat jemand berichtet, einen OSFP-zu-QSFP28-Adapter mit gewöhnlichen 100G-DACs in ein bestehendes Fabric zu betreiben, die mechanische Seite lässt sich also umgehen.
Der Haken ist, dass die Adapter-Route überhaupt keine Rückendeckung hat. Direkt nach passiven OSFP-zu-QSFP28-Adaptern für genau diesen Fall gefragt, hat NVIDIA die Leute darauf verwiesen, in den ConnectX-7-Firmware-Docs nachzulesen, welche Kabel validiert sind, und hinzugefügt, dass Adapter weder getestet noch garantiert sind. Jemand, der dasselbe zu einem SN4700 auf QSFP-DD und einem SN3700 auf QSFP56 gefragt hat, bekam auch nichts Besseres. Auf deiner Werkbank mag es gut funktionieren; helfen wird dir niemand, wenn es eines Tages aufhört.
Ein Datenpunkt aus der Generation darüber, denn es ist dieselbe Familie von Überraschungen.
Ein Arista 7060X6 mit einem ACC-OSFP-800G-zu-2x400G-QSFP112-Splitter wollte mit einem ConnectX-8 überhaupt nicht linken, während ein ConnectX-7 am selben Port mit demselben Kabel sofort hochkam. Die NIC-Diagnose lieferte einen PHY-FW-Gruppenstatus mit
Recommendation: Negotiation failure. Die Port-Geschwindigkeit fest auf 400G zu setzen, statt sie autonegotiieren zu lassen, brachte den physischen Link direkt hoch. AEC-Kabel derselben Bauform funktionierten mit dem ConnectX-8 unverändert, und dasselbe Verhalten trat auch bei anderen Switches auf Tomahawk-5-Basis auf, was eher auf ein Interop-Problem bei Autonegotiation und Link-Training hindeutet als auf ein defektes Kabel.Gut zu merken, für wenn deine Optik ankommt: bleibt ein Link unten, erst die Autonegotiation aus dem Spiel nehmen, bevor man den Transceiver beschuldigt.
Der Punkt mit den Lane-Raten verdient eine Unterstreichung, denn er beißt auf der InfiniBand-Seite genauso hart.
Wir hatten einen Quantum-2 QM9700, der einen alten Switch-IB 2 SB7800 erreichen musste. NDR fährt jede OSFP-Cage als vier PAM4-Lanes mit 100G; der SB7800 ist EDR, vier NRZ-Lanes mit 25G. Ein direkter Link zwischen den beiden wurde nie validiert und wird überhaupt nicht unterstützt - der gesegnete Weg stellt einen HDR-Switch dazwischen. Was als nicht unterstützte Alternative existiert, ist ein passiver Splitter: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 in 1 m, 1,5 m und 2 m. Eine Twin-Port-Cage auf der NDR-Seite fächert zu einem Paar QSFP28-Ports am alten Switch auf, jede Hälfte fällt dabei auf EDR-Raten ab.
Das Kleingedruckte aber zweimal lesen. Kupfer-EDR aus dem QM9700 hört bei 2 m auf, der Splitter ist also ein Trick fürs selbe Rack und nicht mehr. Und man bezahlt mit einer Cage: was früher ein OSFP-Port war, zählt jetzt als zwei in der Topologie. Andere Hardware, dieselbe Lehre wie bei dir - wenn sich die beiden Enden bei der Lane-Rate nicht einig sind, versöhnt sie schlichtes Kupfer nicht.