ConnectX-7 400G OSFP vers un port switch QSFP-DD : un DAC passif suffit-il, ou les débits par voie posent-ils problème
En train de mettre en service une paire de boîtiers GPU face à notre fabric 400G existant, et j'ai déjà réussi à acheter le mauvais câble une fois, donc je préférerais avoir la théorie au clair avant de recommander.
- Carte réseau : ConnectX-7 MCX715105AS-WEAT, un seul port 400G, cage OSFP
- Switch : ports QSFP-DD 400G
- En main : un DAC passif 400G QSFP-DD vers OSFP avec une extrémité OSFP à ailettes
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endL'extrémité à ailettes ne se loge pas du tout dans la cage de la carte - ce boîtier est conçu pour une cage de switch avec de la place pour les ailettes, et la carte n'en a pas. Au-delà de la mécanique, tout ce que j'ai lu jusqu'ici dit que le port OSFP de cette carte tourne en voies de 100G alors que le 400G sur QSFP-DD est construit à partir de voies de 50G, ce qui suggère qu'un câble passif ne peut pas relier les deux extrémités quelle que soit l'allure des connecteurs.
Ce que j'ai vérifié avant de poster :
- parcouru la liste des câbles validés et n'ai trouvé aucune entrée QSFP-DD vers OSFP correspondant à cet appairage ;
- confirmé l'exigence flat-top pour la cage de la carte avec la documentation de la carte ;
- demandé au fournisseur une version flat-top du même DAC, qu'il peut fournir, mais ça ne règle rien à la question des voies.
Existe-t-il un DAC passif qui relie réellement un port switch QSFP-DD 400G à un ConnectX-7 OSFP, ou transceivers plus fibre est-il la seule réponse honnête ici ?
Comments 5
Quel switch, cependant ? Vous avez nommé le type de port mais pas le modèle, et c'est ça qui détermine s'il existe même un profil de breakout utilisable de ce côté.
Dites aussi si vous avez besoin d'un seul lien 400G honnête de bout en bout, ou si 4x100G vers la carte réglerait la tâche tout aussi bien. Ce sont deux listes de courses assez différentes, et la seconde est nettement plus courte.
Vous avez deux problèmes séparés et un seul concerne le câble que vous avez acheté.
Mécanique : la cage du CX-7 prend des modules OSFP flat-top. La plupart des DAC OSFP du marché sont livrés dans le boîtier à ailettes prévu pour les cages de switch, et c'est exactement ce que vous avez en main, donc ça ne se logera jamais correctement dans la carte.
Électrique : le port OSFP 400G de cette carte tourne sur quatre voies de 100G, alors que le 400G sur QSFP-DD c'est huit voies de 50G. Un DAC passif est du cuivre et rien d'autre, il ne change rien aux vitesses, donc même avec une extrémité flat-top côté carte, les deux extrémités ne s'accordent jamais sur les voies. C'est la partie que les gens découvrent généralement après que le câble est déjà arrivé.
La combinaison indiquée pour exactement cet appairage est optique, pas cuivre : un transceiver QSFP-DD 400G DR4 (MMS1V00-WM) dans le switch, de la fibre croisée MPO-12/APC de la famille MFP7E30, et un module OSFP flat-top (MMS4X00-NS400) dans la carte. Trois lignes pour un seul lien, ce qui est agaçant, mais c'est l'ensemble réellement prévu pour fonctionner ensemble.
Carte à carte est le cas facile pour ce que ça vaut : les DAC OSFP800 flat-top font ça sans rien de tout ce qui précède.
Le cuivre n'est pas totalement exclu, ça dépend juste de quelle carte se trouve dans le boîtier.
Le CX-7 200G double port avec des cages QSFP112 prend des DAC QSFP56 depuis un port switch QSFP-DD via un fanout sans drame, parce que les débits par voie s'accordent là. Et sur la pièce OSFP 400G, quelqu'un a rapporté avoir fait tourner un adaptateur OSFP vers QSFP28 avec des DAC 100G ordinaires vers un fabric existant, donc le côté mécanique peut être contourné.
La réserve est que la voie de l'adaptateur n'a aucun soutien officiel. Interrogé directement sur des adaptateurs passifs OSFP vers QSFP28 pour exactement ce cas, NVIDIA a renvoyé les gens lire quels câbles sont validés dans la doc du firmware ConnectX-7, et a ajouté que les adaptateurs ne sont ni testés ni garantis. Quelqu'un qui a posé la même question sur un SN4700 en QSFP-DD et un SN3700 en QSFP56 n'a rien obtenu de mieux. Ça peut très bien marcher sur votre banc ; personne ne vous aidera le jour où ça arrêtera de marcher.
Un point de donnée de la génération d'avant, parce que c'est la même famille de surprises.
Un Arista 7060X6 avec un splitter ACC OSFP 800G vers 2x400G QSFP112 ne voulait pas du tout se lier à un ConnectX-8, alors qu'un ConnectX-7 sur le même port avec le même câble montait immédiatement. Le diagnostic de la carte renvoyait un statut de groupe PHY FW portant
Recommendation: Negotiation failure. Forcer la vitesse du port à 400G au lieu de laisser l'auto-négociation faire son travail a fait monter le lien physique immédiatement. Des câbles AEC de la même forme fonctionnaient avec le ConnectX-8 sans changement, et le même comportement est apparu contre d'autres switches basés sur Tomahawk 5, ce qui pointe vers un problème d'interopérabilité d'auto-négociation et de link-training plutôt qu'un câble défectueux.À garder en tête pour le jour où vos optiques arriveront : si un lien reste down, écartez l'auto-négociation avant de blâmer le transceiver.
Le point sur les débits par voie mérite d'être souligné, parce qu'il mord tout aussi fort côté InfiniBand.
Nous avions un Quantum-2 QM9700 qui devait atteindre un vieux Switch-IB 2 SB7800. Le NDR fait tourner chaque cage OSFP en quatre voies PAM4 de 100G ; le SB7800 est en EDR, quatre voies NRZ de 25G. Un lien direct entre les deux n'a jamais été validé et n'est pas supporté du tout - le chemin béni met un switch HDR au milieu. Ce qui existe comme alternative non supportée est un splitter passif : MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 en 1 m, 1,5 m et 2 m. Une cage à deux ports côté NDR se divise vers une paire de ports QSFP28 sur le vieux switch, chaque moitié redescendant aux débits EDR au passage.
Lisez quand même deux fois les conditions attachées. Le cuivre EDR à la sortie du QM9700 plafonne à 2 m, donc le splitter est une astuce de même baie et rien de plus. Et vous dépensez une cage : ce qui était un seul port OSFP compte désormais pour deux dans la topologie. Matériel différent, même leçon que la vôtre - quand les deux extrémités ne s'accordent pas sur le débit par voie, le cuivre simple n'est pas ce qui les réconcilie.