ConnectX-7 的 400G OSFP 接到 QSFP-DD 交换机端口:无源 DAC 够用吗,还是通道速率会成为障碍
正在把一对 GPU 服务器接入我们现有的 400G 网络,已经买错过一次线,所以想先把原理搞清楚再下单。
- 网卡:ConnectX-7 MCX715105AS-WEAT,单个 400G 端口,OSFP 插槽
- 交换机:400G QSFP-DD 端口
- 手头有的:一根无源 400G QSFP-DD 转 OSFP 的 DAC,OSFP 那端带散热鳍片
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP end带鳍片的那一端根本插不进网卡的插槽——那种外壳是给交换机插槽设计的,留了给鳍片的空间,网卡上没有这个空间。除了机械结构的问题,我看到的资料都说这块卡的 OSFP 端口跑的是 100G 一条通道,而 QSFP-DD 上的 400G 是由 50G 通道组成的,这似乎说明不管接口长什么样,一根无源线缆都没法把两端接起来。
发帖之前我查过的:
- 翻了已验证线缆列表,没有找到匹配这种搭配的 QSFP-DD 转 OSFP 条目;
- 通过网卡文档确认了网卡插槽确实要求平顶(flat-top)外形;
- 问过供应商能不能提供同一根 DAC 的平顶版本,他们说可以,但这解决不了通道速率的问题。
所以到底有没有一根无源 DAC 能真正把一个 QSFP-DD 400G 交换机端口和一块 OSFP 的 ConnectX-7 接起来,还是说光模块加光纤才是这里唯一诚实的答案?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
不过你用的是哪台交换机?你说了端口类型,但没说型号,而这恰恰决定了那一侧到底有没有可用的拆分(breakout)配置。
另外说清楚你到底是需要端到端一条真正的 400G 链路,还是 4x100G 接到网卡上就能满足需求。这是两份完全不同的采购清单,后一份要短得多。
你其实有两个各自独立的问题,你买的那根线缆只解决得了其中一个。
机械层面:CX-7 的插槽只接受平顶(flat-top)的 OSFP 模块。市面上大多数 OSFP DAC 出厂就是给交换机插槽用的带鳍片外壳,而这正是你手上这根的样子,所以它永远没法正确插进网卡里。
电气层面:这块卡上的 400G OSFP 端口跑的是四条 100G 通道,而 QSFP-DD 上的 400G 是八条 50G 通道。无源 DAC 就是纯铜线,什么都不转换,所以就算网卡那端换成平顶外壳,两端在通道速率上也永远谈不拢。这一点通常是线缆到货之后才被发现的。
针对这种搭配,官方指向的方案是光的,不是铜的:交换机侧用一个 400G DR4 QSFP-DD 收发器(MMS1V00-WM),中间用 MFP7E30 系列的 MPO-12/APC 交叉光纤,网卡侧用一个平顶 OSFP 模块(MMS4X00-NS400)。一条链路要凑齐三个零件,是挺烦人,但这才是真正设计成配套使用的组合。
顺带一提,网卡对网卡反而是简单情况:平顶的 OSFP800 DAC 直接就能搞定,不需要上面这一整套。
铜缆方案也不是完全没戏,只是取决于卡里装的具体是哪种。
带 QSFP112 插槽的双口 200G CX-7,通过一个分支线缆,直接用 QSFP56 DAC 接到 QSFP-DD 交换机端口上是没问题的,因为这种情况下两端的通道速率是对得上的。而在 400G OSFP 这一款上,有人反映用一个 OSFP 转 QSFP28 的转接头,配普通的 100G DAC 接入了现有网络,所以机械层面的问题是可以绕过去的。
需要提醒的是,走转接头这条路完全没有官方背书。有人就这种情况直接问 NVIDIA 有没有支持无源 OSFP 转 QSFP28 转接头,得到的答复是让去看 ConnectX-7 固件文档里哪些线缆是经过验证的,并且补充说转接头既没有测试过也不做任何保证。另一个人问了 SN4700 的 QSFP-DD 接 SN3700 的 QSFP56 同样的问题,得到的答复也好不到哪去。这在你的工作台上很可能是能用的;但哪天它不能用了,不会有人来帮你。
分享一个上一代产品的案例,因为是同一类型的意外。
一台 Arista 7060X6,配一根 ACC OSFP 800G 转 2x400G QSFP112 的分支线缆,死活连不上一块 ConnectX-8,而同一个端口、同一根线缆换成 ConnectX-7 却立刻就起来了。网卡诊断返回的 PHY 固件组状态里带着
Recommendation: Negotiation failure。把端口速率强制设成 400G、不让它自动协商,物理链路立刻就起来了。同样外形的 AEC 线缆在 ConnectX-8 上原样能用,同样的现象在其他基于 Tomahawk 5 的交换机上也出现过,这说明问题出在自动协商和链路训练的互操作性上,而不是线缆本身坏了。等你的光模块到货之后这一点值得记住:如果链路起不来,先把自动协商这个变量排除掉,再去怀疑收发器。
通道速率这一点值得再强调一遍,因为它在 InfiniBand 这一侧同样咬人。
我们有一台 Quantum-2 QM9700,需要接到一台老的 Switch-IB 2 SB7800。NDR 让每个 OSFP 插槽跑四条 100G 的 PAM4 通道;SB7800 是 EDR,四条 25G 的 NRZ 通道。这两者之间的直连从来没有经过验证,也完全不受支持——官方认可的路径是中间加一台 HDR 交换机。作为不受支持的替代方案,存在一种无源分支线缆:MCP7Y60-H001、MCP7Y60-H01A、MCP7Y60-H002,分别是 1 米、1.5 米和 2 米。NDR 侧的一个双口插槽,分出来接到老交换机上的一对 QSFP28 端口,每一路在途中降到 EDR 速率。
不过附带条件要认真读两遍。QM9700 上铜缆 EDR 的极限是 2 米,所以这个分支线缆只能玩「同机柜内」的把戏,仅此而已。而且你要多占用一个插槽:原来一个 OSFP 端口,现在在拓扑里算成了两个。设备不一样,道理跟你的情况一样——当两端在通道速率上谈不拢的时候,普通铜缆解决不了这个矛盾。