把接口组强制设为 50g 之后,Aruba 8360-32Y4C 上到底哪些光模块还能保持链路
我们正在把一对 8360-32Y4C 部署成叶子交换机,下联的方案是刻意混用的:大部分是 25G 接服务器,几个 50G 端口接计算机箱,还有几条低速铜口用于带外设备。因为 SFP56 下联口是按组分组、速率按组设置的,在冻结端口规划之前,我想先搞清楚组速率设置到底禁止了什么。
- Aruba 8360-32Y4C,AOS-CX 10.15
- 我设成 50g 那组里的一个 SFP56 50G 模块
- 同一组里其他端口上的 SFP+ 10G DAC 和 SFP28 25G DAC
- 计划用于两条带外链路的 J9054D 100 Mbps SFP
把组强制设为 50g 之后,速度较低的模块就是起不来:
8360(config)# system interface-group 4 speed 50g
8360# show interface transceiver
1/1/13 SFP56 50G up
1/1/14 SFP+ 10G DAC Waiting for link
1/1/15 SFP28 25G DAC Waiting for link
已经做过的:
- 重新插拔了两根 DAC,也换到了同一组内的其他端口
- 检查过对端已经按各自的原生速率配置好了
- 确认同样的这些 DAC 在一台组速率保持 25g 的交换机上能正常链接
所以想请教:在一个设成 50g 的组里,是不是真的只有 SFP56 50G 模块才能建立链路?25g 的组是不是能接受所有更慢的速率,10g 的组是不是也一样?另外光模块手册里给端口 5-32 列出了 J9054D 100 Mbps SFP——有没有人真的在那种端口上跑过?
Comments 6
组速率不是一个装饰性的标签,它就是这一组端口被允许运行的那个速率集合。把组设成 50g,唯一能建立链路的就是 SFP56 50G 模块;这个组里的 10G 或 25G 模块并不属于被允许的速率,就会保持 down,这正是你看到的现象。
25g 的组是宽松设置——25G 以及所有更慢的速率在里面都能建立链路,所以一排混着 25G、10G DAC 和铜口的配置是完全正常的:
在你冻结端口规划之前还有两点要提醒。1/1/1 到 1/1/4 是支持 MACsec 的端口,它们遵循自己的一套规则,所以要单独规划,并且用你打算实际使用的那款模块去测试。至于 10g 的组,或者 J9054D 在 100 Mbps 下的表现,我不敢给你任何保证——我从来没在分组端口上插过这种模块,我问过的人也没人确认过。对于低速那一端,还是要以 8360 官方光模块手册里按端口划分的范围为准。如果你需要在 5-32 端口上跑 100M 做带外,先买一个模块在工作台上验证一下,再决定要不要订十六个。
这件事由两个因素决定,而你的帖子里两个都没提到。这个组由哪些端口组成——里面有没有 1/1/1 到 1/1/4?这四个是 32Y4C 上支持 MACsec 的端口,它们不遵循和 5-32 一样的规则,所以在那几个端口上做的测试对其余端口没有任何参考价值。
还有,把组改成 25g 之后贴一下
show interface transceiver的结果。如果 10G 和 25G 的 DAC 在那种情况下能起来,说明模块和对端都没问题,你争的其实只是组速率这一件事。第 4 组是 1/1/13 到 1/1/16 端口,1-4 范围里什么都没有——那几个端口还是空的。
我把 SFP56 挪到了另一组(那一组保持 50g,模块在那边是 up 的),把第 4 组降到了 25g。情况立刻就变了:
所以模块、DAC 和布线都没问题,问题只在组速率这一件事上,别的都不是。
供参考,25g 的组确实就是这么宽松。我实验室里那台 8360 有一个组设成 25g,目前同时有一个 10G DAC、一个 1G-BT 铜模块和一个 25G DAC 都处于 up 状态,QSFP 端口上还有 40G 和 100G 的 DAC。这些都不会干扰组的设置。
跟你的问题没直接关系,但趁你在做这些规划顺便说一下:我们在一条从 8325-32C 到 8360-32Y4C 的链路上,用一根 X242 40G DAC(JH234A)折腾了两天没能起来。8325 那侧报
Module interface error,8360 那侧停在Waiting for link,两边都是 GL.10.07.0020 版本。后来发现是软件缺陷,不是线缆问题——把 8325 从备用镜像 10.06.0110 启动,链路立刻就通了,10.07.0021 版本彻底修复了这个问题。8360 那边完全不用改。所以如果一个本该支持的模块报的是模块错误,而不是简单的无链路,先查一下版本,再去怪光模块。值得把这背后的一般规律记在心里,因为这不是 Aruba 特有的怪癖。端口启用的速率集合会限制模块能不能用,而这些设备很少会自己降级兼容。
在 Spectrum 上也是同样的故事:一台跑 Onyx 3.10.4100 的 SN2100 或 SN2700,一个接在 Amphenol QSA(624380003)后面的 10G DAC,通过 I2C 能正常读到信息,但端口还停留在只支持 100G 时,链路就是起不来。
mlxlink -d /dev/mst/mt52100_pci_cr0 -p 15 -m把话说得很明白——State: Disable,Enabled Link Speed 0x00b00000,Supported Cable Speed 0x00001001,建议是Cable speed not enabled。把 10G 加进启用的速率集合之后,端口就以 10GbE 变成 LinkUp。在 UCS 6248 上,一个如假包换的 GLC-SX-MMD 会被标记
SFP Validation Failed,纯粹是因为那个统一端口还停在默认的 10 Gbps;把端口选成 1 Gbps 之后,这个模块就被接受为上联端口。不同厂商,但每次问的都是同一个问题:端口是否允许这个模块所使用的速率。把我自己硬件上能确认的事收个尾。设成 50g 的组只接受 SFP56 50G 模块,别的都不行;设成 25g 的组能让 25G 和 10G DAC 并排共存,毫无怨言。这已经覆盖了大部分端口规划,服务器和计算机箱那边算是搞定了,1-4 端口范围在我能正式测试之前先不放进方案里。
还没解决的:我还没试过 10g 的组,J9054D 在 100 Mbps 下在 5-32 端口上是否可用,我也一直没得到明确答案。已经订了一个模块,第一步就是拿到工作台上测。在那之前,带外链路继续留在设成 25g 的组里用铜口,至于按端口划分的范围,我引用的是官方光模块手册来向变更评审会说明。