SRX1500通过暗光纤组集群:插上SFP-LH 740-011612后HA CONTROL端口一直没有光
两台SRX1500分别放在相距几公里的两个数据中心,通过我们端到端自有的暗光纤对连接。它们必须组成一个机箱集群,也就是说控制链路得跨过这条光纤,而不是走机柜内部的一根跳线。
配置情况:
- 两台Juniper SRX1500,硬件配置完全一致
- 每个节点的HA CONTROL端口都插了Juniper SFP-LH 740-011612
- 一对专用暗光纤用于控制链路,直接对接
- 机箱自带的SFP-T铜模块,之前做背靠背测试时用过
插上SFP-LH之后完全没反应。腔位上没有指示灯,没有链路,集群也一直组不起来:
> show chassis cluster interfaces
Control link status: Down
Control interfaces:
Index Interface Status
0 em0 Down我已经做过的:
- 把控制链路挪到第二对光纤上,两个节点都没变化
- 在两个节点之间互换了模块,结果一样
- 换回SFP-T做验证,它也是一直Down,直到完整重启机箱之后才立刻起来
最后这一点比光模块本身没反应更让我在意。SRX1500的HA CONTROL端口到底认不认SFP-LH 740-011612或SFP-SX 740-011613,还是只认自带的那个SFP-T?有没有人在这个端口上用过DWDM SFP并且成功过?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 4
在怪罪光模块之前,先看看设备在那个腔位里到底看到了什么。插上SFP-LH之后贴出
show chassis hardware,看两个节点上是不是压根没出现那个槽位对应的Xcvr行。如果模块连清单里都没有,那就不是光纤或波长的问题,不管怎么换光纤对都不会有变化。第二件事,花十分钟就够:把其中一个SFP-LH模块插到一个正常业务端口上,对接一个已知良好的对端。如果在那儿能链路,插回HA腔位又没反应,那你就已经把模块和端口的问题区分开了,不用再纠结光纤线路的问题。
关于DWDM那部分问题,至少有一个实际案例:有人在SRX1500系列上用Champion ONE的DWDM光模块并且成功了。走这条路之前,先跟光模块或DWDM厂商确认具体波长,因为Juniper不一定卖对应的模块,那样一来你用的就是第三方光模块,一旦你要开工单,随之而来的所有后果都要自己承担。
HA控制端口是完全另一回事,我不会假设它的行为和普通业务端口一样。除了机箱自带的SFP-T之外,没有任何公开的光模块清单,而且你自己的测试已经说明这个腔位在运行时不会重新读取:铜模块只有在完整重启机箱之后才恢复。这看起来像是端口只在开机时做清单,之后没有任何东西会重新扫描它。
如果集群必须尽快起来,那就把这段传输放在防火墙外面处理。让专门做光传输的设备来终结这条长途链路,给每台SRX一条它已知能接受的模块做的短链路,波长交给传输设备去管。没那么优雅,但交付快得多。不管怎样都建议开一个工单,因为这个端口压根不存在受支持光模块清单,这件事本身就值得厂商给出书面答复。
赞同不要信任这些设备上端口状态那部分。我们有一个两台SRX380-POE-AC组成的集群,跑Junos 21.4R3-S4.9,故障方向正好相反:xe-0/0/17和xe-0/0/18报link UP、指示灯也亮着,而实际上根本没接任何光纤。Xcvr 16-17是Juniper SFP-SX 740-011613,Xcvr 18-19是SFP+-10G-SR 740-021308,两个节点上
show chassis hardware显示的清单完全一致,show interfaces terse也坚持说接口是up的。重新插拔模块完全没有任何改变。那两个端口本来是打算用作reth的,我们后来改在ge-0/0/14-15上搭建了,所以没造成实际影响,但有没有对应的PR我一直没得到答复。加上你这个不亮的控制端口,我不会把集群里的SRX报出的光模块状态当作任何物理层面的证据。
再补充两点,等你往下深入折腾时用得上。
如果最后真的在链路里用了DWDM光模块,下单前先核对好网格:一端是50 GHz可调谐、对端却是固定100 GHz的光模块,是熬通宵的经典成因,而在Junos上信道是由wavelength选项决定的,不是接口上随便设的东西。另外如果设备报出的信道号和你配置的对不上,而光的波长其实是对的,也不用慌,这种情况在Cisco的可调谐模块上出现得够多了,已经说明CLI读数本身就不太可信。
关于这些腔位文档普遍单薄的问题再说一句:同一个平台上,SRX-SFP-1GE-T铜模块在1 Gbps下链路正常,在100 Mbps下却怎么都起不来,硬件手册把这些SFP端口称为100/1000,而模块的数据手册却写着10/100/1000。到底哪个是对的,也没人能告诉我。