다크 파이버로 연결한 SRX1500 클러스터: SFP-LH 740-011612를 꽂은 HA CONTROL 포트가 계속 깜깜함
SRX1500 두 대가 몇 킬로미터 떨어진 서로 다른 데이터센터에 있고, 우리가 소유한 다크 파이버 페어로 양쪽 끝까지 연결되어 있습니다. 이 둘은 섀시 클러스터로 올라와야 하는데, 그러려면 컨트롤 링크가 랙 안의 패치 코드가 아니라 그 파이버를 건너야 합니다.
구성:
- Juniper SRX1500 두 대, 하드웨어 빌드는 동일함
- 각 노드의 HA CONTROL 포트에 Juniper SFP-LH 740-011612
- 컨트롤 링크 전용 다크 파이버 페어 하나, 그대로 관통 패치됨
- 섀시에 딸려온 SFP-T 구리 모듈, 앞서 백투백 테스트에 사용함
SFP-LH를 꽂아두면 아무것도 없습니다. 케이지에 LED도 없고, 링크도 없고, 클러스터가 전혀 만들어지지 않습니다:
> show chassis cluster interfaces
Control link status: Down
Control interfaces:
Index Interface Status
0 em0 Down이미 해본 것:
- 컨트롤 링크를 두 번째 파이버 페어로 옮겨봄, 양쪽 노드 다 변화 없음
- 두 노드 사이에서 모듈을 서로 바꿔봄, 양쪽 다 결과 동일
- 확인 차 SFP-T를 다시 꽂아봄, 섀시를 완전히 재시작할 때까지는 계속 다운 상태였다가 그 후에는 바로 올라옴
그 마지막 부분이 죽은 옵틱보다 더 신경 쓰입니다. SRX1500의 HA CONTROL 포트가 SFP-LH 740-011612나 SFP-SX 740-011613을 아예 받아주기는 하는 건가요, 아니면 딸려오는 SFP-T만 되는 건가요? 그리고 그 포트에 DWDM SFP를 돌려서 성공한 분 있나요?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 4
옵틱을 탓하기 전에, 박스가 그 케이지에서 실제로 뭘 보고 있나요? SFP-LH를 꽂은 상태에서
show chassis hardware를 올려주시고, 양쪽 노드에서 그 슬롯에 대한 Xcvr 줄이 아예 나타나는지 확인해보세요. 모듈이 인벤토리에도 안 잡힌다면 이건 파이버나 파장 문제가 아니고, 페어를 아무리 바꿔봐도 달라지지 않습니다.두 번째로, 10분이면 되는 작업입니다. 그 SFP-LH 모듈 중 하나를 정상 동작이 확인된 피어를 상대로 revenue 포트에 꽂아보세요. 거기서는 링크가 되는데 HA 케이지에서는 계속 깜깜하다면, 모듈과 포트 문제를 분리해낸 것이니 파이버 배선 쪽 논쟁은 그만해도 됩니다.
질문의 DWDM 관련 부분에 대해서는 적어도 데이터 포인트가 하나 있습니다. SRX1500 시리즈에서 Champion ONE DWDM 옵틱을 돌려서 동작시킨 사람이 있습니다. 그쪽으로 가기 전에 옵틱이나 DWDM 벤더에게 정확한 파장부터 확인하세요. Juniper가 그걸 위한 모듈을 반드시 파는 건 아니라서, 그러면 케이스를 여는 순간부터 서드파티 옵틱이 딸고 오는 모든 게 따라옵니다.
HA 컨트롤 포트는 결이 다른 물건이라 revenue 포트처럼 동작할 거라고 가정하지 않겠습니다. 섀시에 딸려오는 SFP-T 외에는 공개된 옵틱 목록이 없고, 직접 하신 테스트 자체가 케이지가 런타임에 다시 읽히지 않는다는 걸 말해줍니다. 구리 모듈은 섀시를 재시작한 뒤에야 돌아왔으니까요. 이건 포트가 부팅 시점에 인벤토리되고 그 이후로는 아무도 재스캔하지 않는 것처럼 읽힙니다.
클러스터를 곧 올려야 한다면 트랜스포트를 방화벽 바깥에 두세요. 옵틱을 업으로 다루는 장비에서 장거리 구간을 종단하고, 각 SRX에는 받아주는 걸로 알려진 모듈로 짧은 링크만 내주고, 파장은 트랜스포트가 갖게 하세요. 덜 우아하지만 훨씬 빨리 납품됩니다. 어쨌든 케이스는 올리세요. 그 포트용으로 지원되는 옵틱 목록 자체가 존재하지 않는다는 것도 서면 답변을 받을 가치가 있으니까요.
이 박스들에서 포트 상태를 못 믿겠다는 부분에 동의합니다. 저희는 Junos 21.4R3-S4.9의 SRX380-POE-AC 두 대짜리 클러스터가 있는데, 여기서는 반대 방향으로 문제가 납니다. xe-0/0/17과 xe-0/0/18이 파이버가 아예 연결되지 않았는데도 LED가 켜진 채로 link UP을 보고합니다. Xcvr 16-17로는 Juniper SFP-SX 740-011613, Xcvr 18-19로는 SFP+-10G-SR 740-021308이 잡히고, 양쪽 노드 다
show chassis hardware에서 동일한 인벤토리를 보여주고,show interfaces terse는 인터페이스가 up이라고 계속 우깁니다.모듈을 재장착해도 정말 아무것도 안 바뀌었습니다. 그 포트들은 원래 reth용이었는데 결국 ge-0/0/14-15에 만들게 됐으니 아무도 피해는 없었고, 이게 PR로 등록된 버그인지에 대한 답은 끝내 못 받았습니다. 그 경험과 당신의 깜깜한 컨트롤 포트를 놓고 보면, 클러스터로 묶인 SRX에서 옵틱 상태를 물리적인 무언가의 증거로는 취급하지 않겠습니다.
이 길을 더 가게 됐을 때를 위한 참고 사항 두 가지.
경로에 결국 DWDM 옵틱이 들어간다면 주문 전에 그리드부터 확인하세요. 반대편의 고정 100 GHz 옵틱을 상대로 50 GHz tunable을 쓰는 건 밤을 통째로 날리는 흔한 방법이고, Junos에서는 채널이 인터페이스에 설정하는 뭔가가 아니라 wavelength 옵션에서 나옵니다. 그리고 빛은 올바른 파장에 있는데 박스가 설정한 것과 다른 채널 번호를 보고해도 당황하지 마세요. Cisco tunable에서도 이런 경우가 충분히 자주 나와서, CLI 판독값은 믿을 게 못 됩니다.
이 케이지들의 문서가 부실하다는 일반적인 주제로는: 같은 플랫폼에서 SRX-SFP-1GE-T 구리 모듈이 1 Gbps에서는 멀쩡히 링크되는데 100 Mbps에서는 올라오길 거부하고, 하드웨어 가이드는 SFP 포트를 100/1000이라고 부르는데 모듈 데이터시트는 10/100/1000이라고 말합니다. 둘 중 어느 쪽이 맞는지는 저한테도 아무도 말해주지 못했습니다.