CRS326-24S+2Q+RM과 Huawei S6720 사이 Q+DA0001 40G DAC: 양쪽 다 케이블은 읽는데 링크는 안 올라옴
저희 사이트 하나에서 집선 구간을 다시 구성하는 중입니다. CRS326-24S+2Q+RM이 고객 SFP+ 포트를 받아서 Huawei S6720으로 40G 업링크를 올립니다. 같은 랙 안 짧은 구간이라서 옵틱 대신 패시브 DAC를 씁니다.
- MikroTik CRS326-24S+2Q+RM, QSFP+ 포트 qsfpplus1-1
- Huawei S6720-54C-EI-48S-AC, 일반 40GE 포트
- MikroTik Q+DA0001 패시브 40G QSFP+ DAC
양쪽 박스 다 케이블을 제대로 읽습니다. MikroTik은 자기 제품인 Q+DA0001로 보여주고, Huawei는 포트 정보에 40G 구리 케이블로 나열합니다. 그런데 그다음엔 아무 일도 안 일어납니다.
MikroTik: qsfpplus1-1 no-link
Huawei: 40GE... current state : DOWN이미 해본 것:
- 같은 케이블을 CRS326의 QSFP+ 포트 두 개 사이에 루프: 바로 링크됨
- Huawei의 40GE 포트 두 개 사이에 루프: 이것도 링크됨
- 양 끝 교체, 다른 QSFP+ 포트로 이동, 전부 재장착
- 양쪽 다 administratively down이 아닌 것 확인
그러니까 케이블은 멀쩡하고 각 스위치도 혼자서는 그 케이블에 만족하는데, 벤더가 섞인 페어에서만 거부하는 겁니다. CRS326이랑 S6720 사이에서 Q+DA0001을 실제로 올려보신 분 있나요? 포트가 올라오게 하려고 어느 쪽에 뭘 바꾸셨나요?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
기본값 대 기본값 페어링 그 자체가 문제고, 양쪽을 같이 끄는 것도 마찬가지입니다. 여기서 같은 조합으로 통했던 건 비대칭 설정이었는데, 글로 써놓으면 이상하게 느껴지지만 그게 답입니다. Huawei 40GE 포트는 auto-negotiation을 끄고, MikroTik의 qsfpplus1-1은 자체 autoneg를 켜둔 채로 두는 거요.
Huawei에서는 인터페이스 안에서.
MikroTik에서는 그냥 손대지 말거나, 나중에 누가 "고친다"고 건드리지 않도록 명시적으로 설정하세요.
그 직후에 제 CRS326-S6720 페어에서 40G 링크가 올라왔고 그 뒤로 안정적입니다. 이걸 해결책이라기보다는 우회책이라고 부르고 싶습니다. 두 구현체가 40G DAC 링크가 뭘 negotiate해야 하는지에 대해 분명히 합의를 못 하고 있고, 비대칭 설정은 그냥 둘 다 만족하는 구석일 뿐입니다. 운영 중인 업링크가 아니라 유지보수 창에서 하시고, 안 되면 Huawei 이미지가 그 포트에서 autoneg를 끄는 걸 아예 허용하는지부터 확인하세요. 그 부분은 보편적이지 않거든요.
벤더가 섞인 40G에서 양쪽 다 케이블은 보이는데 둘 다 안 올라오는 건 거의 항상 두 포트가 뭘 negotiate하려는지의 문제로 귀결됩니다.
양쪽 autoneg 상태를 올려주세요. Huawei의 40GE 포트 설정이랑 MikroTik의 qsfpplus1-1 auto-negotiation 값이요. 둘 중 하나라도 기본값에서 바꾸신 게 있는지도요. 그리고 이미 꺼보셨는지도요. 양쪽 동시에 껐는지, 한쪽만 껐는지, 이건 서로 다른 두 실험이니까요.
루프 테스트는 케이블이 멀쩡하다는 것만 증명합니다. 양쪽이 같은 negotiation 동작에 합의하는지에 대해서는 아무것도 말해주지 않는데, 여기서는 그게 흥미로운 부분입니다.
양쪽 다 기본값입니다. qsfpplus1-1은 auto-negotiation=yes고 Huawei 40GE 포트는 negotiation auto고, 인터페이스를 올리는 것 말고는 어느 쪽 설정도 안 건드렸습니다. 양쪽을 동시에 끄는 건 해봤는데 아무것도 안 바뀌었고, 한쪽만 끄는 방법은 생각도 못 했습니다.
링크 상태는 MikroTik에서 계속 no-link고 Huawei에서는 DOWN이고, 카운터는 전혀 안 움직여서 어느 박스에서도 에러를 로그로 남길 만큼 진행되지도 못합니다.
마지막 주의사항은 각주 정도로 넘어갈 얘기가 아닙니다. 정확히 제가 거기서 막혔거든요. S6320-54C-EI에서 MikroTik 쪽 RouterOS 7.12로는 40G 포트에서 auto-negotiation을 아예 끌 수가 없어서, 비대칭 트릭을 쓸 자리가 없습니다.
증상은 그 외엔 똑같습니다. 양쪽 다 케이블은 읽고, 포트는 down인 채로 있고, 에러는 어디에도 없습니다. 그러니까 위의 우회책은 실제로 통하긴 하지만 플랫폼에 따라 다르고, 이 두 40G 구현체 사이의 근본적인 비호환성은 제가 아는 한 여전히 미해결입니다.
벤더가 섞인 DAC를 도무지 말 안 듣게 못 만드는 상태로 여기까지 오신 분들께. 어느 시점에는 그냥 싸우기를 멈추는 게 더 쌉니다.
CRS309-1G-8S+에 물린 Alta Route 10이 있었는데, Route 10은 10Gtek이랑 FS SFP+ DAC 둘 다 SFP-H10GB-CU2M으로 인식했지만, CRS309는 link partner advertising이 전혀 안 보였고 페어는 1G로 강제로 내려야만 링크됐습니다. /cfg/sfpX.txt에서 10gbase_r을 강제해도 아무것도 안 바뀌었고, 케이지에 뭘 꽂든 Route 10의 ethtool은 계속 baseT 모드만 나열했습니다. 양쪽 끝을 FS SFP-10GSR-85 옵틱으로 바꾸니 즉시 10G 링크가 됐습니다.
속도도 다르고 박스도 다른데 교훈은 같습니다. 케이블이 멀쩡하다고 증명됐는데 양쪽이 계속 합의를 안 한다면, 옵틱 한 쌍이 튜닝으로 한 주 더 보내는 것보다 쌉니다.