Huawei CE6800의 100GE 업링크가 SR4 광모듈로 Profitap XX-3200G까지 절대 올라오지 않음
고객사의 기존 애그리게이션 페어를 CloudEngine 장비로 교체하는 중인데, 유일하게 올라오지 않는 링크가 패킷 브로커로 들어가는 100GE 구간입니다. 스위치의 나머지는 별문제 없이 다 들어갔습니다.
- Huawei CloudEngine 6800, 100GE 포트
- 100GBASE-SR4 QSFP28 모듈, Huawei 정품, 양쪽에 하나씩
- 반대쪽에 Profitap XX-3200G 패킷 브로커
양쪽 다 자기 모듈은 인식합니다. 스위치 로그에는 제가 이것저것 다시 꽂아보는 동안 생긴 트랜시버 insert/remove 기록만 있을 뿐 알람은 전혀 없고, 인터페이스는 그냥 다운 상태로 있습니다:
<CE6800> display interface 100GE1/0/1
...
FEC : RS-FEC시도한 것:
- 양쪽 모듈을 예비 모듈로 교체하고 MPO 단자면 청소, 변화 없음;
- 스위치의 다른 100GE 포트로 링크를 옮김;
- 브로커 쪽 확인, 자기 모듈은 인식하고 이상 없다고 보고함.
그러니까 광모듈은 양쪽 다 인식되고, 아무것도 에러를 내지 않는데, 링크는 없습니다. CloudEngine 100GE 포트와 서드파티 장비 사이에서 링크가 트레이닝되려면 또 뭐가 맞아야 하나요?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 3
이건 FEC 불일치입니다. CloudEngine은 SR4 광모듈이 꽂힌 100GE 포트에서 기본적으로 RS-FEC를 켭니다. 브로커에는 FEC 설정이 없어서 그냥 FEC 없이 동작하고, FEC가 서로 맞지 않는 양쪽은 절대 트레이닝을 끝내지 못합니다. 고장난 게 없으니 로그에도 안 남습니다. 그래서 로그에 insert/remove 메시지만 있는 겁니다.
스위치에서 인터페이스 뷰로 들어가서 끄세요:
undo fec mode도 같은 효과입니다. 여기서 중요한 건 두 번째 줄입니다. CE는 2단계 설정 방식이라서, commit되지 않은fec mode none은 설정을 다시 읽어봐도 완벽하게 정상으로 보이는데 포트는 여전히 그전과 똑같이 다운 상태입니다. 이것 때문에 다들 FEC가 이미 꺼진 줄 알고 있는 채로 고객 케이스가 하루 더 끌린 걸 본 적이 있습니다.commit 후에는
display interface에 FEC: NONE이 나오고 포트가 트레이닝되어야 합니다.혹시 반대쪽에 나중에 FEC 설정이 생긴다면, 더 나은 해법은 그쪽에서 RS-FEC를 켜고 스위치는 기본값 그대로 두는 겁니다. 100G에서는 실제로 그 정정 기능이 있는 게 낫거든요. 서로 다른 벤더 사이에서는 뭔가 협상되길 기대하기보다 양쪽 다 FEC를 명시적으로 설정하겠습니다.
브로커 쪽에서는 FEC에 대해 뭐라고 하나요, 뭐라도 나오면요? 흥미로운 절반은 이미 본인이 올려주셨습니다. 스위치 포트는 RS-FEC로 동작 중입니다. Huawei는 100GE 링크 양쪽이 같은 FEC 모드를 써야 한다고 명확히 밝히고 있고, 안 그러면 인터페이스가 절대 안 올라오는데, 그 장애 양상이 정확히 지금 겪고 계신 것과 같습니다. 모듈 둘 다 멀쩡, 알람 없음, 로그 없음, 포트는 다운.
제가 다뤄본 패킷 브로커와 탭 대부분은 FEC 설정 자체를 노출하지 않는데, 그러면 FEC 없이 동작한다는 뜻이고 양보해야 하는 쪽은 스위치입니다. 그것부터 확인하고 나서 하나만 바꾸세요.
덧붙이자면 CloudEngine의 기본값은 하나로 고정된 게 아니라 모듈에 따라 다릅니다. QSFP28-100G-LR4와 QSFP28-100G-LR1은 IEEE 802.3에 따라 FEC가 꺼진 채로 동작하고, 그 외 모든 QSFP28 타입은 기본값이 FEC 켜짐입니다. 그러니 그냥 끄라는 조언은 LR4 링크에서는 틀립니다. 거기서는 스위치가 이미 꺼져 있고 불일치는 반대쪽에 있는 겁니다.
같은 챕터에서 저를 당황하게 만들었던 규칙 두 가지 더:
그러니 FEC를 어느 방향으로 설정할지 정하기 전에
display transceiver interface 100GE1/0/1 verbose로 실제로 뭘 쥐고 있는지 먼저 확인하고, 어느 쪽이든 commit은 잊지 마세요.