캐리어 ADVA FSP150CP demarc에 물린 XG-7100: 링크는 올라와 있는데 응답이 전혀 없고 SFP LED는 빨간불
작은 사무실에 회선 하나 임대해서 쓰는데, 캐리어가 통신실 벽에 박아놓은 ADVA FSP150CP에서 회선이 끝나요. 제 일은 캐리어 라우터를 빌리는 대신 저희 라우터를 그 회선에 직접 물리는 거라, Netgate XG-7100의 ix0 SFP+ 포트를 ADVA access 포트에 바로 연결했어요.
- Netgate XG-7100, WAN은 ix0
- ADVA FSP150CP demarcation 박스, 캐리어가 설치하고 설정했고 저희는 로그인 권한이 없음
- 라우터 쪽에서 1G 광모듈 세 종류 시도
- 설치기사가 두고 간 LC 패치코드
라우터는 링크가 있다고 철석같이 믿고 있는데, demarc 쪽은 아니에요:
ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
media: Ethernet autoselect
status: active
# tcpdump -ni ix0
ARP, Request who-has <gateway> tell <wan address>, length 28
ARP, Request who-has <gateway> tell <wan address>, length 28
송신 카운터는 계속 올라가는데 수신 카운터는 0에 딱 멈춰 있고, 캡처에는 저희가 보낸 것 말고는 아무것도 안 잡혀요. 라우터에 어떤 모듈을 꽂아도 ADVA의 SFP LED는 계속 빨간불이고요.
지금까지 해본 것:
- 광모듈 세 개를 순서대로 다 꽂아봤는데 빨간불은 그대로예요
- 패치코드도 바꾸고 청소도 해봤어요
- 캐리어 지원팀은 demarc까지는 회선 테스트가 깨끗하게 나온다면서, 자기들 책임은 거기까지라고 해요
이 박스가 실제로 원하는 모듈이 뭘까요? SFP LED가 빨간불인 게 제 광모듈이 잘못됐다는 뜻인가요, 아니면 저쪽 포트가 아예 다른 용도로 프로비저닝돼 있다는 뜻인가요?
Comments 6
이미 본인 카운터가 어느 쪽 광케이블을 봐야 하는지 알려주고 있으니, 모듈을 하나 더 사기 전에 거기부터 보세요. 송신은 올라가고 수신은 0에 딱 멈춰 있고, 캡처에는 본인이 내보낸 ARP 말고는 아무것도 없죠. 수신 광케이블로는 아예 아무것도 들어오지 않고 있는 거예요. 라우터 쪽에서 봤을 때 미디어 불일치가 딱 이렇게 보여요: 송신 신호는 어둠 속으로 사라지고, 반대편은 답을 안 하는데, 로컬 쪽은 자기가 보는 걸로 만족하니까 인터페이스는 계속 active로 나오는 거고요.
FSP150CP의 access 포트는 캐리어가 미디어 타입 하나로 프로비저닝해놔요 - 싱글모드 광, 멀티모드 광, 아니면 RJ45 중 하나로요 - 그러니 라우터에 꽂는 모듈도 그 광 타입과 파장에 맞아야 해요. SFP LED가 빨간불이라는 건 박스가 받은 모듈을 거부하고 있다는 뜻이에요. 모듈을 제대로 받아들이면 Rate LED가 1G로 초록불이 들어오니까, 이 두 불빛을 같이 보면 테스트 결과가 나오는 거죠.
이건 벤더 화이트리스트 문제가 아니에요. 라우터 벤더 쪽 사람들이 직접 벤치에서 demarc에 ADVA 0061003008을 놓고 XG-7100에는 그냥 일반 싱글모드 1000BASE-LX 광모듈을 꽂아서 이 구성을 재현했는데 링크가 떴고, Metrodata S12W1310S010C15C랑 FS SFP1G-LX-31로도 됐어요. 서드파티 1G 광모듈이 발목을 잡는 게 아니에요.
그러니 다음으로 도움이 되는 건 모듈을 하나 더 사는 게 아니에요. 그 access 포트가 어떤 미디어 타입으로 프로비저닝돼 있는지 캐리어한테 문서로 받아내고, 거기에 맞추세요. 다만 미리 말씀드리면, 이런 케이스는 보통 딱 여기서 막혀요: 박스를 계속 잠가두고 알려주지 않으면, 결국 모듈을 하나씩 사면서 찍어맞히는 수밖에 없어요.
그 박스에는 봐야 할 램프가 하나가 아닌데, 지금 하나만 말씀하셨네요. FSP150CP가 모듈을 마음에 들어하고 포트가 1기가로 잘 돌고 있으면 Rate LED가 초록불이 돼요. 지금 그건 초록, 주황, 아니면 아예 꺼져 있나요? SFP LED 빨간불은 모듈과 포트 설정이 안 맞는다는 박스의 표현이지, 광모듈이 고장났다는 말과는 달라요.
두 번째 질문이 사실 이걸 결정짓는 질문인데요: 캐리어가 그 access 포트를 뭘로 프로비저닝했나요? 싱글모드, 멀티모드, RJ45 중 하나일 텐데, 라우터 쪽도 그 셋 중 저쪽이 준 것과 똑같아야 해요. 어느 쪽인지 아세요?
그리고 시도하신 광모듈 세 개는 각각 파장이 몇인가요? 보통 라벨에 850nm나 1310nm라고 적혀 있는데, 옆에 찍힌 브랜드보다 그게 훨씬 중요해요.
물어봤는데, 거절당하면서 오히려 답에 거의 다 다다랐어요.
먼저 램프부터요, 저쪽 도움 없이 제가 확인할 수 있는 유일한 거였으니까요. Rate LED는 아예 안 들어와요 - 주황도 아니고 그냥 꺼져 있어요 - SFP LED는 어떤 모듈을 꽂아도 빨간불이고요. 그리고 브랜드 말고 라벨을 제대로 읽어봤더니, 광모듈 세 개 다 1310nm 싱글모드였고 그중 하나는 그냥 1000BASE-LX였어요. 그러니까 같은 테스트를 세 번 돌려놓고 세 번의 테스트라고 착각했던 거죠. 이것도 교훈이네요.
나머지는 진전이 없었어요. 설정을 공개하지도 않고, access 포트가 뭘로 프로비저닝돼 있는지도 안 알려주고, 광케이블 자체를 빼버리게 RJ45 포트를 대신 열어달라고 했더니 그것도 거절당했어요. 박스도 저쪽 거, 설정도 저쪽 거, 대화는 거기서 끝났어요.
그래서 지금 사무실은 캐리어한테 빌린 라우터로 돌아가고 있어요, 제가 그렇게 피하려던 바로 그 상황이죠. XG-7100은 선반 위에 올려뒀고요. 혹시 다른 분이 본인 demarc에서 저보다 더 진전을 보실까 해서 이 질문은 계속 열어둘게요.
위안이 될진 모르겠지만, 저도 비슷한 상황이었는데 캐리어 박스만 달랐어요. 이번에도 XG-7100인데 이번엔 광으로 Adtran 5660에 물렸고, 회선을 100Mbps에서 1기가로 올리는 작업 중이었어요. 방화벽 쪽은 포트가 active로 나오고 Ubiquiti UF-MM-1G를 꽂은 상태로 1000baseSX full duplex로 협상됐다고 나왔는데, Adtran 쪽은 그냥 DOWN/DOWN으로 가만히 있었어요.
autoselect로 두는 대신 미디어를 고정해봤어요:
바뀌는 거 없었어요. Cisco랑 Ciena 광모듈을 돌아가면서 꽂아봐도 그대로였고요. 누가 제안해서 방화벽 이미지를 더 최신 개발 빌드로도 올려봤는데 역시 그대로였어요. 같은 광모듈, 같은 광케이블을 UniFi 스위치에 물렸더니 한 번에 링크가 떴으니까 모듈 문제는 애초에 아니었던 거고, 캐리어 지원팀도 딱히 해줄 게 없었어요.
결국 포기하고 UniFi 스위치를 중간에 그대로 남겨뒀어요. 스위치 포트 두 개 사이에 VLAN으로 회선을 건네줘서 Adtran은 항상 스위치만 보게 만든 거죠. 방화벽에서 CPE로 직접 링크는 끝내 안 떴고, 왜 그런지는 저도 아직 몰라요.
미디어 문제를 좀 더 구체적으로 짚어볼게요. "광모듈을 세 개나 서로 다르게 써봤다"는 말은 사실 같은 테스트를 세 번 반복한 경우가 아주 많아요.
850nm는 SR이랑 멀티모드 광섬유 쪽이고, 1310nm는 LR이랑 싱글모드 쪽이에요. 양쪽 다 같은 종류여야 하고, 그 사이엔 협상이라는 게 없어요. 인터페이스 설정을 아무리 만져도 레이저에서 나가는 파장 자체는 안 바뀌고요.
그 거리 스펙은 바닥이 아니라 천장이에요. 반대 방향에서 사람들이 자주 걸리는 부분인데요: 랙 안에서 3미터짜리 패치코드 양쪽에 LR 모듈을 꽂아도 멀쩡하게 잘 돼요, 그냥 싱글모드 코드만 있으면 되고요. LR을 멀티모드로 몇 미터 정도 연결하면 가끔 링크가 뜨긴 하는데, 그건 스펙을 벗어난 동작이라 돈 내고 쓰는 회선에 걸어둘 만한 게 아니에요.
제가 본 것 중 제일 깔끔한 사례는 FortiGate가 Brocade랑 Extreme 광모듈을 꽂은 스위치들이랑 링크가 안 됐던 건데, 그 얘기가 전부 브랜드 호환성 문제로 흘러갔어요. 알고 보니 Fortinet 모듈은 10G SR이고 반대편은 10G LR이었죠. 화이트리스트도 아니고 vendor lock도 아니고, 그냥 멀티모드가 싱글모드를 마주보고 있었던 거예요.
저도 그걸 vendor lock으로 분류하진 않을 것 같고, 나중에 이 글을 보는 사람이 그 우회법을 오해하지 않게 조심할 필요는 있을 것 같아요.
스위치를 중간에 넣는 건 본인 광모듈, 광케이블, 방화벽 포트가 다 멀쩡하다는 걸 증명해줄 뿐이에요. CPE가 왜 직접 링크를 안 받는지에 대해서는 아무것도 말해주지 않고요. 그냥 CPE가 기꺼이 대화하려는 대상 뒤로 문제를 옮겨서 그대로 놔두는 거예요.
ifconfig로 미디어를 고정하는 것도 로컬 인터페이스가 링크를 다루는 방식만 바꿀 뿐이에요. 광모듈에서 나가는 신호 자체는 못 바꾸니까, 애초에 반대편 미디어 타입 불일치를 고칠 수 있는 방법이 아니었던 거죠. 두 사례 모두 아무도 볼 수 없었던 한 가지는 캐리어가 access 포트를 어떻게 프로비저닝했는지였고, 답은 항상 거기에 있어요.