Catalyst 3850, ThinkSystem SR650이 Lenovo 46C3447 SR 광모듈을 쓰면 포트를 err-disable시킴
캠퍼스 3850에 물린 랙에 새 ESXi 호스트를 넣는 중입니다. 구리 쪽 관리 포트는 문제없이 올라왔는데 10G 업링크는 아닙니다. 서버가 부팅하자마자 스위치 포트가 err-disable로 떨어지고 호스트는 그 vmnic에서 아무것도 못 봅니다.
- Lenovo ThinkSystem SR650, 7X06CTO1WW, Emulex VFA5.2 2x10GbE SFP+ 어댑터 장착
- 어댑터에 꽂힌 Lenovo 10GBASE-SR 모듈, 46C3447
- 스위치 쪽은 Cisco WS-C3850-24XS-S, Cisco SFP-10G-SR
- 그 사이 OM3 LC-LC 패치
Te1/0/7: goes err-disabled within seconds of the server powering on
ESXi: the uplink shows DISCONNECTED
Same patch cord, Cisco SFP-10G-SR at both ends switch to switch: link up and stable
이미 시도한 것:
- 같은 스위치의 다른 포트로 서버를 옮김, 동일한 동작
- 46C3447을 다른 어댑터 포트에 있던 쌍둥이 모듈로 교체
- 새 패치코드, 양쪽 끝 청소하고 재장착
광섬유와 스위치 쪽 광모듈은 분명히 멀쩡하니 Lenovo 모듈에 뭔가가 반발하고 있는 겁니다. 여기서 반발하는 쪽이 서버인가요 스위치인가요, 그리고 3850이 이걸 받아들이게 할 방법이 있나요?
Comments 3
그 로그로 정리됩니다.
gbic-invalid는 스위치가 미승인 모듈로 읽은 걸 거부하는 거고, 그 검사는 SR650이나 ESXi가 아니라 Cisco 쪽에서 돌아갑니다. 그 링크의 Lenovo 코딩 SR 광모듈에 반발해서 링크를 평가하기도 전에 포트를 죽이는 거라서, 포트를 옮기고 코드를 바꿔도 아무것도 안 바뀐 이유도 이걸로 설명됩니다.글로벌 설정에 두 줄만 넣으세요.
첫 줄은 스위치가 인식 못 하는 모듈이라도 계속 진행하라는 뜻이고, 둘째 줄은 그 CRC 검사가 실패해도 err-disable이 포트를 쏘지 못하게 막습니다. 둘 다 소급 적용은 안 되니, 설정한 뒤에 포트를 한 번 튕기고 포트가 내려가 있는 동안 광섬유도 재장착하세요.
포트가 올라오면 설정을 저장하세요. running config에만 있으면 다음 reload 후 포트가 다시 err-disable로 돌아오고, 훨씬 더 안 좋은 타이밍에 이걸 또 디버깅하게 됩니다.
주의할 점 두 가지. 지금은 Cisco의 지원 구성 밖에 있는 겁니다. Cisco는 서드파티 광모듈을 테스트 안 된 걸로 보고, TAC은 그게 낀 상호운용성 케이스를 거절할 수 있습니다. 이 링크가 계약 하에 있다면 중요한 부분입니다. 그리고
service unsupported-transceiver가 만능 해결책은 아닙니다. 포트 자체가 걸림돌일 때, 예를 들어 1G 전용 SFP 슬롯에 10G 모듈을 억지로 꽂은 경우엔 똑같은 bad crc 메시지가 이 설정을 넣어도 그대로 남으니, 튕긴 뒤에도 포트가 안 올라오면 광모듈을 다시 탓하기 전에 양쪽이 실제로 어떤 속도로 돌고 있는지부터 확인하세요.다들 짐작하기 전에, 포트가 내려갈 때 스위치가 실제로 뭘 로그에 남기나요? err-disable은 항상 원인을 명시하고, 그 원인에 따라 답이 완전히 달라집니다. 모듈에 대한 보안 또는 CRC 불만은 플랩이나 프로토콜 트립과는 다른 문제고, 한쪽 해법이 다른 쪽엔 아무 소용이 없습니다.
서버가 전원 켜지는 순간 즈음의
show logging을 뽑아서 그 포트에 해당하는 줄들을 올려주세요. 그리고 Te1/0/7에 물리적으로 뭐가 꽂혀 있는지도 확인해주세요. Cisco SFP-10G-SR이라고 하셨는데, 그 경로 어디든 46C3447이 유일한 비Cisco 부품인가요?떨어지는 순간의 로그입니다, 그 포트에 두 줄.
그러니까 플랩이 아니라 보안 검사가 발동한 거네요. 그리고 네, 스위치 쪽은 Cisco 박스에서 나온 진짜 Cisco SFP-10G-SR이고, 서버의 46C3447이 그 경로에서 유일한 Lenovo 코딩 부품입니다. 그게 저를 헷갈리게 했던 부분인데, 메시지가 서버 쪽 뭔가가 아니라 스위치의 포트 이름을 대고 있어서요.