ERS 8600 광포트는 1G full duplex로 Up인데 스위치가 MAC을 하나도 안 배움
저희 ERS 8600에 물린 물리 서버 한 대가 아무것도 못 하고 있는데, 스위치는 전부 멀쩡하다고 철석같이 믿고 있어요. 서버를 구리에서 광으로 옮긴 뒤로 계속 이 상태예요.
- Avaya ERS 8600, 서버는 슬롯 3 포트 12의 1G SFP 포트에 물림
- 서버 NIC도 자체 SFP, 건물 패널을 거치는 광 패치
- 포트는 1Gbps full duplex 고정, 설정에 특이한 건 없음
그 포트에 대해 스위치가 보고하는 내용:
Port 3/12: up, 1000 Mbps, full duplex
FCS errors: 0
Port errors: 0
MAC addresses learned on 3/12: none
그러니까 포트는 트레이닝도 되고 며칠씩 Up 상태를 유지하고 에러도 전혀 안 세는데, forwarding database는 거기서 주소를 단 하나도 못 받아요. 서버는 나머지 VLAN에서 도달이 안 되고요.
해본 것:
- 포트를 여러 번 내렸다 올려봤는데 아무것도 안 바뀜
- flow control을 양쪽 다 토글해봤는데 역시 아무것도 안 바뀜
- 서버 VLAN의 FDB를 훑어봤는데 다른 포트에서는 다 주소가 있고 3/12에서만 하나도 없음
- 서버는 자기 쪽 링크가 기가비트로 Up이라고 계속 우김
다음엔 어디를 봐야 할까요, 스위치 쪽일까요 아니면 서버 쪽 광모듈일까요?
Comments 3
그 패턴, 즉 링크는 Up이고 full duplex고 카운터는 깨끗한데 forwarding database가 비어 있는 건, 거의 항상 반대편이 광케이블에 빛은 쏘고 있는데 유효한 프레임은 아니라는 뜻이에요. 제일 먼저 의심할 건 스위치 설정이 아니라 서버 쪽 모듈이에요.
나중에 아무도 딴소리 못 하게 스위치 쪽부터 먼저 깨끗이 해두세요. ERS 8600 진단 셸에서 그 포트에
dumpPortState랑psDump(<port index>)를 돌려보세요. 인덱스 조심하세요, 일반 CLI의 slot/port가 아니라 slot * 64 + (포트 번호 - 1)이에요. 여기서 로컬 포트가 정상이고 카운터도 깨끗하게 나오면 스위치는 제 할 일을 다 한 거고 문제는 광케이블 반대편에 있는 거예요.뭘 사기 전에 배선 자체를 방정식에서 빼보세요. 그 포트를 같은 타입의 예비 모듈을 통해 자기 자신한테 바로 패치하고, 나가는 값이랑 들어오는 값을 미터기로 재서 둘 다 모듈 스펙이 말하는 범위에서 안정적으로 유지되는지 보세요. 그다음 서버 NIC의 SFP를 바꿔보세요. 문서화된 케이스에서는 이 증상에 대해 그게 해결책의 전부였어요. 스위치 포트는 며칠 동안 링크를 유지했지만 광케이블에서는 쓸 만한 게 하나도 안 나왔고, 서버 쪽 모듈을 교체하는 순간 주소가 나타났어요.
정상이라고 알려진 모듈로 바꿔도 아무것도 안 바뀐다면 주의할 점이 하나 있어요. 일부 플랫폼에는 겉보기에 똑같은 소프트웨어 결함이 있어요. ERS 5900에는 문서화된 사례가 하나 있는데, 1Gbps 업링크 모듈을 10Gbps SFP+로 바꾸면 링크가 active로 올라오는데 아무것도 안 지나가요. 이후 소프트웨어 릴리스에는 수정됐다고 나와 있고, 그동안은 포트나 스위치 리셋으로 넘어갈 수 있어요. 그러니까 모듈을 바꿔도 안 되면 먼저 본인 코드의 릴리스 노트부터 읽어보세요.
에러가 0인 것과 학습된 주소가 0인 게 같이 나오는 건 꽤 특정한 조합이라서, 실제로 어느 방향이 죽어 있는지부터 짚어봐야 해요. 포트 카운터에 수신 프레임이 조금이라도 잡히나요, 아니면 말 그대로 아무것도 안 들어오나요? 수신 쪽은 그대로인데 송신 쪽만 계속 올라가고 있으면, 스위치가 허공에 대고 얘기하고 있는 거고 비어 있는 FDB는 문제가 아니라 증상인 거예요.
스위치가 모듈 자체에서 뽑아낸 정보를 덤프해보는 것도 가치가 있어요. VSP 7000 라인에서는
show interfaces gbic-info가 그건데, 하나만 보고 싶으면port <port number>로 좁힐 수 있고, 박스가 뭐가 꽂혀 있다고 인식하는지랑 그걸 지원 대상으로 보는지를 알려줘요. ERS 릴리스에 대응하는 명령이 있으면 3/12에 대한 그 출력도 올려주세요. 그리고 서버 NIC에 꽂힌 모듈이 뭔지도 그냥 'SFP 하나' 말고 제조사랑 타입으로 알려주세요.제안하신 대로 진단 셸에 들어가봤어요. 슬롯 3 포트 12는 인덱스가 3 * 64 + 11 = 203으로 나와서
psDump(203)이랑dumpPortState를 돌렸는데, 로컬 포트는 건강하고 카운터도 깨끗하고 스위치 쪽엔 전혀 문제가 없었어요, 예상하신 그대로요.그래서 서버 NIC에서 SFP를 빼고 같은 타입의 예비 모듈을 꽂았어요. 자리로 돌아오기도 전에 MAC 주소가 forwarding database에 들어와 있었고, 그 뒤로 서버는 계속 도달 가능해요. 서버 쪽 죽은 모듈이 포트를 올리고 유지할 만큼의 빛은 그래도 냈던 거네요. 감사합니다, 안 그랬으면 스위치 설정만 하루 더 다시 읽고 있었을 거예요.