PA-3220: SFP+ 인터페이스가 전혀 링크되지 않고, sys.s1.p13.state에는 board_port_sfp_invalid_0이 표시됨
PA-3220에서 새 코어 스위치로 10G 업링크를 구성하는 중입니다. 방화벽의 빈 케이지에 모듈을 꽂았고 스위치 쪽 설정은 끝나서 대기 중인데, 인터페이스가 전혀 올라오질 않습니다. 포트 LED는 깜빡이고 있어서 적어도 모듈에 전원은 들어오는 줄 알았습니다.
- Palo Alto PA-3220, 13번 포트에 모듈 장착
- 범용 10G SFP+ 광모듈, 듀플렉스 LC
- 같은 종류의 광모듈이 같은 광케이블의 다른 심선 쌍에서 스위치 간 10G로 링크됨
- HA 페어이며 이 장비가 액티브 유닛
포트에 대한 state tree 출력은 다음과 같습니다:
show system state filter-pretty sys.s1.p13.state
board_port_sfp_invalid_0
sys.s1.p13.status는 링크 다운으로 나옵니다. 로그에는 아무것도 없고, 인터페이스는 그냥 죽어 있습니다.
지금까지 시도한 것:
- 모듈을 다시 꽂고 커넥터를 청소함
- 같은 종류의 광모듈로 교체
- 스위치 간 페어로 광케이블 자체를 검증, 10G로 링크됨
- 인터페이스 설정 확인, 올바른 존에 있는 일반 레이어 3 인터페이스
여기서 board_port_sfp_invalid_0이 실제로 무슨 뜻인가요? 모듈 문제인가요, 방화벽 문제인가요?
Comments 3
그 상태는 방화벽이 해당 케이지의 모듈을 거부하고 있다는 뜻이고, 원인은 전기적인 것보다 기계적인 경우가 훨씬 많습니다. 케이지는 앞에서 보면 다 똑같이 생겼고 광모듈도 완벽하게 꽂히지만, 애초에 10G용으로 배선되지 않은 슬롯이라면 아무리 멀쩡한 10G 광모듈이라도 올라오지 않습니다.
그러니 모듈보다 포트 맵부터 확인하세요.
show system info로 정확한 플랫폼을 확인하고, 해당 모델의 하드웨어 레퍼런스에서 실제로 어느 케이지가 SFP+인지 찾습니다. PA-3220에서는 그 블록이 17-20번 포트라서 13번 포트는 애초에 대상이 아니었습니다. 먼저 광모듈을 그쪽으로 옮기세요.실제 SFP+ 케이지에 꽂았다면 다음 순서로 state tree를 확인하세요(아래 줄은 17번 포트를 예로 든 것이니 실제로 옮긴 포트 번호로 바꿔서 쓰세요):
.phy는 미디어가 아예 읽혔는지를 보여줍니다. 정상적인 케이지에 꽂힌 10G 광모듈이라면 SFP-Plus-Fiber로 나와야 합니다..status는 링크 상태고요..state는 지금 겪고 계신 invalid-module 상태가 나타나는 곳인데, 모듈이 올바른 블록에 들어가면 사라져야 합니다.페어 구성일 때 한 가지 주의할 점: 액티브 유닛의 포트를 확인하세요. 패시브 유닛에서는 passive link state를 up으로 설정하지 않는 한 인터페이스가 원래 다운 상태입니다.
바로 그거였습니다. 광모듈을 17번 포트로 옮겼더니
.phy가 SFP-Plus-Fiber로 나오고 링크도 바로 10G로 올라왔습니다. 스위치 쪽은 전혀 손대지 않았고요.케이지가 앞에서 보면 다 똑같이 생겨서 서로 호환되는 줄 알았습니다. 하드웨어 레퍼런스에는 이 모델의 경우 17-20번이라고 분명히 적혀 있었는데, 모듈과 패치코드로 저녁 시간을 날리기 전까지는 열어볼 생각을 못 했네요.
결과가 좋네요. 그리고 이건 기억해 둘 만한 교훈입니다: SFP+ 모양의 구멍이라고 해서 그 뒤에 뭐가 있는지를 보장하지는 않습니다.
비슷한 함정이 다른 곳에도 있습니다. QLogic QLE2562는
lspci에 8Gb Fibre Channel HBA로 나오고 그 케이지는 이더넷 광모듈과 똑같이 생긴 모듈을 받아들이지만,ifconfig에는 인터페이스가 절대 나타나지 않습니다. 이 카드는 FC만 말하기 때문입니다. OPX 기반 Dell S4048-ON과 S6010-ON에서는 407-BBOU SFP+를 물린 407-BBRO QSA 어댑터가 Operational State: DOWN, Operating Speed: 0으로 나오는데, 설정된 speed는 10000으로 나옵니다. 플랫폼 설정에 해당 QSFP 포트용 10G 모드가 애초에 반영되지 않았기 때문입니다.케이지가 맞는데도 포트가 계속 다운이라면 이번엔 모듈 종류 자체를 보세요. Comware 기반 HPE 5940(JH390A)은 정품 813874-B21 10GBASE-T SFP+ 모듈을 꽂아도 포트가 DOWN으로 남고 IF_LOCAL_FAULT 로그가 남는데, 같은 포트에 1G 구리 SFP를 꽂으면 정상 동작합니다. 여기서 쓴 우회책은 인터페이스에
port up-mode를 거는 것이었는데, 부작용으로 포트가 이후 항상 up으로 표시되어 실제 케이블 단선이 더 이상 감지되지 않습니다.