Aruba 8360-32Y4C에서 interface group을 50g로 고정하면 어떤 트랜시버가 그래도 링크되나요
8360-32Y4C 한 쌍을 리프로 세팅하는 중이고, 다운링크 구성은 일부러 섞었습니다. 대부분은 서버로 가는 25G, 컴퓨트 섀시로 가는 50G 포트 몇 개, 그리고 대역외 장비용 저속 구리 드롭 몇 개요. SFP56 다운링크는 그룹으로 묶여 있고 속도가 그룹 단위로 설정되기 때문에, 포트 맵을 확정하기 전에 그룹 설정이 실제로 뭘 금지하는지 이해하고 싶습니다.
- Aruba 8360-32Y4C, AOS-CX 10.15
- 50g로 설정한 그룹의 SFP56 50G 모듈
- 같은 그룹의 다른 포트에 있는 SFP+ 10G DAC와 SFP28 25G DAC
- OOB 드롭 두 개용으로 계획된 J9054D 100 Mbps SFP
그룹을 50g로 강제하니 느린 모듈들이 전혀 안 올라옵니다.
8360(config)# system interface-group 4 speed 50g
8360# show interface transceiver
1/1/13 SFP56 50G up
1/1/14 SFP+ 10G DAC Waiting for link
1/1/15 SFP28 25G DAC Waiting for link이미 해본 것:
- 두 DAC를 재장착하고 같은 그룹 안의 다른 포트로 옮김
- 반대편이 각자의 네이티브 속도로 설정돼 있는지 확인
- 그룹이 25g로 남아있는 스위치에서는 같은 DAC들이 링크되는 것 확인
그러면, 50g로 설정된 그룹에서는 정말로 SFP56 50G 모듈만 링크되나요? 25g 그룹은 그보다 느린 건 다 받아주나요, 10g로 설정된 그룹도 마찬가지인가요? 그리고 트랜시버 가이드에는 포트 5-32용으로 J9054D 100 Mbps SFP가 나와 있는데, 실제로 거기 꽂아서 돌려보신 분 있나요?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 6
그룹 속도는 겉치레 라벨이 아니라, 그 그룹 안 포트들이 돌아갈 수 있는 속도 세트입니다. 그룹이 50g일 때 링크되는 건 SFP56 50G 모듈뿐입니다. 그 그룹의 10G나 25G 모듈은 허용된 속도가 아니라서 down인 채로 남고, 그게 정확히 보신 그대로입니다.
그룹이 25g면 관대한 설정입니다. 25G랑 그보다 느린 건 전부 거기서 링크되니까, 25G랑 10G DAC에 구리까지 섞인 줄도 완전히 정상적인 구성입니다.
맵을 확정하기 전에 주의할 점 두 가지. 포트 1/1/1부터 1/1/4는 MACsec 지원 포트라서 자기들만의 규칙으로 돕니다. 그러니 따로 계획을 세우고 실제로 쓰려는 모듈로 테스트하세요. 그리고 10g 그룹이나 100 Mbps의 J9054D에 대해서는 뭐라고 장담을 못 하겠습니다. 그룹 포트에 그걸 꽂아본 적이 없고, 물어본 사람 중에도 확인해준 사람이 없어서요. 느린 쪽은 8360 공식 트랜시버 가이드의 포트별 범위가 여전히 기준입니다. OOB용으로 포트 5-32에 100M이 필요하면, 모듈 하나 사서 열여섯 개 주문하기 전에 벤치에서 검증부터 하세요.
이걸 결정하는 게 두 가지인데 글에 둘 다 빠져 있습니다. 그룹이 어떤 포트들로 구성돼 있나요? 그중에 1/1/1부터 1/1/4가 있나요? 그 넷은 32Y4C에서 MACsec을 지원하는 포트고 5-32랑 같은 규칙을 따르지 않아서, 거기서 한 테스트는 나머지 박스에 대해 아무것도 말해주지 않습니다.
그리고 그룹을 50g 대신 25g로 두고
show interface transceiver를 올려주세요. 거기서 10G랑 25G DAC가 올라오면 모듈이랑 반대편은 멀쩡한 거고 지금 다투고 있는 건 그룹 속도뿐인 겁니다.그룹 4는 포트 1/1/13부터 1/1/16이라서 1-4 범위엔 아무것도 없습니다. 거긴 아직 비어있고요.
SFP56을 50g로 유지되는 다른 그룹으로 옮겼더니(거기선 up입니다) 그룹 4는 25g로 내렸습니다. 그림이 바로 바뀝니다.
그러니까 모듈도, DAC도, 배선도 문제가 아니네요. 그룹 속도, 그것뿐입니다.
참고로 말씀드리면 25g 그룹은 정말로 그렇게 관대합니다. 제 랩 8360에는 25g 그룹이 하나 있는데 지금 10G DAC, 1G-BT 구리 모듈, 25G DAC가 동시에 다 up이고, QSFP 포트에는 40G랑 100G DAC까지 있습니다. 그중 어느 것도 그룹 설정을 흔들지 않습니다.
관계는 없지만 이런 걸 구성하는 동안 알아두면 좋을 것. 8325-32C에서 8360-32Y4C로 가는 링크에서 X242 40G DAC(JH234A)가 안 올라와서 이틀을 날린 적이 있습니다. 8325 쪽은
Module interface error를 보고했고 8360 쪽은Waiting for link에 머물러 있었는데, 둘 다 GL.10.07.0020이었습니다. 이건 케이블이 아니라 소프트웨어 결함이었습니다. 8325를 보조 이미지 10.06.0110으로 부팅하니 링크가 바로 올라왔고, 10.07.0021로 완전히 고쳐졌습니다. 8360은 아무것도 바꿀 필요 없었고요. 그러니 지원돼야 할 모듈이 그냥 no link가 아니라 module error를 보고하면, 옵틱을 탓하기 전에 릴리스부터 보세요.이건 Aruba만의 특이사항이 아니니 일반적인 패턴으로 새겨둘 만합니다. 포트에 허용된 속도 세트가 모듈을 가로막고, 이런 박스들은 알아서 폴백하는 경우가 거의 없습니다.
Spectrum에서도 똑같은 이야기입니다. Onyx 3.10.4100의 SN2100이나 SN2700에서, Amphenol QSA(624380003) 뒤에 있는 10G DAC는 I2C로는 잘 읽히는데 포트가 아직 100G 전용인 동안은 절대 링크가 안 됩니다.
mlxlink -d /dev/mst/mt52100_pci_cr0 -p 15 -m이 그걸 그대로 보여줍니다.State: Disable,Enabled Link Speed 0x00b00000,Supported Cable Speed 0x00001001, 권고사항은Cable speed not enabled. 허용 속도에 10G를 넣으면 포트가 10GbE로 LinkUp됩니다.UCS 6248에서는 정품 GLC-SX-MMD가 순전히 unified port가 아직 10 Gbps 기본값이라는 이유만으로
SFP Validation Failed로 표시됩니다. 포트에서 1 Gbps를 선택하면 모듈이 업링크로 받아들여지고요. 벤더는 다른데 매번 똑같은 질문입니다. 포트가 모듈이 말하는 속도를 허용하느냐.제 하드웨어에서 확인할 수 있는 선에서 마무리하겠습니다. 50g 그룹은 SFP56 50G 모듈만 받고 그 외에는 안 받습니다. 25g 그룹은 25G랑 10G DAC를 나란히 별 불평 없이 나릅니다. 이게 포트 맵의 대부분을 커버하니까 서버랑 컴퓨트 섀시는 정리됐고, 1-4 범위는 제대로 테스트할 수 있을 때까지 계획에서 빼두겠습니다.
아직 열려있는 것. 10g 그룹은 시도를 안 해봤고, 포트 5-32의 100 Mbps J9054D에 대해서도 끝내 명확한 답을 못 얻었습니다. 모듈 하나 주문해뒀고 다른 무엇보다 먼저 벤치에 올릴 겁니다. 그때까지 OOB 드롭은 구리로 25g 그룹에 남겨두고, 포트별 범위는 트랜시버 가이드를 변경 위원회에 인용하겠습니다.