ConnectX-7 400G OSFP를 QSFP-DD 스위치 포트에: 패시브 DAC로 충분할까요, 아니면 레인 속도가 걸림돌이 될까요
기존 400G 패브릭에 GPU 박스 두 대를 새로 붙이는 중인데, 케이블을 잘못 산 적이 이미 한 번 있어서 다시 주문하기 전에 이론부터 확실히 정리하고 싶어요.
- NIC: ConnectX-7 MCX715105AS-WEAT, 400G 포트 하나, OSFP 케이지
- 스위치: 400G QSFP-DD 포트
- 수중에 있는 것: 핀형 OSFP 커넥터의 패시브 400G QSFP-DD to OSFP DAC
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP end핀형 커넥터는 NIC 케이지에 아예 안 들어가요 - 그 하우징은 핀이 들어갈 공간이 있는 스위치 케이지용으로 만들어진 거고, 카드 쪽에는 그런 공간이 없어요. 기구적인 문제를 떠나서, 지금까지 읽은 자료로는 이 카드의 OSFP 포트는 100G 레인으로 돌고 QSFP-DD의 400G는 50G 레인으로 구성돼 있어서, 커넥터 모양이 어떻든 패시브 케이블로는 양쪽을 이을 수 없다는 얘기예요.
글 올리기 전에 확인한 것:
- 검증된 케이블 목록을 다 훑어봤는데 이 조합에 맞는 QSFP-DD to OSFP 항목이 없음
- 카드 문서로 NIC 케이지의 flat-top 요건을 확인함
- 공급사에 같은 DAC의 flat-top 버전을 문의함, 구할 수는 있다는데 레인 문제는 그걸로 해결이 안 됨
그래서 QSFP-DD 400G 스위치 포트와 OSFP ConnectX-7을 진짜로 이어주는 패시브 DAC가 있긴 한 건가요, 아니면 여기서 정직한 답은 트랜시버와 광케이블뿐인가요?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
근데 스위치가 정확히 뭔가요? 포트 타입만 말씀하셨지 모델은 안 나왔는데, 그쪽에 쓸 만한 브레이크아웃 프로파일이 있는지 없는지는 결국 모델이 정해요.
그리고 진짜 순수 400G 링크가 끝까지 필요한 건지, 아니면 카드에 4x100G로 꽂는 걸로도 목적이 충분한지도 알려주세요. 이 둘은 쇼핑 목록이 꽤 달라지고, 두 번째 쪽이 훨씬 짧아요.
문제가 두 개 따로 있는데, 그중 하나만 산 케이블 얘기예요.
기구적인 문제: CX-7 케이지는 flat-top OSFP 모듈을 받아요. 시중 OSFP DAC 대부분은 스위치 케이지용 핀형 하우징으로 나오는데, 지금 갖고 계신 게 정확히 그거라서 카드에는 절대 제대로 안 꽂혀요.
전기적인 문제: 그 카드의 400G OSFP 포트는 100G 레인 4개로 돌고, QSFP-DD의 400G는 50G 레인 8개예요. 패시브 DAC는 그냥 구리선일 뿐이라 아무것도 변환 안 해주니까, NIC 쪽에 flat-top 커넥터를 달아도 양쪽이 레인에서 절대 합의가 안 돼요. 이게 보통 케이블이 이미 도착한 다음에야 알게 되는 부분이에요.
이 정확한 조합에 맞는 건 구리가 아니라 광이에요: 스위치 쪽에 400G DR4 QSFP-DD 트랜시버(MMS1V00-WM), MFP7E30 계열의 MPO-12/APC 크로스오버 광케이블, NIC 쪽에 flat-top OSFP 모듈(MMS4X00-NS400). 링크 하나에 품목이 세 개라 귀찮긴 한데, 실제로 같이 동작하도록 맞춰진 조합이 이거예요.
참고로 NIC 대 NIC는 쉬운 케이스예요: flat-top OSFP800 DAC면 위의 것들 없이 바로 돼요.
구리가 완전히 배제되는 건 아니고, 박스에 어떤 카드가 들어있느냐에 달렸어요.
QSFP112 케이지를 쓰는 듀얼포트 200G CX-7은 QSFP-DD 스위치 포트에서 팬아웃을 거쳐 QSFP56 DAC를 별 탈 없이 받아요, 거기는 레인 속도가 맞거든요. 그리고 400G OSFP 쪽에서는 누군가 OSFP to QSFP28 어댑터에 일반 100G DAC를 물려서 기존 패브릭에 넣었다는 보고도 있어서, 기구적인 문제는 우회할 방법이 있어요.
다만 어댑터 경로는 전혀 공인되지 않았다는 게 함정이에요. 바로 이 케이스에 대해 패시브 OSFP to QSFP28 어댑터를 직접 물어봤더니, NVIDIA는 ConnectX-7 펌웨어 문서에서 검증된 케이블 목록을 읽어보라는 답만 했고, 어댑터는 테스트도 보증도 안 된다고 덧붙였어요. QSFP-DD의 SN4700과 QSFP56의 SN3700 조합으로 똑같이 물어본 사람도 더 나은 답을 못 받았어요. 본인 책상에서는 잘 될 수도 있어요. 다만 어느 날 멈추면 아무도 도와주지 않을 거예요.
한 세대 위 얘기지만 참고 삼아 - 같은 부류의 함정이라서요.
ACC OSFP 800G to 2x400G QSFP112 스플리터를 문 Arista 7060X6이 ConnectX-8하고는 아예 링크가 안 됐는데, 같은 포트에 같은 케이블을 꽂은 ConnectX-7은 바로 올라왔어요. NIC 진단에서는 PHY FW group 상태에
Recommendation: Negotiation failure가 찍혔고요. 포트 속도를 오토네고시에이션에 맡기는 대신 400G로 강제하니까 물리 링크가 바로 떴어요. 같은 모양의 AEC 케이블은 ConnectX-8에서 손 안 대고도 잘 됐고, 다른 Tomahawk 5 기반 스위치에서도 같은 증상이 나와서, 케이블 불량보다는 오토네고시에이션/링크 트레이닝 호환성 문제 쪽을 가리켜요.광모듈 오면 기억해두시면 좋을 것: 링크가 안 뜨면 트랜시버 탓하기 전에 오토네고시에이션부터 빼고 보세요.
레인 속도 얘기는 한 번 더 강조할 만해요, InfiniBand 쪽에서도 똑같이 걸리거든요.
저희는 오래된 Switch-IB 2 SB7800까지 연결해야 하는 Quantum-2 QM9700이 있었어요. NDR은 모든 OSFP 케이지를 100G PAM4 레인 4개로 돌리고, SB7800은 EDR이라 25G NRZ 레인 4개예요. 이 둘을 직결하는 건 검증된 적도 없고 아예 지원도 안 돼요 - 공식 경로는 중간에 HDR 스위치를 두는 거예요. 비공식 대안으로 존재하는 건 패시브 스플리터예요: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002이 각각 1m, 1.5m, 2m로 있어요. NDR 쪽의 듀얼포트 케이지 하나가 구형 스위치의 QSFP28 포트 두 개로 팬아웃되면서, 각 절반이 가는 도중 EDR 속도로 떨어져요.
다만 딸려오는 제약을 두 번 읽어보세요. QM9700에서 나가는 구리 EDR은 2m가 한계라, 이 스플리터는 같은 랙 안에서만 쓰는 트릭이에요. 그리고 케이지도 하나 더 쓰게 돼요: 원래 OSFP 포트 하나였던 게 토폴로지에서는 두 개로 잡혀요. 장비는 다르지만 교훈은 같아요 - 양쪽이 레인 속도에서 안 맞으면, 그냥 구리로는 그 차이를 메울 수 없어요.