ConnectX-7 का 400G OSFP एक QSFP-DD switch port से: क्या passive DAC काफी है, या lane rates आड़े आ जाते हैं
हमारे existing 400G fabric के सामने एक जोड़ी GPU boxes bring up कर रहा हूं, और एक बार गलत cable पहले ही खरीद चुका हूं, तो दोबारा order करने से पहले theory सही तरीके से समझ लेना चाहता हूं।
- NIC: ConnectX-7 MCX715105AS-WEAT, single 400G port, OSFP cage
- Switch: 400G QSFP-DD ports
- हाथ में: एक passive 400G QSFP-DD to OSFP DAC, जिसका OSFP end finned है
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endFinned end NIC cage में बैठता ही नहीं - वह housing switch cage के लिए बनी है जहां fins के लिए जगह होती है, और card में ऐसा कुछ नहीं है। mechanics से परे, अब तक जो भी पढ़ा है वह कहता है कि इस card पर OSFP port 100G lanes चलाता है जबकि QSFP-DD पर 400G, 50G lanes से बना है, जिससे लगता है कि connectors चाहे जैसे भी दिखें, passive cable दोनों ends को bridge नहीं कर सकता।
Post करने से पहले जो जांचा:
- validated cable list देखी और इस pairing से मिलती कोई QSFP-DD to OSFP entry नहीं मिली;
- card की documentation से NIC cage की flat-top वाली requirement confirm की;
- supplier से उसी DAC का flat-top version मांगा, जो वे दे सकते हैं, पर इससे lane वाला सवाल हल नहीं होता।
तो क्या कोई ऐसा passive DAC है जो सच में एक QSFP-DD 400G switch port को OSFP ConnectX-7 से जोड़ता हो, या यहां transceivers plus fiber ही एकमात्र ईमानदार जवाब है?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
पर switch कौन सा है? आपने port type बताया पर model नहीं, और यही तय करता है कि उस तरफ कोई usable breakout profile है भी या नहीं।
यह भी बताएं कि आपको end to end एक असली 400G link चाहिए, या card में 4x100G भी काम पूरा कर देगा। ये दो काफी अलग shopping lists हैं, और दूसरी वाली काफी छोटी है।
आपके पास दो अलग-अलग problems हैं, और उनमें से सिर्फ एक का ताल्लुक उस cable से है जो आपने खरीदा।
Mechanical: CX-7 का cage flat-top OSFP modules लेता है। market में ज़्यादातर OSFP DACs finned housing में आते हैं जो switch cages के लिए बनी है, और यही आपके हाथ में है, तो यह card में कभी ठीक से नहीं बैठेगा।
Electrical: उस card पर 400G OSFP port, 100G की चार lanes चलाता है, जबकि QSFP-DD पर 400G, 50G की आठ lanes का है। passive DAC सिर्फ copper है और कुछ नहीं, यह कुछ भी gear नहीं करता, तो NIC वाले सिरे पर flat-top end होने पर भी दोनों ends lanes पर कभी सहमत नहीं होंगे। यही वह हिस्सा है जो लोग अक्सर cable आने के बाद ही समझ पाते हैं।
इसी pairing के लिए जो combination बताया जाता है वह optical है, copper नहीं: switch में एक 400G DR4 QSFP-DD transceiver (MMS1V00-WM), MFP7E30 family से MPO-12/APC crossover fiber, और NIC में एक flat-top OSFP module (MMS4X00-NS400)। एक link के लिए तीन line items, जो परेशान करने वाला है, पर यही वह set है जो असल में साथ काम करने के लिए बना है।
NIC to NIC जितना बताने लायक है उतना आसान case है: flat-top OSFP800 DACs ऊपर लिखे बिना किसी झंझट के यह कर देते हैं।
Copper पूरी तरह से out नहीं है, यह बस इस पर depend करता है कि box में कौन सा card लगा है।
QSFP112 cages वाला dual-port 200G CX-7, QSFP-DD switch port से एक fanout के ज़रिए QSFP56 DACs बिना किसी दिक्कत के ले लेता है, क्योंकि वहां lane rates मेल खाते हैं। और 400G OSFP वाले हिस्से पर किसी ने report किया कि existing fabric में ordinary 100G DACs के साथ एक OSFP to QSFP28 adapter चला दिया, तो mechanical side के आसपास रास्ता निकाला जा सकता है।
caveat यह है कि adapter वाले रास्ते को कोई backing नहीं है। ठीक इसी case के लिए passive OSFP to QSFP28 adapters के बारे में सीधे पूछने पर, NVIDIA ने लोगों को ConnectX-7 firmware docs में यह पढ़ने भेजा कि कौन से cables validated हैं, और जोड़ा कि adapters न tested हैं न guaranteed। जिसने QSFP-DD पर एक SN4700 और QSFP56 पर एक SN3700 के बारे में यही सवाल पूछा, उसे भी इससे बेहतर कुछ नहीं मिला। आपकी bench पर शायद चल भी जाए; जिस दिन यह बंद होगा, कोई मदद नहीं करेगा।
पिछली generation से एक data point, क्योंकि यह surprises की उसी family का है।
एक Arista 7060X6, जिसमें ACC OSFP 800G to 2x400G QSFP112 splitter लगा था, ConnectX-8 से बिल्कुल link नहीं करता था, जबकि उसी port पर उसी cable के साथ एक ConnectX-7 फौरन आ गया। NIC diagnostics ने एक PHY FW group status दिया जिसमें
Recommendation: Negotiation failureथा। auto-negotiate होने देने के बजाय port speed को 400G पर force करते ही physical link सीधे आ गया। उसी shape के AEC cables ConnectX-8 के साथ बिना किसी बदलाव के काम करते रहे, और यही behaviour दूसरे Tomahawk 5 आधारित switches के सामने भी दिखा, जो किसी खराब cable के बजाय auto-negotiation और link-training के interop issue की तरफ इशारा करता है।आपकी optics आने पर काम आने वाली बात: अगर link down रहे, तो transceiver को दोष देने से पहले auto-negotiation को तस्वीर से बाहर निकाल कर देखें।
lane-rate वाली बात को underline करना ज़रूरी है, क्योंकि यह InfiniBand की तरफ भी उतनी ही ज़ोर से काटती है।
हमारे पास एक Quantum-2 QM9700 था जिसे एक पुराने Switch-IB 2 SB7800 तक पहुंचना था। NDR हर OSFP cage को 100G की चार PAM4 lanes की तरह चलाता है; SB7800 EDR है, 25G की चार NRZ lanes का। इन दोनों के बीच direct link कभी validated नहीं हुआ और बिल्कुल supported नहीं है - blessed path बीच में एक HDR switch रखता है। जो unsupported alternative मौजूद है वह एक passive splitter है: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002, 1 m, 1.5 m और 2 m में। NDR वाली तरफ का एक twin-port cage पुराने switch पर एक जोड़ी QSFP28 ports में fan out होता है, हर half रास्ते में EDR rates तक नीचे आ जाता है।
पर जुड़ी हुई शर्तें दो बार पढ़ें। QM9700 से निकलने वाला copper EDR ज़्यादा से ज़्यादा 2 m पर रुक जाता है, तो splitter same-rack trick से ज़्यादा कुछ नहीं है। और एक cage खर्च होता है: जो पहले एक OSFP port था वह topology में अब दो गिना जाता है। hardware अलग, सबक वही जो आपका है - जब दोनों ends lane rate पर सहमत नहीं होते, तो सादा copper उन्हें मिला नहीं सकता।