ConnectX-7 400G OSFP do portu switcha QSFP-DD: wystarczy pasywny DAC, czy przeszkodzi różnica prędkości lane
Podnoszę parę serwerów GPU do istniejącej fabryki 400G i raz już udało mi się kupić zły kabel, więc wolę poukładać sobie teorię, zanim zamówię ponownie.
- NIC: ConnectX-7 MCX715105AS-WEAT, jeden port 400G, klatka OSFP
- Switch: porty QSFP-DD 400G
- Mam na ręku: pasywny DAC 400G QSFP-DD do OSFP z żebrowaną końcówką OSFP
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endŻebrowana końcówka w ogóle nie wchodzi w klatkę karty - ta obudowa jest zbudowana pod klatkę switcha, gdzie jest miejsce na żebra, a karta go nie ma. Poza mechaniką, wszystko, co dotąd przeczytałem, mówi, że port OSFP w tej karcie działa na lane 100G, podczas gdy 400G w QSFP-DD składa się z lane 50G, co sugeruje, że pasywny kabel nie połączy tych dwóch końców, niezależnie od tego, jak wyglądają złącza.
Co sprawdziłem przed napisaniem posta:
- przejrzałem listę zwalidowanych kabli i nie znalazłem żadnej pozycji QSFP-DD do OSFP pasującej do tego zestawienia;
- potwierdziłem w dokumentacji karty wymóg flat-top dla klatki NIC;
- zapytałem dostawcę o wersję flat-top tego samego DAC, którą mogą dostarczyć, ale to nic nie zmienia w kwestii lane.
Czy istnieje więc jakikolwiek pasywny DAC, który naprawdę łączy port switcha QSFP-DD 400G z OSFP ConnectX-7, czy jedyną uczciwą odpowiedzią są tu transceivery plus światłowód?
Comments 5
Ale jaki switch? Podałeś typ portu, ale nie model, a to on decyduje, czy po tamtej stronie w ogóle jest sensowny profil breakout.
Powiedz też, czy potrzebujesz jednego uczciwego linku 400G od końca do końca, czy 4x100G do karty załatwiłoby sprawę równie dobrze. To dwie dość różne listy zakupów, a ta druga jest sporo krótsza.
Masz dwa oddzielne problemy i tylko jeden z nich dotyczy kupionego kabla.
Mechanika: klatka CX-7 przyjmuje moduły OSFP flat-top. Większość DAC-ów OSFP na rynku jest w obudowie żebrowanej, pomyślanej pod klatki switchy, i to dokładnie masz w ręku, więc nigdy nie osiądzie poprawnie w karcie.
Elektryka: port OSFP 400G w tej karcie działa na czterech lane po 100G, podczas gdy 400G w QSFP-DD to osiem lane po 50G. Pasywny DAC to tylko miedź i nic więcej, niczego nie przekłada, więc nawet z końcówką flat-top po stronie NIC te dwa końce nigdy nie dogadają się co do lane. To ta część, którą ludzie zwykle odkrywają dopiero po tym, jak kabel już dotrze.
Zestaw wskazany dla dokładnie tej pary jest optyczny, nie miedziany: transceiver 400G DR4 QSFP-DD (MMS1V00-WM) w switchu, światłowód krosowy MPO-12/APC z rodziny MFP7E30 i moduł OSFP flat-top (MMS4X00-NS400) w NIC. Trzy pozycje na jeden link, co irytuje, ale to zestaw, który faktycznie ma ze sobą współpracować.
NIC do NIC to zresztą łatwy przypadek: DAC-i OSFP800 flat-top robią to bez niczego z powyższego.
Miedź nie jest całkiem wykluczona, to zależy tylko od tego, jaka karta siedzi w obudowie.
Dwuportowy CX-7 200G z klatkami QSFP112 bierze DAC-i QSFP56 z portu switcha QSFP-DD przez fanout bez dramatu, bo tam prędkości lane się zgadzają. A przy części 400G OSFP ktoś zgłaszał uruchomienie adaptera OSFP na QSFP28 ze zwykłymi DAC-ami 100G do istniejącej fabryki, więc stronę mechaniczną da się obejść.
Zastrzeżenie jest takie, że droga przez adapter nie ma żadnego wsparcia. Zapytany wprost o pasywne adaptery OSFP na QSFP28 dokładnie w tym przypadku, NVIDIA odsyłała ludzi do czytania, które kable są zwalidowane w dokumentacji firmware ConnectX-7, dodając, że adaptery nie są ani testowane, ani gwarantowane. Ktoś, kto zapytał o to samo w kontekście SN4700 na QSFP-DD i SN3700 na QSFP56, nie dostał nic lepszego. Na twoim biurku może to całkiem nieźle działać; tylko że w dniu, kiedy przestanie, nikt ci nie pomoże.
Punkt danych z generacji wyżej, bo to ta sama rodzina niespodzianek.
Arista 7060X6 ze splitterem ACC OSFP 800G na 2x400G QSFP112 w ogóle nie chciała złapać linku z ConnectX-8, podczas gdy ConnectX-7 na tym samym porcie z tym samym kablem wstawał od razu. Diagnostyka NIC zwracała status grupy PHY FW z
Recommendation: Negotiation failure. Wymuszenie prędkości portu na 400G zamiast zostawienia auto-negocjacji stawiało link fizyczny natychmiast. Kable AEC tego samego kształtu działały z ConnectX-8 bez zmian, a to samo zachowanie pojawiło się przy innych switchach opartych na Tomahawk 5, co wskazuje raczej na problem interoperacyjności auto-negocjacji i link-trainingu niż na wadliwy kabel.Warto to zapamiętać na czas, gdy dotrze twoja optyka: jeśli link stoi, zdejmij ze stołu auto-negocjację, zanim obwinisz transceiver.
Kwestia prędkości lane zasługuje na podkreślenie, bo po stronie InfiniBand gryzie tak samo mocno.
Mieliśmy Quantum-2 QM9700, który musiał dogadać się ze starym Switch-IB 2 SB7800. NDR prowadzi każdą klatkę OSFP jako cztery lane PAM4 po 100G; SB7800 to EDR, cztery lane NRZ po 25G. Bezpośredni link między nimi nigdy nie był zwalidowany i w ogóle nie jest wspierany - błogosławiona droga stawia po środku switch HDR. To, co istnieje jako niewspierana alternatywa, to pasywny splitter: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 w wersjach 1 m, 1,5 m i 2 m. Jedna dwuportowa klatka po stronie NDR rozchodzi się na parę portów QSFP28 na starym switchu, a każda połówka po drodze schodzi do prędkości EDR.
Przeczytaj jednak dokładnie, jakie są warunki. Miedziany EDR z QM9700 kończy się na 2 m, więc splitter to sztuczka na jedną szafę i nic więcej. Do tego płacisz klatką: to, co było jednym portem OSFP, w topologii liczy się teraz jako dwa. Inny sprzęt, ta sama lekcja co u ciebie - gdy oba końce nie zgadzają się co do prędkości lane, zwykła miedź tego nie pogodzi.