ConnectX-7 400G OSFP в порт коммутатора QSFP-DD: достаточно ли пассивного DAC, или мешает скорость линий
Поднимаю пару GPU-серверов против существующей фабрики 400G, и уже умудрился один раз купить не тот кабель, так что хочу разобраться в теории, прежде чем заказывать снова.
- Сетевая карта: ConnectX-7 MCX715105AS-WEAT, один порт 400G, клетка OSFP
- Коммутатор: порты QSFP-DD 400G
- На руках: пассивный DAC QSFP-DD в OSFP с рёбристым концом OSFP
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endРёбристый конец вообще не входит в клетку сетевой карты - этот корпус рассчитан на клетку коммутатора с местом под рёбра, а у карты его нет. Помимо механики, всё, что я читал, говорит, что порт OSFP на этой карте работает линиями по 100G, тогда как 400G на QSFP-DD собирается из линий по 50G, а значит, пассивный кабель не может соединить эти два конца, как бы ни выглядели разъёмы.
Что проверил перед тем, как спросить:
- прошёлся по списку проверенных кабелей и не нашёл записи QSFP-DD в OSFP под эту пару;
- подтвердил требование плоского верха для клетки сетевой карты по документации на карту;
- спросил у поставщика версию того же DAC с плоским верхом - они могут поставить, но это никак не решает вопрос со скоростью линий.
Так есть ли вообще пассивный DAC, который реально соединяет порт коммутатора QSFP-DD 400G с OSFP ConnectX-7, или единственный честный ответ здесь - трансиверы плюс волокно?
Comments 5
А какой коммутатор, кстати? Вы назвали тип порта, но не модель, а это как раз то, что определяет, есть ли на той стороне вообще рабочий профиль breakout.
Также скажите, нужен ли вам один честный линк 400G из конца в конец, или 4x100G в карту решило бы задачу так же хорошо. Это два довольно разных списка покупок, и второй заметно короче.
У вас на самом деле две отдельные проблемы, и только одна из них касается кабеля, который вы купили.
Механика: клетка CX-7 принимает модули OSFP с плоским верхом. Большинство DAC OSFP на рынке поставляются в рёбристом корпусе, рассчитанном на клетки коммутаторов, и это как раз то, что у вас на руках, так что оно никогда не встанет в карту как следует.
Электрика: порт OSFP 400G на этой карте работает четырьмя линиями по 100G, тогда как 400G на QSFP-DD - это восемь линий по 50G. Пассивный DAC - это просто медь и больше ничего, он ничего не преобразует, так что даже с концом с плоским верхом на стороне сетевой карты два конца никогда не сойдутся по линиям. Это как раз та часть, которую люди обычно обнаруживают уже после того, как кабель приехал.
Комбинация, которую называют для именно этой пары, - оптическая, а не медная: трансивер 400G DR4 QSFP-DD (MMS1V00-WM) в коммутаторе, кроссоверное волокно MPO-12/APC из семейства MFP7E30 и модуль OSFP с плоским верхом (MMS4X00-NS400) в сетевой карте. Три позиции на один линк, что раздражает, но это тот набор, который реально рассчитан работать вместе.
Сетевая карта к сетевой карте - простой случай, если это интересно: DAC OSFP800 с плоским верхом делают это без всего вышеперечисленного.
Медь не полностью исключена, просто это зависит от того, какая карта в коробке.
Двухпортовая 200G CX-7 с клетками QSFP112 принимает DAC QSFP56 из порта коммутатора QSFP-DD через fanout без проблем, потому что там скорости линий совпадают. А про часть с OSFP 400G кто-то сообщал, что запускал адаптер OSFP в QSFP28 с обычными DAC 100G в существующую фабрику, так что механическую сторону можно обойти.
Оговорка в том, что путь с адаптером вообще ничем не подкреплён. Прямо спрошенная про пассивные адаптеры OSFP в QSFP28 именно для такого случая, NVIDIA отправила людей читать, какие кабели проверены в документации по прошивке ConnectX-7, и добавила, что адаптеры не тестируются и не гарантируются. Кто-то, спросивший то же самое про SN4700 на QSFP-DD и SN3700 на QSFP56, ничего лучше не получил. На вашем стенде это вполне может заработать; в день, когда перестанет, вам никто не поможет.
Наблюдение из поколения выше, потому что это то же семейство сюрпризов.
Arista 7060X6 со сплиттером ACC OSFP 800G в 2x400G QSFP112 вообще не линковалась с ConnectX-8, тогда как ConnectX-7 на том же порту с тем же кабелем поднялась сразу. Диагностика сетевой карты возвращала статус группы PHY FW с
Recommendation: Negotiation failure. Принудительная фиксация скорости порта на 400G вместо auto-negotiation сразу подняла физический линк. Кабели AEC той же формы работали с ConnectX-8 без изменений, и то же поведение проявлялось с другими коммутаторами на базе Tomahawk 5, что указывает на проблему совместимости auto-negotiation и обучения линка, а не на бракованный кабель.Стоит взять на заметку на тот момент, когда придёт ваша оптика: если линк остаётся down, сначала уберите auto-negotiation из уравнения, прежде чем винить трансивер.
Пункт про скорость линий стоит подчеркнуть, потому что на стороне InfiniBand он кусается так же больно.
У нас был Quantum-2 QM9700, которому нужно было дотянуться до старого Switch-IB 2 SB7800. NDR ведёт каждую клетку OSFP как четыре линии PAM4 по 100G; SB7800 - это EDR, четыре линии NRZ по 25G. Прямой линк между этими двумя никогда не был проверен и вообще не поддерживается - благословлённый путь ставит коммутатор HDR посередине. Что существует как неподдерживаемая альтернатива - это пассивный сплиттер: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 длиной 1 м, 1,5 м и 2 м. Одна двухпортовая клетка на стороне NDR разветвляется на пару портов QSFP28 на старом коммутаторе, каждая половина по пути опускается до скоростей EDR.
Однако дважды прочитайте оговорки. Медный EDR из QM9700 ограничен 2 м, так что сплиттер - трюк только для одной стойки и не более того. И вы тратите клетку: то, что раньше было одним портом OSFP, теперь считается двумя в топологии. Другое железо, тот же урок, что и у вас - когда два конца расходятся по скорости линий, обычная медь их не примирит.