ConnectX-7 400G OSFP sang cổng switch QSFP-DD: DAC passive có đủ dùng hay tốc độ lane cản đường
Đang lắp một cặp máy chủ GPU vào hệ thống 400G hiện có, và đã từng mua nhầm cáp một lần rồi, nên lần này muốn nắm chắc lý thuyết trước khi đặt hàng lại.
- NIC: ConnectX-7 MCX715105AS-WEAT, một cổng 400G, cage OSFP
- Switch: cổng QSFP-DD 400G
- Đang có sẵn: DAC passive QSFP-DD sang OSFP, đầu OSFP có vây tản nhiệt
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endĐầu có vây hoàn toàn không lắp vừa vào cage của NIC - housing đó làm cho cage switch có chỗ chứa vây, còn card thì không có. Ngoài chuyện cơ khí, mọi tài liệu đọc được đều nói cổng OSFP trên card này chạy lane 100G, trong khi 400G trên QSFP-DD được ghép từ lane 50G, nghĩa là cáp passive không thể nối hai đầu dù connector có trông hợp nhau đến đâu.
Những gì đã kiểm tra trước khi đăng bài:
- rà qua danh sách cáp đã validate, không thấy mục QSFP-DD sang OSFP nào khớp với cặp này;
- xác nhận với tài liệu của card rằng cage NIC yêu cầu flat-top;
- hỏi nhà cung cấp về bản flat-top của cùng loại DAC, họ có thể cung cấp, nhưng điều đó không giải quyết được vấn đề lane.
Vậy có DAC passive nào thực sự nối được cổng switch QSFP-DD 400G với ConnectX-7 OSFP không, hay transceiver cộng cáp quang là câu trả lời trung thực duy nhất ở đây?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
Switch nào mới được? Bạn nêu loại cổng chứ chưa nói model, mà chính model mới quyết định bên đó có breakout profile dùng được hay không.
Cũng nói luôn là cần một link 400G thật sự đầu cuối, hay 4x100G vào card cũng đủ xong việc. Đó là hai danh sách mua hàng khá khác nhau, và cái thứ hai ngắn hơn nhiều.
Ở đây có hai vấn đề tách biệt, và chỉ một trong số đó liên quan đến sợi cáp đã mua.
Cơ khí: cage của CX-7 chỉ nhận module OSFP flat-top. Phần lớn DAC OSFP bán trên thị trường đóng gói kiểu housing có vây dành cho cage switch, và đó đúng là thứ đang cầm trên tay, nên nó sẽ không bao giờ lắp vừa vào card.
Điện: cổng OSFP 400G trên card đó chạy bốn lane 100G, trong khi 400G trên QSFP-DD là tám lane 50G. DAC passive chỉ là dây đồng, không hơn không kém, không hề gear lại tín hiệu, nên dù đầu NIC có là flat-top thì hai đầu vẫn không bao giờ khớp lane. Đây chính là phần người ta hay phát hiện ra sau khi cáp đã về tới nơi.
Tổ hợp đúng cho chính cặp thiết bị này là quang, không phải đồng: transceiver QSFP-DD 400G DR4 (MMS1V00-WM) cắm ở switch, cáp quang chéo MPO-12/APC thuộc họ MFP7E30, và module OSFP flat-top (MMS4X00-NS400) ở NIC. Ba món cho một link, khá phiền, nhưng đó là bộ thực sự được thiết kế để chạy cùng nhau.
NIC nối NIC thì lại dễ, nói cho công bằng: DAC OSFP800 flat-top làm được việc đó mà không cần gì trong số trên.
Đồng không hẳn là hết cửa, chỉ là tùy card nào đang nằm trong máy.
CX-7 hai cổng 200G với cage QSFP112 nhận DAC QSFP56 từ cổng switch QSFP-DD qua fanout không vấn đề gì, vì ở đó tốc độ lane khớp nhau. Còn ở phần OSFP 400G, có người báo là chạy được adapter OSFP sang QSFP28 với DAC 100G thông thường vào một fabric có sẵn, nên phần cơ khí vẫn có cách lách.
Điểm cần lưu ý là hướng dùng adapter không có bất kỳ hậu thuẫn nào. Khi bị hỏi thẳng về adapter passive OSFP sang QSFP28 cho đúng trường hợp này, NVIDIA chỉ hướng người hỏi đọc danh sách cáp được validate trong tài liệu firmware ConnectX-7, và nói thêm rằng adapter không được test cũng không được đảm bảo. Có người hỏi y hệt về SN4700 trên QSFP-DD và SN3700 trên QSFP56 cũng không nhận được câu trả lời khá hơn. Trên bàn thử nghiệm thì rất có thể chạy tốt; nhưng ngày nó ngừng chạy thì sẽ chẳng ai hỗ trợ.
Một data point từ thế hệ trước, vì nó cùng một kiểu bất ngờ.
Một Arista 7060X6 dùng splitter ACC OSFP 800G sang 2x400G QSFP112 hoàn toàn không lên link với ConnectX-8, trong khi ConnectX-7 trên cùng cổng, cùng sợi cáp thì lên ngay lập tức. Chẩn đoán trên NIC trả về trạng thái nhóm PHY FW ghi
Recommendation: Negotiation failure. Ép tốc độ cổng về 400G thay vì để auto-negotiate thì link vật lý lên ngay. Cáp AEC cùng kiểu dáng lại chạy bình thường với ConnectX-8, và hành vi tương tự cũng xuất hiện với các switch dùng Tomahawk 5 khác, cho thấy đây là vấn đề tương thích trong auto-negotiation và link-training chứ không phải cáp hỏng.Đáng ghi nhớ cho lúc optics về tới nơi: nếu link vẫn down, hãy loại auto-negotiation ra khỏi bức tranh trước khi đổ lỗi cho transceiver.
Điểm về tốc độ lane đáng được nhấn mạnh, vì nó cắn đau không kém ở phía InfiniBand.
Từng gặp một Quantum-2 QM9700 cần nối tới một Switch-IB 2 SB7800 đời cũ. NDR chạy mỗi cage OSFP thành bốn lane PAM4 100G; SB7800 là EDR, bốn lane NRZ 25G. Link trực tiếp giữa hai bên chưa từng được validate và hoàn toàn không được hỗ trợ - đường đi chính thống là đặt một switch HDR ở giữa. Thứ tồn tại như một lựa chọn không chính thức là splitter passive: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 với chiều dài 1 m, 1,5 m và 2 m. Một cage hai cổng phía NDR tỏa ra thành một cặp cổng QSFP28 trên switch cũ, mỗi nhánh tụt xuống tốc độ EDR trên đường đi.
Nhưng đọc kỹ các điều kiện đi kèm hai lần. Đồng EDR ra khỏi QM9700 tối đa chỉ 2 m, nên splitter chỉ là mẹo dùng trong cùng một rack chứ không hơn. Và phải trả giá bằng một cage: cái vốn là một cổng OSFP giờ tính thành hai trong topology. Thiết bị khác nhau, bài học vẫn vậy - khi hai đầu không khớp tốc độ lane, dây đồng đơn thuần không phải thứ dung hòa được chúng.