ConnectX-7 400G OSFP'den QSFP-DD switch portuna: pasif bir DAC yeterli mi, yoksa lane hızları mı engel oluyor
Mevcut 400G fabric'imize karşı bir çift GPU kutusunu ayağa kaldırıyorum, ve bir kez yanlış kablo almayı zaten başardım, o yüzden tekrar sipariş vermeden önce teoriyi netleştirmek istiyorum.
- NIC: ConnectX-7 MCX715105AS-WEAT, tek 400G port, OSFP kafesi
- Switch: 400G QSFP-DD portları
- Elimde: kanatlı bir OSFP ucu olan pasif bir 400G QSFP-DD to OSFP DAC
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endKanatlı uç NIC kafesine hiç oturmuyor - o gövde kanatlara yer olan bir switch kafesi için yapılmış, kartta ise hiç yer yok. Mekanik meseleyi bir kenara bırakırsak, şimdiye kadar okuduğum her şey bu karttaki OSFP portunun 100G lane'lerle çalıştığını, QSFP-DD üzerindeki 400G'nin ise 50G lane'lerden oluştuğunu söylüyor, bu da konnektörler ne şekilde olursa olsun pasif bir kablonun iki ucu köprüleyemeyeceğini düşündürüyor.
Paylaşmadan önce kontrol ettiklerim:
- doğrulanmış kablo listesini gözden geçirdim ve bu eşleşmeye uyan bir QSFP-DD to OSFP girdisi bulamadım;
- NIC kafesi için flat-top gerekliliğini kart dokümantasyonuyla doğruladım;
- tedarikçiden aynı DAC'ın flat-top versiyonunu istedim, bunu sağlayabiliyorlar, ama bu lane meselesiyle ilgili hiçbir şey değiştirmiyor.
Yani bir QSFP-DD 400G switch portunu gerçekten bir OSFP ConnectX-7'ye bağlayan pasif bir DAC var mı, yoksa buradaki tek dürüst cevap transceiver artı fiber mi?
Comments 5
Ama hangi switch? Port tipini söyledin ama modeli söylemedin, ve o tarafta kullanılabilir bir breakout profili olup olmadığını belirleyen tam olarak bu.
Ayrıca uçtan uca gerçek bir 400G linke mi ihtiyacın var, yoksa karta 4x100G de işi aynı şekilde görür mü onu da söyle. Bunlar oldukça farklı iki alışveriş listesi, ve ikincisi bir hayli daha kısa.
İki ayrı sorunun var ve bunlardan sadece biri aldığın kabloyla ilgili.
Mekanik: CX-7 kafesi flat-top OSFP modülleri alıyor. Piyasadaki OSFP DAC'ların çoğu switch kafesleri için düşünülmüş kanatlı gövdede geliyor, ve elindeki de tam olarak bu, yani karta hiçbir zaman düzgün oturmayacak.
Elektrik: o karttaki 400G OSFP portu dört adet 100G lane çalıştırıyor, QSFP-DD üzerindeki 400G ise sekiz adet 50G lane. Pasif bir DAC bakırdan ibarettir ve başka hiçbir şey değildir, hiçbir şeyi dönüştürmez, yani NIC tarafında flat-top bir uç olsa bile iki uç lane'lerde asla anlaşmaz. İnsanların genelde kablo çoktan geldikten sonra keşfettiği kısım burası.
Tam olarak bu eşleşme için işaret edilen kombinasyon bakır değil, optik: switch'te bir 400G DR4 QSFP-DD transceiver (MMS1V00-WM), MFP7E30 ailesinden MPO-12/APC crossover fiber, ve NIC'te flat-top bir OSFP modülü (MMS4X00-NS400). Tek bir link için üç kalem, can sıkıcı ama gerçekten birlikte çalışmak üzere tasarlanmış set bu.
NIC'ten NIC'e, değeri kadarıyla, kolay durum: flat-top OSFP800 DAC'lar yukarıdakilerin hiçbiri olmadan bunu yapıyor.
Bakır tamamen masadan kalkmış değil, sadece kutudaki kartın hangisi olduğuna bağlı.
QSFP112 kafesli çift portlu 200G CX-7, bir fanout üzerinden bir QSFP-DD switch portundan QSFP56 DAC'ları dramasızca alıyor, çünkü orada lane hızları uyuşuyor. Ve 400G OSFP tarafında biri mevcut bir fabric'e sıradan 100G DAC'larla bir OSFP to QSFP28 adaptör çalıştırdığını bildirdi, yani mekanik taraf etrafından dolanılabiliyor.
Uyarı şu ki adaptör yolunun hiçbir desteği yok. Tam olarak bu durum için pasif OSFP to QSFP28 adaptörleri hakkında doğrudan sorulduğunda, NVIDIA insanları ConnectX-7 firmware dokümanlarında hangi kabloların doğrulandığını okumaya yönlendirdi ve adaptörlerin ne test edildiğini ne de garanti edildiğini ekledi. QSFP-DD üzerinde bir SN4700 ve QSFP56 üzerinde bir SN3700 hakkında aynı şeyi soran biri de daha iyisini alamadı. Senin tezgahında gayet iyi çalışabilir; durduğu gün kimse sana yardım etmeyecek.
Bir üst nesilden bir veri noktası, çünkü aynı sürpriz ailesinden.
Bir ACC OSFP 800G to 2x400G QSFP112 splitter'lı Arista 7060X6, bir ConnectX-8'e hiç link kuramadı, aynı port üzerinde aynı kabloyla bir ConnectX-7 ise anında ayağa kalktı. NIC diagnostikleri
Recommendation: Negotiation failuretaşıyan bir PHY FW group status döndürdü. Port hızını otomatik anlaşmaya bırakmak yerine 400G'ye zorlamak fiziksel linki doğrudan kaldırdı. Aynı şekildeki AEC kabloları ConnectX-8 ile değişmeden çalıştı, ve aynı davranış başka Tomahawk 5 tabanlı switch'lere karşı da ortaya çıktı, bu da bozuk bir kablodan çok bir otomatik anlaşma ve link-training interop sorununa işaret ediyor.Optiklerin geldiği gün için bir kenara not et: bir link down kalırsa, transceiver'ı suçlamadan önce otomatik anlaşmayı denklemden çıkar.
Lane hızı meselesinin altı çizilmeye değer, çünkü InfiniBand tarafında da aynı sertlikte ısırıyor.
Eski bir Switch-IB 2 SB7800'e ulaşması gereken bir Quantum-2 QM9700'ümüz vardı. NDR her OSFP kafesini dört adet 100G PAM4 lane olarak sürüyor; SB7800 ise EDR, dört adet 25G NRZ lane. Bu ikisi arasında doğrudan bir link hiç doğrulanmadı ve hiç desteklenmiyor - onaylı yol araya bir HDR switch koyuyor. Desteklenmeyen bir alternatif olarak var olan şey pasif bir splitter: 1 m, 1,5 m ve 2 m'de MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002. NDR tarafındaki çift portlu tek bir kafes, eski switch'teki bir çift QSFP28 portuna fan-out yapıyor, her yarı yolda EDR hızlarına iniyor.
Ama şartları iki kere oku. QM9700'den çıkan bakır EDR 2 m'de tavan yapıyor, yani splitter aynı rack içi bir numaradan ibaret, başka bir şey değil. Ve bir kafes harcıyorsun: eskiden bir OSFP portu olan şey artık topolojide iki olarak sayılıyor. Farklı donanım, seninkiyle aynı ders - iki uç lane hızında anlaşamadığında, düz bakır bunu uzlaştıracak şey değildir.