ConnectX-7 400G OSFP ke port switch QSFP-DD: DAC passive cukup, atau lane rate-nya jadi penghalang
Lagi nyalain sepasang box GPU ke fabric 400G kami yang sudah ada, dan saya sudah sempat salah beli kabel sekali, jadi mending saya luruskan teorinya dulu sebelum order lagi.
- NIC: ConnectX-7 MCX715105AS-WEAT, satu port 400G, cage OSFP
- Switch: port QSFP-DD 400G
- Yang di tangan: DAC passive 400G QSFP-DD ke OSFP dengan ujung OSFP bersirip
switch port : QSFP-DD 400G
NIC cage : OSFP, flat top
cable : QSFP-DD to OSFP passive DAC, finned OSFP endUjung yang bersirip itu sama sekali tidak masuk ke cage NIC-nya - housing itu dibikin buat cage switch yang ada ruang buat siripnya, dan card-nya tidak punya itu. Di luar soal mekanik, semua yang saya baca sejauh ini bilang port OSFP di card ini jalan di lane 100G sementara 400G di QSFP-DD itu dibangun dari lane 50G, yang mengisyaratkan kabel passive tidak bisa menjembatani dua ujungnya, apa pun bentuk konektornya.
Yang saya cek sebelum posting:
- sudah lihat validated cable list dan tidak nemu entry QSFP-DD ke OSFP yang cocok buat pasangan ini;
- sudah konfirmasi requirement flat-top buat cage NIC-nya lewat dokumentasi card-nya;
- sudah nanya supplier soal versi flat-top dari DAC yang sama, yang bisa mereka suplai, tapi itu tidak menjawab soal lane-nya.
Jadi apa ada DAC passive yang benar-benar menyambungkan port switch QSFP-DD 400G ke ConnectX-7 OSFP, atau transceiver plus fiber satu-satunya jawaban jujur di sini?
Comments 5
Switch-nya yang mana, sih? Kamu sebutin tipe port-nya tapi bukan model-nya, dan itu yang nentuin apakah ada breakout profile yang bisa dipakai di sisi itu sama sekali.
Terus bilang juga apakah kamu butuh satu link 400G jujur end to end, atau apakah 4x100G ke card-nya sudah cukup nyelesain tugasnya. Itu dua shopping list yang cukup beda, dan yang kedua jauh lebih pendek.
Kamu punya dua masalah terpisah dan cuma satu yang soal kabel yang kamu beli.
Mekanik: cage CX-7 itu nerima modul OSFP flat-top. Kebanyakan DAC OSFP di pasaran dikirim dalam housing bersirip yang dibikin buat cage switch, dan itu persis yang ada di tangan kamu, jadi dia tidak akan pernah masuk dengan benar ke card-nya.
Elektrik: port OSFP 400G di card itu jalan empat lane 100G, sementara 400G di QSFP-DD itu delapan lane 50G. DAC passive itu cuma tembaga doang, tidak ngegearin apa-apa, jadi meskipun ujung NIC-nya flat-top, dua ujungnya tetap tidak pernah sepakat soal lane-nya. Itu bagian yang biasanya baru disadari orang setelah kabelnya sudah nyampe.
Kombinasi yang ditunjuk buat pasangan persis ini itu optik, bukan tembaga: transceiver QSFP-DD 400G DR4 (MMS1V00-WM) di switch-nya, fiber crossover MPO-12/APC dari keluarga MFP7E30, dan modul OSFP flat-top (MMS4X00-NS400) di NIC-nya. Tiga line item buat satu link, yang memang nyebelin, tapi itu set yang memang dimaksudkan buat kerja bareng.
NIC ke NIC itu kasus gampangnya, buat catatan: DAC OSFP800 flat-top ngerjain itu tanpa satu pun dari yang di atas.
Tembaga itu bukan sepenuhnya tidak mungkin, cuma tergantung card apa yang ada di box-nya.
CX-7 dual-port 200G dengan cage QSFP112 nerima DAC QSFP56 dari port switch QSFP-DD lewat fanout tanpa drama, karena lane rate-nya cocok di situ. Dan buat yang OSFP 400G, ada yang lapor jalanin adapter OSFP ke QSFP28 dengan DAC 100G biasa ke fabric yang sudah ada, jadi sisi mekaniknya bisa diakalin.
Catatannya, jalur adapter ini sama sekali tidak ada dukungan resminya. Waktu ditanya langsung soal adapter passive OSFP ke QSFP28 buat kasus persis itu, NVIDIA nyuruh orang baca kabel mana yang validated di dokumentasi firmware ConnectX-7, dan nambahin bahwa adapter-nya tidak dites maupun dijamin. Orang yang nanya hal sama soal SN4700 di QSFP-DD dan SN3700 di QSFP56 juga tidak dapat jawaban lebih baik. Bisa jadi ini jalan di meja kerja kamu; tapi tidak akan ada yang bantu kamu di hari dia berhenti jalan.
Data point dari generasi di atasnya, karena ini keluarga kejutan yang sama.
Arista 7060X6 dengan splitter ACC OSFP 800G ke 2x400G QSFP112 sama sekali tidak mau link ke ConnectX-8, sementara ConnectX-7 di port yang sama dengan kabel yang sama langsung naik. Diagnostik NIC-nya ngasih balik status PHY FW group yang membawa
Recommendation: Negotiation failure. Maksa port speed-nya ke 400G, bukannya dibiarkan auto-negotiate, bikin physical link-nya langsung naik. Kabel AEC dengan bentuk yang sama bekerja dengan ConnectX-8 tanpa masalah, dan perilaku yang sama muncul lawan switch berbasis Tomahawk 5 lain, yang mengarah ke masalah interop auto-negotiation dan link-training, bukan kabel yang jelek.Layak dicatat buat waktu optik kamu nanti sampai: kalau link-nya tetap down, singkirkan dulu auto-negotiation sebelum nyalahin transceiver-nya.
Soal lane-rate ini layak digarisbawahi, karena dia gigit sama kerasnya di sisi InfiniBand.
Kami punya Quantum-2 QM9700 yang harus nyambung ke Switch-IB 2 SB7800 lama. NDR menjalankan tiap cage OSFP sebagai empat lane PAM4 100G; SB7800-nya EDR, empat lane NRZ 25G. Link langsung antara keduanya tidak pernah divalidasi dan sama sekali tidak didukung - jalur yang direstui itu naruh switch HDR di tengah. Yang ada sebagai alternatif tidak resmi itu splitter passive: MCP7Y60-H001, MCP7Y60-H01A, MCP7Y60-H002 dalam 1 m, 1.5 m, dan 2 m. Satu cage twin-port di sisi NDR fanout ke sepasang port QSFP28 di switch lama, tiap separuhnya turun ke rate EDR di jalan.
Tapi baca dua kali syarat yang nempel di situ. Copper EDR dari QM9700 mentok di 2 m, jadi splitter-nya cuma trik same-rack dan tidak lebih. Dan kamu ngeluarin satu cage: yang tadinya satu port OSFP sekarang dihitung dua di topologinya. Hardware beda, pelajaran sama kayak punya kamu - waktu dua ujungnya tidak sepakat soal lane rate, tembaga polos bukan yang bisa mendamaikan mereka.