Chelsio T580 di pfSense: bagaimana cara mengubah port QSFP+ jadi 4x10G untuk kabel breakout
Saya jalankan pfSense di box kecil dengan Chelsio T580 dan saya ingin salah satu port QSFP+ melayani empat host 10G, bukan satu link 40G tunggal. Breakout cable-nya masih dalam perjalanan, jadi saya lebih baik menyiapkan card dalam mode yang benar sebelum kabelnya sampai.
- box pfSense, Chelsio T580, satu port QSFP+ saat ini terpasang DAC 40G, cage kedua kosong
- driver cxgbe, cxgbetool tersedia dari shell
- breakout DAC QSFP+ ke 4xSFP+, OCTTAPCABLE3M (AOC OCTCABLE5M-SR sebagai rencana cadangan)
- host 10G di ujung satunya, cage SFP+ biasa
Saat ini card-nya cuma pernah menampilkan dua interface 40G:
cxgbe0: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 9000
media: Ethernet 40Gbase-CR4 <full-duplex>
cxgbe1: flags=8802<BROADCAST,SIMPLEX,MULTICAST> mtu 1500
media: Ethernet autoselect
status: no carrierYang sudah saya coba:
- menelusuri subcommand cxgbetool mencari sesuatu yang mirip setting port-mode, tidak ketemu apa-apa
- mencari loader tunable untuk cxgbe yang bisa memecah port, juga tidak ada
- baca cukup banyak sampai cukup yakin kabelnya sendiri tidak akan bisa melakukan itu, adapter-nya harus ada di mode 4x10G dulu
Jadi apakah split 40G / 4x10G ini sesuatu yang bisa diubah driver FreeBSD sama sekali, atau itu ada di konfigurasi adapter? Dan kalau memang di konfigurasi, apa cara yang didukung untuk mengubahnya dari box berbasis FreeBSD?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
Versi singkatnya: driver-nya tidak bisa melakukan itu. Layout port berasal dari konfigurasi yang dimuat ke adapter, dan itulah persisnya kenapa baik cxgbe maupun cxgbetool tidak punya mode switch. Kamu mengubahnya lewat configuration utility milik Chelsio sendiri, dan card-nya akan kembali menyala dengan personality baru.
Pindahkan utility-nya ke box (USB stick yang di-mount di suatu tempat sudah cukup) dan jalankan:
Utility-nya nanya adapter mana yang dimaksud, lalu mode apa yang kamu mau. Yang breakout terdaftar sebagai Spider (4x10G), itu entry yang mengubah port QSFP+ jadi empat lane 10G.
Di instalasi bersih, run pertama biasanya langsung gagal:
Tidak ada yang aneh, cuma library yang hilang. Install flashrom, dan library itu ikut terpasang sebagai dependency:
Itu membawa libpci 3.5.6_1 bersamanya, setelah itu script-nya jalan dan perubahan mode-nya melaporkan sukses.
Satu catatan, karena kamu melakukan ini sebelum kabelnya sampai: yang kamu dapat di titik itu cuma utility yang bilang mode-nya sudah diterapkan. Apakah keempat lane-nya benar-benar naik itu baru terbukti kalau breakout cable-nya sudah ada di cage, jadi jangan bongkar dulu sisi konfigurasi 40G-nya sebelum kamu tes.
Sebelum kamu lanjut cari-cari knob di driver: konfigurasi apa yang sebenarnya dijalankan card-nya sekarang, dan apa kamu bisa dapat python2.7 di box itu? Yang mengubah ini adalah utility Chelsio, bukan bagian dari tooling FreeBSD, dan di instalasi standar dia butuh beberapa komponen yang belum ada dari awal.
Satu hal lagi, mengingat cxgbe0 sekarang link di 40G: ada sesuatu yang jalan di port itu yang tidak boleh sampai putus? Mode-nya berasal dari konfigurasi yang dimuat ke adapter, jadi card-nya akan restart dengan personality berbeda dan kedua port hilang selama proses itu. Lakukan dari console, bukan lewat link 40G-nya.
Konfirmasi, dan persis dengan urutan itu. Run pertama mati dengan
lalu pkg install flashrom menarik libpci 3.5.6_1 masuk dan script-nya jalan normal. Dia menampilkan daftar adapter, saya pilih Spider (4x10G), dan dia melaporkan perubahan mode-nya berhasil.
Kabelnya masih belum sampai, jadi saya belum bisa bilang apa-apa soal keempat port-nya. Saya akan lapor lagi begitu OCTTAPCABLE3M sudah benar-benar di cage.
Ide yang sama di switch silicon, tapi dengan seremoni jauh lebih banyak. Di ICX 7750, port 40G tidak akan split sebelum box-nya keluar dari cut-through mode:
Setelah itu kamu lepas semua konfigurasi dari port 40G dan aktifkan breakout di situ:
Setelah reload kedua, keempat sub-port muncul sebagai 1/2/1:1 sampai 1/2/1:4 dan berperilaku seperti interface 10G independen biasa. Dua kali reload cuma untuk colok satu kabel, tapi setidaknya ini perilaku yang terdokumentasi, bukan konfigurasi adapter tersembunyi yang harus kamu tahu sendiri keberadaannya.
Perlu ditambahkan, mode itu cuma separuh perjuangan, ujung satunya juga harus menerima kabelnya sendiri. Di MX204 dan MX10003, DAC 40G biasa dulu link normal di Junos versi lama; begitu DAC 100G dapat dukungan resmi, yang 40G diam-diam hilang dari daftar, dan sekarang sama sekali tidak didukung di box-box itu. Yang didukung adalah optik breakout 4x10G, QSFPP-4X10GE-LR atau SFPP-4X10GE-SR, dan part pihak ketiga umumnya harus di-coding ke SKU yang cocok dulu sebelum port-nya mau melirik mereka.
Chelsio kamu jauh lebih santai dibanding linecard router, tapi kalau keempat leg-nya mendarat di gear vendor, cek dulu apa yang dilakukan gear itu terhadap breakout DAC sebelum kamu balik lagi menyalahkan mode adapter.