Accton AS9716-32D di 100G: INNOLIGHT QSFP28 LR4 link ke Arista tapi tidak pernah ke Fortigate 3810D CFP2-LR4
Kami lagi bawa naik satu leaf di Accton AS9716-32D yang jalan SONiC master (build master.207726). Empat dari port yang capable 400G harus jalan di 100G ke sepasang firewall, dan tidak satu pun mau link.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 di cage switch
- Fortigate 3810D dengan CFP2-LR4 di ujung jauh
- port dipaksa ke 100G, autoneg off, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downYang sudah saya coba:
- port sebagai 2 lane dengan PAM4 dan sebagai 4 lane dengan NRZ, tidak ada beda di kedua arah
sudo config interface fec Ethernet0 nonesebagai ganti RS FEC- modul INNOLIGHT yang sama dan fiber yang sama ke port QSFP28 Arista, di situ link-nya langsung naik
Jadi optiknya dan fiber-nya sudah clear. Ada sesuatu soal cara port 400G ini di-drive di 100G, atau soal apa yang diharapkan sisi CFP2 di lane-nya, yang bikin ini tetap gelap. Ada yang pernah punya cage 400G di platform ini ngomong 100G ke CFP2-LR4, dan port profile-nya kayak apa?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Dua pertanyaan dulu sebelum mulai itung-itungan lane. Fortigate-nya bilang apa di sisinya, CFP2-nya lihat cahaya tapi tetap down, atau modulnya sama sekali tidak keregister? Terus FEC apa yang di-configure di port 3810D itu?
Di pasangan LR4, RS FEC yang enabled cuma di satu ujung saja udah cukup bikin link down selamanya, dan port CFP2-LR4 biasanya memang tidak punya RS FEC buat dinyalain dari awal.
Fortigate-nya nunjukin interface down dan tidak ada yang berguna di counter-nya. Modulnya kekenali di situ dan port itu sempat bawa link 100G ke box lain sebelum kami sentuh apa pun. Saya tidak nemu setting FEC sama sekali di sisi itu, baik yang exposed atau yang hidden.
Di sisi kami RS FEC-nya kematiin dengan bersih: setelah
sudo config interface fec Ethernet0 nonekolom FEC-nya bacanone, port-nya bounce dan balik lagi admin up, oper down persis dengan cara yang sama. Jadi matiin RS FEC di switch doang tidak ngasih kami apa-apa.Dua profile yang kamu coba itu tidak equivalent, dan salah satunya memang tidak bisa jalan dari sononya. CFP2-LR4 itu interface four-lane NRZ: empat lane elektrik 25G ke arah host, empat wavelength di fiber-nya. Kalau port profile kamu naruh cage-nya di 2 lane PAM4, switch-nya lagi drive 2x50G ke peer yang harus nyerahin empat lane NRZ ke line side-nya, dan tidak ada yang training apa pun setting FEC-nya. Satu-satunya profile kandidat di pasangan ini adalah 4 lane NRZ.
Setelah itu dibetulkan, variabel yang tersisa itu FEC. 100GBASE-LR4 tidak bawa RS FEC, dan port CFP2-LR4 biasanya memang tidak punya cara buat nyalain itu, yang cocok sama apa yang kamu temukan di Fortigate. Kalau sisi kamu masih ada
rsdi port itu, itu doang udah cukup buat jelasin link yang gelap permanen.Jadi: 4-lane NRZ, autoneg off,
sudo config interface fec Ethernet0 none, bounce port-nya, terus baca lagishow interfaces statusbuat cek apa dua setting itu beneran nempel.Nambahin sudut pandang standar yang agak membosankan. Tidak ada yang negosiasi FEC di sini, itu properti statis di kedua ujung dan harus cocok di tiap lane link-nya. Panduan vendor buat 100G channelized bilang hal yang sama dalam satu kalimat: kalau port 100G dipecah jadi lane 25G, kedua ujung tiap lane harus jalan mode FEC yang sama atau lane-nya tidak akan pernah training.
Juga layak dump apa yang sebenarnya diklaim EEPROM TR-FC13R-N00. Modul-modul ini melaporkan compliance 100GBASE-LR4 dan 25GBASE-LR, dan beberapa platform milih default lane mode-nya dari field itu, bukan dari apa yang kamu ketik di config.
Vendor beda, bentuk sama. Saya pernah punya link 100G antara MikroTik CCR2216 dan Arista lewat optik QSFP28 SR4 yang sudah up berbulan-bulan terus tiba-tiba berhenti naik. RouterOS-nya pindah dari 7.8 ke 7.12.1 di rentang waktu itu. Kedua ujung dipaksa: auto-negotiation=no, fec-mode=fec91, MTU 9000 dan 100G-baseSR4-LR4 di CCR, 100gfull dengan reed-solomon error correction di Arista. Ganti optik tidak mengubah apa-apa, received power di semua empat lane sehat, dan pecah port jadi 4x25G cuma ngasih saya lane yang flapping.
Tidak pernah nemu jawabannya juga di situ, tapi polanya sama kayak punya kamu: optiknya tidak bersalah dan port driver salah satu sisi berubah di bawah kamu tanpa disadari. Kalau kamu lagi pakai master snapshot, itu variabel pertama yang bakal saya pindahin.
Hati-hati di langkah terakhir. Set FEC ke none dan lihat
nonedi output itu bukan bukti port-nya jalan tanpa RS FEC. Di beberapa platform ini, nilainya cuma mendarat di config database dan CLI-nya dengan senang hati nge-print balik itu, sementara serdes-nya tetap pegang mode yang sudah diprogram sampai port-nya beneran di-recreate. Perubahan speed di cage yang capable 400G bakal re-create itu juga, jadi dua knob ini saling berinteraksi dan urutannya penting.Kehati-hatian yang sama buat lane profile: di cage yang breakout-capable itu datang dari platform port configuration, bukan cuma dari
sudo config interface speed. Kalau profile-nya tidak pernah di-regenerate, dua percobaan kamu itu mungkin saja jalan di lane map dasar yang sama, yang bisa jelasin kenapa PAM4 dan NRZ kelihatan identik. Reload box-nya setelah perubahan dan cek dari cold start.Sudah saya kerjakan semuanya. Port di-recreate jadi 4 lane NRZ, FEC none di sisi kami, autoneg off, config disimpan, full reload, dicek lagi dari cold start. Pasangan CFP2-nya masih tetap down. RS FEC di Fortigate-nya beneran tidak exposed, jadi kami bahkan tidak bisa bikin mismatch yang cocok dari sisi itu.
Sementara itu, INNOLIGHT TR-FC13R-N00 yang sama di cage yang sama link ke port QSFP28 Arista dalam hitungan detik, jadi modul dan fiber-nya tetap clear.
Saya mau lampirkan dump teknis lengkapnya tapi kelewat batas ukuran di sini. Buat sekarang, empat port itu tetap down dan uplink firewall-nya dipindah ke box lain. Kalau ada yang punya port 400G di platform ini yang beneran jalanin 100G ke CFP2, saya mau tau profile apa yang akhirnya kamu pakai.