Accton AS9716-32D'de 100G: INNOLIGHT QSFP28 LR4, Arista'ya link veriyor ama Fortigate 3810D CFP2-LR4'e asla
Bir Accton AS9716-32D üzerinde SONiC master (build master.207726) çalıştırarak bir leaf'i devreye alıyoruz. 400G destekli portlardan dördünün bir firewall çiftine doğru 100G'de çalışması gerekiyor ve hiçbiri link vermiyor.
- Accton AS9716-32D, SONiC master.207726
- switch kafesinde INNOLIGHT TR-FC13R-N00 QSFP28 LR4
- uzak uçta CFP2-LR4'lü bir Fortigate 3810D
- portlar 100G'ye zorlanmış, autoneg kapalı, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downDenediklerim:
- portu PAM4 ile 2 lane, NRZ ile 4 lane olarak; her iki yönde de fark yok
- RS FEC yerine
sudo config interface fec Ethernet0 none - aynı INNOLIGHT modülleri ve aynı fiberi bir Arista QSFP28 portuna karşı denedim, orada link hemen geliyor
Yani optikler ve fiber temiz. Bu 400G portun 100G'de nasıl sürüldüğüyle ya da CFP2 tarafının lane'lerde ne beklediğiyle ilgili bir şey portu sönük tutuyor. Bu platformda bir CFP2-LR4'e 100G konuşan bir 400G kafesi olan var mı, ve port profili nasıl görünüyordu?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Kimse lane aritmetiğine girmeden önce iki soru. Fortigate kendi tarafında ne diyor, CFP2 ışığı görüp down mı kalıyor, yoksa modülü hiç tanımıyor mu? Ve 3810D portunda hangi FEC yapılandırılmış?
Bir LR4 çiftinde, tam olarak tek bir uçta etkin RS FEC, linki sonsuza kadar down tutmaya yeter, ayrıca CFP2-LR4 portlarında genelde açılacak bir RS FEC zaten yoktur.
Fortigate arayüzü down gösteriyor ve sayaçlarda işe yarar hiçbir şey yok. Modül orada tanınıyor ve biz herhangi bir şeye dokunmadan önce o port başka bir cihaza 100G link taşıyordu. O tarafta ister görünür ister gizli hiçbir FEC ayarı bulamıyorum.
Bizim tarafımızda RS FEC temiz şekilde kapanıyor:
sudo config interface fec Ethernet0 nonesonrasında FEC sütununoneokuyor, port sıçrayıp tam olarak aynı şekilde admin up, oper down olarak geri geliyor. Yani RS FEC'i tek başına switch'te kapatmak bize hiçbir şey kazandırmıyor.Denediğin iki profil birbirine denk değil, ve bunlardan biri yapısı gereği çalışamaz. CFP2-LR4, dört lane'li bir NRZ arayüzü: host'a doğru dört adet 25G elektriksel lane, fiberde dört dalga boyu. Port profilin cage'i PAM4'ün 2 lane'ine koyuyorsa, switch, line tarafına dört NRZ lane vermesi gereken bir eşe 2x50G sürüyor demektir ve FEC ayarı ne olursa olsun hiçbir şey train olmaz. Bu eşleşmede tek aday profil 4 lane NRZ.
Bu düzeltildikten sonra geri kalan değişken FEC. 100GBASE-LR4, RS FEC taşımaz ve bir CFP2-LR4 portu genelde onu açacak bir yol sunmaz, bu da Fortigate'te bulduğunla örtüşüyor. Senin tarafında o portta hâlâ
rsvarsa, bu tek başına kalıcı olarak sönük bir linki açıklamaya yeter.Yani: 4 lane NRZ, autoneg kapalı,
sudo config interface fec Ethernet0 none, portu sıçrat, sonra her iki ayarın da gerçekten tuttuğunu kontrol etmek içinshow interfaces status'a tekrar bak.Buna sıkıcı standartlar açısını da ekleyeyim. Burada FEC hiçbir şekilde negotiate edilmiyor, her iki ucun da statik bir özelliği ve linkin her lane'inde eşleşmesi gerekiyor. Kanallandırılmış 100G için üretici kılavuzu aynı şeyi tek cümlede söylüyor: bir 100G port 25G lane'lere bölündüğünde, her lane'in her iki ucu da aynı FEC modunda çalışmalı, yoksa lane'ler asla train olmaz.
TR-FC13R-N00 EEPROM'unun gerçekte ne iddia ettiğini dump etmeye de değer. Bu modüller 100GBASE-LR4 ve 25GBASE-LR uyumluluğu bildiriyor, ve bazı platformlar varsayılan lane modunu config'e yazdığından değil, bu alandan seçiyor.
Farklı üreticiler, aynı desen. Aylarca ayakta kalmış, sonra bir anda gelmeyi bırakmış bir MikroTik CCR2216 ile Arista arasında QSFP28 SR4 optikler üzerinden 100G bir linkim vardı. RouterOS o aralıkta 7.8'den 7.12.1'e geçmişti. Her iki uç da zorlanmıştı: CCR'de auto-negotiation=no, fec-mode=fec91, MTU 9000 ve 100G-baseSR4-LR4; Arista'da reed-solomon hata düzeltmeli 100gfull. Optikleri değiştirmek hiçbir şeyi değiştirmedi, dört lane'in tamamında alınan güç sağlıklıydı, ve portu 4x25G'ye bölmek bana sadece flapping lane'ler verdi.
Orada da hiçbir zaman cevabı bulamadım, ama desen seninkiyle aynı: optikler masum ve bir tarafın port sürücüsü sen fark etmeden değişmiş. Bir master snapshot üzerindeysen, ilk oynatacağım değişken o olurdu.
Son adıma dikkat et. FEC'i none'a ayarlamak ve çıktıda
nonegörmek, portun RS FEC olmadan çalıştığının kanıtı değil. Bu platformlardan birçoğunda değer config veritabanına düşüyor ve CLI onu mutlulukla geri yazdırıyor, serdes ise port gerçekten yeniden oluşturulana kadar programlandığı modu koruyor. 400G destekli bir cage'de hız değişikliği zaten onu yeniden oluşturuyor, yani iki ayar birbirini etkiliyor ve sıra önemli.Lane profili için de aynı uyarı geçerli: breakout destekli bir cage'de bu, yalnızca
sudo config interface speed'ten değil, platform port yapılandırmasından geliyor. Profil hiç yeniden üretilmediyse, iki denemen de muhtemelen aynı alttaki lane haritası üzerinde çalışmış olabilir, bu da PAM4 ile NRZ'nin neden aynı göründüğünü açıklar. Değişiklikten sonra cihazı reload et ve soğuk başlangıçtan kontrol et.Hepsini uyguladım. Port 4 lane NRZ olarak yeniden oluşturuldu, bizim tarafta FEC none, autoneg kapalı, config kaydedildi, tam reload, soğuk başlangıçtan tekrar kontrol edildi. CFP2 çifti hâlâ down. Fortigate'te RS FEC gerçekten açığa çıkmıyor, yani o taraftan eşleşen bir uyumsuzluk bile yaratamıyoruz.
Bu arada aynı cage'deki aynı INNOLIGHT TR-FC13R-N00, bir Arista QSFP28 portuna karşı saniyeler içinde link veriyor, yani modüller ve fiber temiz kalmaya devam ediyor.
Tam teknik dump'ı eklemek istedim ama burada boyut sınırının üzerinde. Şimdilik dört port down kalıyor ve firewall uplink'leri başka bir cihaza taşındı. Bu platformda gerçekten 100G'yi bir CFP2'ye konuşturan 400G portu olan varsa, hangi profille sonuçlandığını bilmek isterim.