Accton AS9716-32D 100G पर: INNOLIGHT QSFP28 LR4, Arista से link करता है पर Fortigate 3810D के CFP2-LR4 से कभी नहीं
हम SONiC master (build master.207726) चला रहे एक Accton AS9716-32D पर एक leaf bring up कर रहे हैं। 400G-capable ports में से चार को एक firewall pair की तरफ 100G पर चलना है, और इनमें से एक भी link नहीं करता।
- Accton AS9716-32D, SONiC master.207726
- switch cage में INNOLIGHT TR-FC13R-N00 QSFP28 LR4
- दूर वाले सिरे पर एक CFP2-LR4 के साथ Fortigate 3810D
- ports 100G पर forced, autoneg off, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downजो try किया:
- port को PAM4 के साथ 2 lanes की तरह और NRZ के साथ 4 lanes की तरह, दोनों दिशाओं में कोई फ़र्क नहीं
- RS FEC के बजाय
sudo config interface fec Ethernet0 none - वही INNOLIGHT modules और वही fibre एक Arista QSFP28 port के सामने, जहां link तुरंत आ जाता है
तो optics और fibre clear हैं। इस 400G port को 100G पर कैसे drive किया जा रहा है, या CFP2 side lanes पर क्या expect करता है, इसमें कुछ है जो इसे dark रखता है। क्या किसी के पास इस platform पर एक 400G cage है जो CFP2-LR4 से 100G बोलता हो, और port profile कैसा दिखता था?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
कोई lane arithmetic पर शुरू करे उससे पहले दो सवाल। Fortigate अपनी तरफ क्या कहता है, क्या CFP2 को light दिखती है और वह down रहता है, या module register ही नहीं करता? और 3810D port पर कौन सा FEC configured है?
एक LR4 pair पर, सिर्फ एक सिरे पर enabled RS FEC link को हमेशा के लिए down रखने के लिए काफी है, और CFP2-LR4 ports पर आमतौर पर पहले तो RS FEC on करने के लिए होता ही नहीं।
Fortigate interface को down दिखाता है और counters में कुछ काम का नहीं। वहां module recognised है और हमने कुछ भी छूने से पहले वह port एक दूसरे box से 100G link ले जा रहा था। मुझे उस side पर कोई FEC setting मिलती ही नहीं, exposed हो या hidden।
हमारी तरफ RS FEC साफ-साफ off हो जाता है:
sudo config interface fec Ethernet0 noneके बाद FEC columnnoneपढ़ता है, port bounce करता है और ठीक उसी तरह admin up, oper down पर वापस आ जाता है। तो switch पर अकेले RS FEC हटाने से हमें कुछ नहीं मिलता।जो दो profiles आपने try किए वे equivalent नहीं हैं, और उनमें से एक construction से ही काम नहीं कर सकता। CFP2-LR4 एक four-lane NRZ interface है: host की तरफ चार 25G electrical lanes, fibre पर चार wavelengths। अगर आपका port profile cage को PAM4 की 2 lanes पर रखता है, तो switch एक ऐसे peer में 2x50G drive कर रहा है जिसे अपने line side को चार NRZ lanes देनी होती हैं, और FEC setting चाहे जो हो कुछ भी train नहीं होता। इस pairing में इकलौता candidate profile NRZ की 4 lanes है।
यह ठीक होने के बाद, बचा हुआ variable FEC है। 100GBASE-LR4 RS FEC नहीं ले जाता, और एक CFP2-LR4 port आमतौर पर उसे on करने का कोई रास्ता ही नहीं देता, जो आपको Fortigate पर जो मिला उससे मेल खाता है। अगर आपकी तरफ उस port पर अभी भी
rsहै, तो अकेले यही एक हमेशा के लिए dark link समझाने के लिए काफी है।तो: 4-lane NRZ, autoneg off,
sudo config interface fec Ethernet0 none, port bounce करें, फिर यह जांचने के लिएshow interfaces statusवापस पढ़ें कि दोनों settings असल में लागू हुईं।इसमें standards वाला उबाऊ angle जोड़ रहा हूं। यहां FEC कुछ भी negotiate नहीं होता, यह दोनों ends की static property है और link की हर lane पर match होनी चाहिए। channelised 100G के लिए vendor guidance एक ही वाक्य में यही कहती है: जब एक 100G port 25G lanes में तोड़ा जाता है, तो हर lane के दोनों ends को same FEC mode चलाना होगा वरना lanes कभी train नहीं होंगी।
यह भी देखने लायक है कि TR-FC13R-N00 का EEPROM असल में क्या दावा करता है। ये modules 100GBASE-LR4 और 25GBASE-LR compliance report करते हैं, और कुछ platforms अपना default lane mode config में आपने जो टाइप किया उससे नहीं, उसी field से चुनते हैं।
अलग vendors, वही shape। मेरे पास एक MikroTik CCR2216 और एक Arista के बीच QSFP28 SR4 optics पर एक 100G link था जो महीनों से up था और फिर बस आना बंद हो गया। उस दौरान RouterOS 7.8 से 7.12.1 पर गया था। दोनों ends forced थे: auto-negotiation=no, fec-mode=fec91, MTU 9000 और CCR पर 100G-baseSR4-LR4, Arista पर reed-solomon error correction के साथ 100gfull। optics बदलने से कुछ नहीं बदला, सभी four lanes पर received power healthy था, और port को 4x25G में split करने से बस flapping lanes मिलीं।
वहां भी कभी जवाब नहीं मिला, पर pattern आपके जैसा ही है: optics निर्दोष हैं और एक तरफ का port driver आपके नीचे ही बदल गया। अगर आप master snapshot पर बैठे हैं, तो यही वह पहला variable है जिसे मैं हिलाऊंगा।
आखिरी step में सावधानी रखें। FEC को none set करना और output में
noneदिखना इस बात का proof नहीं कि port बिना RS FEC के चल रहा है। इनमें से कई platforms पर value config database में चली जाती है और CLI उसे खुशी-खुशी वापस print कर देता है, जबकि serdes वही mode रखता है जिसके साथ वह programmed था, जब तक port वाकई फिर से re-create न हो। एक 400G-capable cage पर speed change वैसे भी उसे re-create कर देता है, तो दोनों knobs आपस में interact करते हैं और order मायने रखता है।lane profile के लिए भी वही सावधानी: breakout-capable cage पर यह platform port configuration से आता है, अकेले
sudo config interface speedसे नहीं। अगर profile कभी regenerate ही नहीं हुआ, तो हो सकता है आपकी दोनों कोशिशें एक ही underlying lane map पर चली हों, जो बताता कि PAM4 और NRZ एक जैसे क्यों दिखे। बदलाव के बाद box reload करें और cold start से जांचें।यह सब कर लिया। Port को NRZ की 4 lanes की तरह re-create किया, हमारी तरफ FEC none, autoneg off, config save की, full reload किया, cold start से दोबारा check किया। CFP2 pair अभी भी down है। Fortigate पर RS FEC वाकई exposed नहीं है, तो हम उस सिरे से matching mismatch बना ही नहीं सकते।
इस बीच वही INNOLIGHT TR-FC13R-N00 उसी cage में एक Arista QSFP28 port के सामने कुछ ही seconds में link कर जाता है, तो modules और fibre clear ही रहते हैं।
मैं पूरा technical dump attach करना चाहता था पर यहां वह size limit से ज़्यादा है। फिलहाल चारों ports down हैं और firewall uplinks दूसरे box पर shift कर दिए। अगर किसी के पास इस platform पर कोई 400G port है जो असल में CFP2 में 100G चला रहा हो, तो जानना चाहूंगा कि आपके पास कौन सा profile रहा।