Accton AS9716-32D ở 100G: QSFP28 LR4 INNOLIGHT lên link với Arista nhưng không bao giờ lên với CFP2-LR4 của Fortigate 3810D
Đang bring up một leaf trên một Accton AS9716-32D chạy SONiC master (build master.207726). Bốn trong số các port hỗ trợ 400G phải chạy ở 100G hướng tới một cặp firewall, và không cái nào chịu lên link.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 trong cage switch
- Fortigate 3810D với một CFP2-LR4 ở đầu xa
- port ép về 100G, autoneg off, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downĐã thử:
- port ở 2 lane PAM4 và ở 4 lane NRZ, không khác gì nhau theo cả hai hướng
sudo config interface fec Ethernet0 nonethay vì RS FEC- cùng module INNOLIGHT và cùng sợi quang đó vào một port QSFP28 của Arista, thì link lên ngay lập tức
Vậy là optic và sợi quang đã được loại trừ. Có gì đó trong cách port 400G này được drive ở 100G, hoặc trong những gì phía CFP2 mong đợi trên các lane, khiến nó cứ tối. Có ai từng có một cage 400G trên platform này nói chuyện 100G với một CFP2-LR4 chưa, và port profile trông như thế nào?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Hai câu hỏi trước khi ai đó bắt đầu tính toán lane. Phía Fortigate báo gì, CFP2 có thấy ánh sáng nhưng vẫn down, hay nó không nhận diện được module chút nào? Và FEC nào đang được cấu hình trên port của 3810D?
Trên một cặp LR4, RS FEC bật ở đúng một đầu là đủ để giữ link down mãi mãi, và port CFP2-LR4 thường thì ngay từ đầu chẳng có RS FEC nào để mà bật.
Fortigate báo interface down và chẳng có gì hữu ích trong counter. Module được nhận diện ở đó, và port đó từng mang một link 100G tới hộp khác trước khi bọn mình đụng vào gì cả. Không tìm được setting FEC nào ở phía đó, cả lộ ra lẫn ẩn.
Ở phía mình thì RS FEC tắt sạch sẽ: sau
sudo config interface fec Ethernet0 nonecột FEC đọc lànone, port bounce rồi quay lại đúng kiểu admin up, oper down y hệt như cũ. Nên chỉ tắt RS FEC ở phía switch thôi thì chẳng mua được gì cả.Hai profile bạn đã thử không tương đương nhau, và một trong hai không thể chạy được xét về mặt cấu trúc. CFP2-LR4 là một interface NRZ bốn lane: bốn lane điện 25G về phía host, bốn bước sóng trên sợi quang. Nếu port profile của bạn đặt cage ở 2 lane PAM4, switch đang drive 2x50G vào một peer phải đưa bốn lane NRZ ra phía line của nó, và chẳng có gì train được bất kể setting FEC là gì. Profile khả dĩ duy nhất cho cặp thiết bị này là 4 lane NRZ.
Với chỗ đó đã cố định, biến số còn lại là FEC. 100GBASE-LR4 không mang RS FEC, và một port CFP2-LR4 thường không có cách nào để bật nó lên, khớp với những gì bạn tìm thấy trên Fortigate. Nếu phía bạn vẫn còn
rstrên port đó, một mình điều đó đã đủ giải thích một link tối vĩnh viễn.Vậy: NRZ 4 lane, autoneg off,
sudo config interface fec Ethernet0 none, bounce port, rồi đọc lạishow interfaces statusđể kiểm tra cả hai setting có thực sự dính hay không.Thêm góc nhìn chuẩn hóa hơi khô khan vào đây. Không có gì thương lượng FEC ở đây cả, đó là một thuộc tính tĩnh của cả hai đầu và phải khớp trên mọi lane của link. Hướng dẫn của vendor cho 100G channelised nói đúng điều đó trong một câu: khi một port 100G bị chia thành các lane 25G, cả hai đầu của mỗi lane phải chạy cùng một FEC mode, nếu không các lane sẽ không bao giờ train.
Cũng đáng dump ra xem EEPROM của TR-FC13R-N00 thực sự khai báo gì. Mấy module này báo tuân thủ 100GBASE-LR4 và 25GBASE-LR, và một số platform chọn lane mode mặc định từ chính field đó thay vì từ những gì bạn gõ vào config.
Vendor khác nhau, cùng một hình dạng. Từng có một link 100G giữa một MikroTik CCR2216 và một Arista qua optic QSFP28 SR4, chạy ổn hàng tháng trời rồi đơn giản là ngừng lên. RouterOS đã đi từ 7.8 lên 7.12.1 trong khoảng thời gian đó. Cả hai đầu đều ép cứng: auto-negotiation=no, fec-mode=fec91, MTU 9000 và 100G-baseSR4-LR4 trên CCR, 100gfull với reed-solomon error correction trên Arista. Đổi optic khác không thay đổi gì, công suất thu trên cả bốn lane đều tốt, và tách port thành 4x25G chỉ cho ra các lane flapping.
Cũng chưa bao giờ tìm ra câu trả lời ở đó, nhưng pattern giống hệt của bạn: optic vô tội và port driver của một bên đã đổi ngay dưới chân mình. Nếu bạn đang ngồi trên một snapshot master, đó là biến số đầu tiên tôi sẽ đổi thử.
Cẩn thận với bước cuối. Set FEC về none và thấy
nonetrong output không phải bằng chứng rằng port đang chạy không có RS FEC. Trên vài platform loại này, giá trị đó nằm trong config database và CLI cứ in nó ra vui vẻ, trong khi serdes vẫn giữ mode đã được lập trình cho tới khi port thực sự được re-create. Một lần đổi speed trên cage hỗ trợ 400G thì đằng nào cũng re-create nó, nên hai nút này tương tác với nhau và thứ tự có ý nghĩa.Cùng một lưu ý cho lane profile: trên một cage hỗ trợ breakout, nó tới từ cấu hình port của platform, không phải chỉ từ
sudo config interface speed. Nếu profile chưa bao giờ được regenerate, cả hai lần thử của bạn rất có thể đã chạy trên cùng một lane map bên dưới, giải thích vì sao PAM4 và NRZ trông giống hệt nhau. Reload lại hộp máy sau khi đổi và kiểm tra từ một cold start.Đã làm hết mọi bước. Port được re-create thành 4 lane NRZ, FEC none ở phía mình, autoneg off, lưu config, reload toàn bộ, kiểm tra lại từ cold start. Cặp CFP2 vẫn down. RS FEC trên Fortigate thực sự không được expose ra, nên thậm chí không tạo được một mismatch tương ứng từ phía đó.
Trong khi đó cùng một INNOLIGHT TR-FC13R-N00 trong cùng cage lên link với một port QSFP28 của Arista chỉ trong vài giây, nên module và sợi quang vẫn được loại trừ.
Muốn đính kèm bản dump kỹ thuật đầy đủ nhưng vượt giới hạn dung lượng ở đây. Hiện tại bốn port vẫn down và uplink firewall đã chuyển sang hộp khác. Nếu ai có một port 400G trên platform này thực sự chạy 100G vào một CFP2, rất muốn biết bạn đã chốt với profile nào.