Uplink 100GE Huawei CE6800 tới Profitap XX-3200G không bao giờ lên với optic SR4
Đang thay cặp aggregation cũ của khách hàng bằng thiết bị CloudEngine, và link duy nhất không chịu lên là đường 100GE dẫn vào packet broker của họ. Mọi thứ khác trên switch lắp vào êm re.
- Huawei CloudEngine 6800, cổng 100GE
- module 100GBASE-SR4 QSFP28, hàng Huawei, mỗi đầu một cái
- packet broker Profitap XX-3200G ở đầu bên kia
Cả hai đầu đều thấy module của mình. Switch log không có gì ngoài các mục insert và remove transceiver từ lúc mình cắm lại, không có alarm nào cả, và interface cứ nằm down:
<CE6800> display interface 100GE1/0/1
...
FEC : RS-FEC
Đã thử:
- đổi cả hai module bằng hàng dự phòng và vệ sinh đầu MPO, không đổi gì;
- chuyển link sang một cổng 100GE khác trên switch;
- kiểm tra phía broker, nó nhận diện được module của nó và không báo gì sai.
Vậy là optic được nhận diện ở cả hai đầu, không có gì than phiền, và không có link. Còn gì nữa phải khớp giữa một cổng 100GE CloudEngine và một hộp bên thứ ba trước khi link chịu train?
Comments 3
Đây là lệch FEC. CloudEngine bật RS-FEC mặc định trên các cổng 100GE dùng optic SR4, broker không có cấu hình FEC nên chạy không có nó, và hai đầu không đồng thuận về FEC thì không bao giờ train xong. Không có gì hỏng cả, nên không có gì được log, đó là lý do log chỉ có mấy dòng insert và remove của bạn.
Tắt nó trên switch, trong interface view:
undo fec modecũng làm y hệt vậy. Dòng thứ hai mới là dòng quan trọng. CE cấu hình theo hai giai đoạn, và mộtfec mode nonechưa commit trông hoàn toàn đúng khi bạn đọc lại config trong khi cổng vẫn down y như trước. Mình từng chứng kiến một case của khách hàng kéo dài thêm cả ngày vì lý do đó, ai cũng tin chắc FEC đã bị tắt rồi.Sau khi commit,
display interfacesẽ hiện FEC: NONE và cổng sẽ train.Nếu đầu xa sau này có được cấu hình FEC, cách sửa tốt hơn là bật RS-FEC ở đó và để switch ở mặc định, vì trên 100G bạn thực sự muốn có sửa lỗi. Giữa hai vendor khác nhau, mình sẽ set FEC tường minh ở cả hai phía thay vì tin vào chuyện negotiate.
Phía broker nói gì về FEC, nếu nó có nói gì? Bạn đã tự đăng nửa thú vị rồi đấy: cổng switch đang chạy RS-FEC. Huawei nói rõ là cả hai đầu của một link 100GE phải dùng cùng chế độ FEC, nếu không interface không bao giờ lên, và kiểu lỗi đó trông y hệt của bạn, cả hai module khỏe mạnh, không alarm, không log, cổng down.
Hầu hết packet broker và tap mình từng làm việc cùng không hề lộ ra nút chỉnh FEC nào cả, nghĩa là chúng chạy không có FEC và switch là phía phải nhường. Xác nhận điều đó trước, rồi mới đổi một thứ.
Đáng bổ sung là mặc định của CloudEngine không phải một giá trị duy nhất, nó phụ thuộc vào module. QSFP28-100G-LR4 và QSFP28-100G-LR1 chạy với FEC tắt theo IEEE 802.3, trong khi mọi loại QSFP28 khác mặc định FEC bật. Nên lời khuyên cứ tắt nó đi là sai trên một link LR4, nơi switch đã tắt sẵn rồi và chỗ lệch nằm ở đầu kia.
Hai quy tắc nữa từ cùng chương đó từng bẫy mình:
Nên kiểm tra xem bạn thực sự đang cầm gì bằng
display transceiver interface 100GE1/0/1 verbosetrước khi quyết định đẩy FEC theo hướng nào, và nhớ commit dù theo cách nào đi nữa.