Q+DA0001 40G DAC giữa CRS326-24S+2Q+RM và Huawei S6720: cả hai đầu đều nhận cáp nhưng link không lên
Đang dựng lại aggregation ở một site: CRS326-24S+2Q+RM nhận các cổng SFP+ phía khách hàng và uplink 40G sang Huawei S6720. Đường ngắn trong cùng rack nên dùng DAC passive thay vì quang.
- MikroTik CRS326-24S+2Q+RM, cổng QSFP+ qsfpplus1-1
- Huawei S6720-54C-EI-48S-AC, cổng 40GE thường
- MikroTik Q+DA0001 DAC passive 40G QSFP+
Cả hai thiết bị đều nhận đúng cáp, MikroTik hiện đúng là Q+DA0001 của mình còn Huawei liệt kê cáp đồng 40G trong thông tin cổng. Sau đó thì không có gì xảy ra:
MikroTik: qsfpplus1-1 no-link
Huawei: 40GE... current state : DOWNĐã thử những gì:
- loop cùng một cáp giữa hai cổng QSFP+ của CRS326: lên link ngay
- loop giữa hai cổng 40GE trên Huawei: cũng lên
- đổi đầu cáp, chuyển sang cổng QSFP+ khác, cắm lại toàn bộ
- kiểm tra cả hai bên đều không bị shutdown
Vậy là cáp tốt và mỗi switch tự nó chạy ổn, chỉ riêng cặp khác hãng là không chịu lên. Có ai đã từng đưa Q+DA0001 lên link được giữa CRS326 và S6720 chưa, và phải đổi gì ở bên nào để cổng lên?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
Cặp mặc định-mặc định chính là vấn đề của bạn, cũng như việc tắt cả hai đầu cùng lúc. Cách chạy được ở đây với đúng combo này là bất đối xứng, viết ra nghe có vẻ sai nhưng thực tế là vậy: cổng 40GE trên Huawei tắt auto-negotiation, còn qsfpplus1-1 trên MikroTik vẫn giữ autoneg bật.
Trên Huawei, trong interface:
Trên MikroTik, cứ để nguyên hoặc set tường minh để sau này không ai "sửa lại":
Link 40G lên ngay sau đó trên cặp CRS326-S6720 của mình, và ổn định từ đó tới giờ. Mình không dám gọi đây là fix, đúng hơn là workaround: rõ ràng hai hãng không thống nhất về việc link DAC 40G nên negotiate thế nào, và cấu hình bất đối xứng chỉ là điểm mà cả hai bên cùng chịu. Nên làm trong maintenance window chứ đừng làm trên uplink đang chạy, và nếu không ăn thì kiểm tra xem image Huawei của bạn có cho tắt autoneg trên cổng đó không, vì không phải bản nào cũng hỗ trợ.
40G khác hãng mà cả hai đầu đều nhận cáp nhưng không đầu nào lên link thì gần như luôn quy về việc hai cổng đang cố negotiate cái gì.
Đăng state autoneg của cả hai bên: config cổng 40GE trên Huawei và giá trị auto-negotiation của qsfpplus1-1 trên MikroTik, và nói rõ có đổi cái nào khỏi mặc định chưa. Cũng nói luôn đã thử tắt nó chưa - tắt cả hai đầu cùng lúc, hay chỉ một đầu, vì đó là hai thử nghiệm khác nhau.
Test loop chỉ chứng minh cáp tốt. Nó không nói lên gì về việc hai đầu có đồng ý cùng một kiểu negotiation hay không, mà đó mới là phần đáng quan tâm ở đây.
Cả hai bên đều ở mặc định: auto-negotiation=yes trên qsfpplus1-1 và negotiation auto trên cổng 40GE của Huawei, mình chưa đụng vào config nào ngoài việc bật interface lên. Có thử tắt nó ở cả hai đầu cùng lúc, không thay đổi gì cả; còn kiểu tắt một bên thì chưa từng nghĩ tới.
Link state vẫn no-link trên MikroTik và DOWN trên Huawei, counter không nhúc nhích, nên còn chưa đủ xa để log lỗi ở máy nào.
Cái lưu ý cuối đáng được nói kỹ hơn là một dòng chú thích, vì đó đúng là chỗ mình bị kẹt. Trên S6320-54C-EI, với RouterOS 7.12 ở phía MikroTik, cổng 40G không cho tắt auto-negotiation chút nào, nên chiêu bất đối xứng ở trên không có chỗ để áp dụng.
Triệu chứng thì y hệt: cả hai đầu đều nhận cáp, cổng vẫn down, không có lỗi ở đâu cả. Vậy nên cái workaround ở trên là thật nhưng chỉ đúng với một số nền tảng, còn cái xung khắc gốc giữa hai kiểu triển khai 40G này thì theo mình biết vẫn chưa có lời giải.
Cho ai lạc vào đây mà không thể nào bắt DAC khác hãng chạy được: đến một lúc nào đó, dừng chiến đấu với nó lại rẻ hơn.
Mình từng có Alta Route 10 đấu với CRS309-1G-8S+, Route 10 nhận cả DAC SFP+ của 10Gtek lẫn FS, báo là SFP-H10GB-CU2M, trong khi CRS309 không thấy link partner advertise gì và cặp này chỉ lên link khi ép xuống 1G. Ép 10gbase_r trong /cfg/sfpX.txt không ăn thua, và dù cắm module gì vào cage thì ethtool trên Route 10 vẫn liệt kê các mode baseT. Đổi cả hai đầu sang quang FS SFP-10GSR-85 thì lên link 10G ngay lập tức.
Tốc độ khác, thiết bị khác, nhưng bài học như nhau: khi cáp đã chứng minh là tốt mà hai đầu vẫn không chịu đồng ý với nhau, một cặp module quang tốn ít tiền hơn một tuần nữa ngồi tinh chỉnh.