Transceiver nào vẫn lên link trên Aruba 8360-32Y4C khi interface group bị ép về 50g
Đang dựng một cặp 8360-32Y4C làm leaf, và kế hoạch downlink cố tình trộn lẫn: chủ yếu 25G xuống server, vài cổng 50G sang compute chassis, và vài đường đồng chậm cho thiết bị OOB. Vì downlink SFP56 được gom theo group và tốc độ set theo từng group, mình muốn hiểu rõ setting của group thực sự cấm những gì trước khi chốt port map.
- Aruba 8360-32Y4C, AOS-CX 10.15
- module SFP56 50G trong group mình set 50g
- DAC SFP+ 10G và DAC SFP28 25G ở các cổng khác cùng group
- SFP J9054D 100 Mbps dự định dùng cho hai đường OOB
Với group bị ép về 50g, các module chậm hơn không bao giờ lên:
8360(config)# system interface-group 4 speed 50g
8360# show interface transceiver
1/1/13 SFP56 50G up
1/1/14 SFP+ 10G DAC Waiting for link
1/1/15 SFP28 25G DAC Waiting for linkĐã thử những gì:
- cắm lại cả hai DAC và chuyển sang cổng khác trong cùng group
- kiểm tra đầu bên kia đã cấu hình đúng tốc độ gốc của nó
- xác nhận cùng những DAC này lên link trên switch khác có group để nguyên ở 25g
Vậy: trong group set 50g, có đúng là chỉ module SFP56 50G mới lên link? Group 25g có nhận mọi thứ chậm hơn không, và điều đó có đúng với group set 10g không? Và tài liệu transceiver liệt kê SFP J9054D 100 Mbps cho cổng 5-32 - có ai từng chạy thật một cái ở đó chưa?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 6
Tốc độ của group không phải nhãn trang trí, nó là tập tốc độ mà các cổng trong group đó được phép chạy. Với group ở 50g, thứ duy nhất lên link là module SFP56 50G; module 10G hay 25G trong group đó không phải tốc độ được chấp nhận nên vẫn down, đúng như những gì bạn thấy.
Group ở 25g là setting dễ tính - 25G và mọi thứ chậm hơn đều lên link được, nên một dãy trộn DAC 25G, DAC 10G cộng thêm đồng là cấu hình hoàn toàn bình thường:
Hai lưu ý trước khi bạn chốt port map. Cổng 1/1/1 đến 1/1/4 là các cổng hỗ trợ MACsec và chúng chơi theo luật riêng, nên lên kế hoạch cho chúng tách biệt và test bằng đúng module định dùng. Còn về group 10g hay J9054D ở 100 Mbps thì mình không dám hứa gì cả - mình chưa từng cắm nó vào cổng thuộc group nào và hỏi mấy người khác cũng chưa ai xác nhận. Với đầu chậm thì các range theo từng cổng trong tài liệu transceiver chính thức của 8360 vẫn là chuẩn để tra. Nếu cần 100M cho cổng 5-32 phục vụ OOB, mua một module rồi thử trên bàn trước khi đặt mười sáu cái.
Có hai thứ quyết định chuyện này và bài của bạn thiếu cả hai. Group gồm những cổng nào - có cổng nào trong số 1/1/1 đến 1/1/4 không? Bốn cổng đó là cổng hỗ trợ MACsec trên 32Y4C và không theo luật giống 5-32, nên test ở đó chẳng nói lên gì về phần còn lại của máy.
Và đăng
show interface transceivervới group ở 25g thay vì 50g. Nếu DAC 10G và 25G lên link ở đó thì module và đầu bên kia đều ổn, bạn chỉ đang cãi nhau với tốc độ của group thôi.Group 4 là các cổng 1/1/13 đến 1/1/16, nên không dính gì đến range 1-4 - mấy cổng đó vẫn đang trống.
Mình chuyển SFP56 sang group khác vẫn để 50g (nó lên link ở đó) và hạ group 4 xuống 25g. Bức tranh đổi ngay lập tức:
Vậy nên module, DAC và cáp không phải vấn đề. Chỉ là tốc độ group, không gì khác.
Nói thêm cho rõ, group 25g đúng là dễ tính đến vậy thật. 8360 trong lab của mình có một group ở 25g, hiện đang chạy cùng lúc một DAC 10G, một module đồng 1G-BT và một DAC 25G, cộng thêm DAC 40G và 100G trên các cổng QSFP. Không cái nào làm ảnh hưởng đến setting của group cả.
Không liên quan lắm nhưng đáng biết khi bạn đang dựng mấy thứ này: bọn mình mất hai ngày với link 8325-32C sang 8360-32Y4C dùng DAC 40G X242 (JH234A) mà nhất định không lên. Phía 8325 báo
Module interface error, phía 8360 thì nằm ởWaiting for link, cả hai đều trên GL.10.07.0020. Hóa ra là lỗi phần mềm chứ không phải cáp - boot 8325 từ image phụ 10.06.0110 thì link lên ngay, và 10.07.0021 sửa dứt điểm. Bên 8360 không cần đổi gì cả. Nên nếu một module đáng lẽ được hỗ trợ mà báo lỗi module thay vì chỉ đơn giản là không lên link, hãy xem lại bản release trước khi đổ lỗi cho con quang.Đáng ghi nhớ hình dạng chung của chuyện này, vì nó không phải tật riêng của Aruba. Tập tốc độ được enable trên cổng chặn module lại, và mấy con này hiếm khi tự fallback.
Cùng câu chuyện trên Spectrum: trên SN2100 hay SN2700 chạy Onyx 3.10.4100, một DAC 10G sau QSA Amphenol (624380003) đọc qua I2C bình thường nhưng không bao giờ lên link khi cổng vẫn chỉ để 100G.
mlxlink -d /dev/mst/mt52100_pci_cr0 -p 15 -mnói rõ hết -State: Disable,Enabled Link Speed 0x00b00000,Supported Cable Speed 0x00001001, khuyến nghịCable speed not enabled. Đưa 10G vào tập tốc độ enable thì cổng LinkUp ở 10GbE ngay.Còn trên UCS 6248, một con GLC-SX-MMD chính hãng bị gắn cờ
SFP Validation Failedchỉ vì unified port vẫn đang ở mặc định 10 Gbps; chọn 1 Gbps trên cổng thì module được chấp nhận làm uplink. Vendor khác nhau, nhưng câu hỏi lúc nào cũng như nhau: cổng có cho phép tốc độ mà module nói hay không.Chốt lại phần mình tự xác nhận được trên phần cứng của mình. Group ở 50g chỉ nhận module SFP56 50G và không gì khác; group ở 25g chạy song song DAC 25G và 10G không kêu ca gì. Vậy là phần lớn port map đã xong, server và compute chassis ổn, còn range 1-4 vẫn đứng ngoài kế hoạch cho đến khi mình test đàng hoàng được.
Vẫn còn để ngỏ: mình chưa thử group ở 10g, và cũng chưa nhận được câu trả lời rõ ràng nào về J9054D ở 100 Mbps trên cổng 5-32. Một module đang được đặt hàng và nó sẽ lên bàn thử trước tiên. Đến lúc đó các đường OOB vẫn nằm trên group 25g với đồng, và tài liệu transceiver là thứ mình trích dẫn cho change board về các range theo từng cổng.