Brocade G720 giữ mọi port 64G SFP-DD ở Module_Invalid dù đã áp license DD PoD
Chúng tôi thừa hưởng một cặp Connectrix DS-7720B (Brocade G720) cho một fabric mới, và tôi còn chưa đụng tới zoning, vì không một port double density nào chịu lên. Tất cả đều báo y hệt nhau trong switchshow:
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)Trong rack có:
- Connectrix DS-7720B / Brocade G720, Fabric OS vẫn ở nhánh 9.0.x như lúc giao hàng
- license Double Density Ports on Demand đã cài và hiện đã được áp dụng
- transceiver 64G FC SFP-DD chính hãng Brocade, part 57-1000505-01
- dây patch factory lấy ra từ cùng hộp với optic
Trước khi ai đó gợi ý điều hiển nhiên: tôi đã reseat từng module và đổi chỗ hai cái giữa các port, lỗi vẫn ở lại với các port chứ không đi theo module. License Double Density Ports on Demand thực sự đã được áp dụng chứ không chỉ mới đặt mua, tôi kiểm tra chuyện đó hai lần rồi. Đã đổi dây patch, lau sạch đầu connector, không khác gì cả. Các port bình thường trên cùng chassis vẫn chạy traffic tốt, nên đây không phải một con switch chết.
Chúng tôi bị dính một lô optic double density hỏng, hay switch đang gạt bỏ chúng trước khi thực sự nhìn kỹ xem cái gì đang nằm trong cage?
Comments 6
Optic của bạn ổn. Firmware của bạn mới là vấn đề.
64G FC SFP-DD trên một G720 được hỗ trợ từ Fabric OS 9.1.0 trở lên. Trên 9.0.x thì firmware hoàn toàn không có khái niệm gì về form factor đó, nên nó không thể nhận diện được cái gì đang nằm trong cage và quay về khai báo là không tương thích - đó chính xác là Module_Invalid kèm Speed Mismatch / Incompatible SFP mà bạn thấy trên mọi port double density. Kết quả thử nghiệm trên bàn của bạn cũng nói lên điều tương tự, nhìn từ hướng ngược lại: một optic bình thường sáng đèn ngay trong chính cái port đang từ chối module dd, và chassis thứ hai cũng hành xử y hệt vì nó chạy đúng firmware giống vậy.
Con hàng bạn đang có, 57-1000505-01, có nằm trong Brocade Transceiver Support Matrix, và cái matrix đó chính là nơi ghi lại firmware tối thiểu cho từng nền tảng. Với G720 thì mục đó bắt đầu từ 9.1.0. Lên 9.1.0 trở lên là các port đó sẽ lên với đúng optic đang cắm sẵn trong đó.
Cái blade còn nằm trong hộp cũng là câu chuyện tương tự. Mỗi nền tảng Gen 7 đều có ngưỡng riêng trong matrix - trong đó có G730 (DS-7730B), 7850 (MP-7850B) và FC64-64 - nên hãy tra từng cái trước khi chuyển optic double density sang đó, nếu không bạn sẽ mất thêm một buổi chiều nữa với cái máy tiếp theo.
Dù làm gì khác thì cũng đừng gửi trả module lại.
Khoan hẵng làm giấy tờ RMA, vì nhìn từ đây thì đây không giống một lô optic chết hàng loạt. Module_Invalid với dd đã hiện sẵn trong cột media nghĩa là switch đã lấy được thứ gì đó ra khỏi cage và không thích cái nó đọc được. Một module thực sự chết thường không đi xa đến vậy - bạn sẽ thấy trạng thái no-module thay vì thế.
Ba điều sau sẽ thu hẹp phạm vi lại mà không tốn của bạn đồng nào:
Và tạm gạt license ra khỏi suy nghĩ của bạn lúc này. Ports on Demand mở khóa port; nó không dạy cho firmware biết về một form factor mà nó chưa từng gặp.
Gợi ý mượn optic hay đấy. Tôi rút một module Brocade đang chạy tốt từ một port bình thường ra, cắm vào port 48, và nó lên ngay lập tức thành một F-Port. Cắm lại một 64G SFP-DD vào đúng port đó thì lại Module_Invalid trong vòng một hai giây. Vậy là cage vẫn sống, license đang làm đúng việc của nó và bản thân port cũng ổn - chỉ có các module double density là switch không chịu nhận.
Cả hai switch, đúng vậy. Con DS-7720B thứ hai thì phần lớn vẫn còn nằm trong thùng, nhưng tôi đã cắm hai module dd vào nó trên bàn và nhận lại đúng dòng báo lỗi y hệt, nên không phải chỉ một chassis bị lỗi.
Gen 7 ở nơi khác: chưa có gì đang chạy production, nhưng có một blade FC64-64 nằm trong hộp đang chờ một slot director, và nó được mua chính là để dùng với loại optic này. Nếu nó cũng dính chuyện tương tự ở đó, tôi thà biết ngay bây giờ còn hơn là trong lúc đang migration.
Vendor khác nhưng cùng kiểu bẫy. Đăng lên đây phòng khi nó tiết kiệm cho ai đó một buổi chiều rút module ra khỏi cage.
Dell S5248F-ON, build SONiC master. Không một port SFP28 nào chạy. Mọi đèn LED port đều sáng đều, và show interface transceiver presence liệt kê không có transceiver nào hết, trong khi optic trong cage hoàn toàn khỏe mạnh.
Không có gì liên quan đến quang cả. Container platform monitor bị down: pmon không chạy, và pcied, xcvrd, psud cũng vậy. xcvrd là process nói chuyện I2C với module, nên khi nó chết thì chẳng ai đọc EEPROM cả, và CLI thành thật báo đúng những gì nó biết, tức là không gì cả. docker ps và show system-health detail đã kể cho tôi toàn bộ câu chuyện trong khoảng một phút - sau khi tôi đã tốn nửa ngày đổi qua đổi lại module.
Cùng một họ vấn đề trên một Z9264F, nơi hàm khởi tạo Sfp của platform plugin sập với AttributeError: 'Sfp' object has no attribute 'port_type' và kéo luôn determine-reboot-cause.service chết theo lúc boot. Khi cả một lớp port cư xử sai theo đúng cùng một kiểu, optic gần như không bao giờ là thứ đáng nghi đầu tiên.
Nửa còn lại của chuyện này thì không có gì hào nhoáng, nhưng đó mới là chỗ thời gian thực sự bị ngốn. Một lần nâng Fabric OS trên một switch chưa có gì phía sau nó vẫn là một change window, chứ không phải việc làm giữa hai cuộc họp, nên hãy tính trước xem còn gì khác trong fabric phải di chuyển cùng nó và đặt lịch outage cho đàng hoàng.
Vì con FC64-64 đó vẫn còn trong hộp: đưa nó lên 9.1.0 trở lên trước khi nó nhìn thấy bất kỳ optic double density nào. Nếu không bạn sẽ lặp lại đúng cái thread này trên một director thay vì một edge switch, với đầy đủ khán giả.
Thêm một điều thực tế nữa. Liên hệ nhà cung cấp trước khi họ ghi nhận RMA. Mấy con module đó tự nhận diện bản thân hoàn toàn tốt, chỉ là host chưa có mục nào trong bảng cho chúng thôi. Nếu nhà cung cấp nhận lại chúng như hàng lỗi, bạn sẽ chờ ba tuần để có lô thay thế mà hành xử y hệt như vậy, rồi vẫn phải làm upgrade thôi.
Đã xác nhận, và đúng là do firmware.
Cả hai switch đã lên 9.1.0 trong window cuối tuần, và ngay khi reboot, mọi port double density đều thoát khỏi Module_Invalid và lên online ở 64G với đúng những optic 57-1000505-01 đã nằm sẵn trong đó suốt từ đầu. Không reseat gì, không thay gì, không đi lại dây gì cả.
Hóa ra license chỉ là thứ đánh lạc hướng tôi bấy lâu - đã được áp dụng đúng ngay từ đầu, chỉ là nó không làm được gì hữu ích trên 9.0.x. Con blade sẽ lên 9.1.0 trước khi đến gần bất kỳ slot director nào, và tôi đã ghi điều đó lên chính cái hộp nó đang nằm trong. Việc này giúp chúng tôi tránh được một lần RMA và một cuộc trò chuyện khá khó xử với nhà cung cấp.