Dell DD9900 trong cặp HA không nhận SFP ở ethMa: State UP, link status NO, Cannot get module EEPROM information
Tôi quản lý hệ thống lưu trữ dự phòng trong trung tâm dữ liệu. Cặp DD9900 chạy HA, các cổng mạng nằm trên NDC QLogic. Sau mỗi lần khởi động lại hoặc lắp lại module, cổng ethMa không còn nhận ra transceiver nữa, và đây không còn là sự cố một lần mà là kiểu lặp lại ổn định.
- Dell DD9900, DD OS 7.2.0.95, cấu hình HA
- NDC QLogic QL41164HMCU 4x10GbE (Dell 0XVVY1)
- Module ABCU-5710RZ-CS4B, FCLF-8521-3-HP, FTLX8571D3BCL-FC, AFBR-703ASDZ - nhận được cả đồng lẫn quang
Trong hệ thống thấy:
State UP
link status NO
Transceiver is unplugged
Cannot get module EEPROM informationethtool -m trên cổng này không trả về gì cả.
Những gì đã thử:
- đổi module qua lại giữa các cổng và đổi dây nhảy quang - vấn đề đi theo cổng, không đi theo module
- chuyển link sang switch khác và sang cổng khác của switch
- thay hẳn NDC sang cái mới, sau một thời gian lại gặp đúng y hệt
Trong khi đó cổng vẫn báo UP, tức hệ thống coi như mọi thứ bình thường và không bật cảnh báo gì cả. Vậy nên tìm tiếp ở đâu - driver, DD OS, hay vẫn là phần cứng?
Show original (Русский)
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
Vì trên hệ thống đơn không tái hiện được, còn trên HA thì ổn định lặp lại, nên có thể bỏ qua phần cứng. Đây là lỗi driver QLogic, nó lộ ra đúng ở cấu hình HA trên DD OS 7.2. Từ đó ra cả bức tranh: cổng báo UP, không có link, còn trong log là Transceiver is unplugged và Cannot get module EEPROM information. Driver đơn giản là không chạm được tới EEPROM của module, và module là đồng hay quang thì nó cũng chẳng quan tâm - vì vậy đổi module, đổi dây, đổi cổng switch và cả thay NDC đều không ăn thua.
Cách chữa là nâng DD OS lên tối thiểu 7.10.1, ở đó có bundle firmware và driver mới hơn, sau đó triệu chứng biến mất. Trong lúc chưa chốt được cửa sổ nâng cấp:
Lưu ý về support: trước khi nâng cấp hãy đối chiếu với vendor theo ma trận tương thích đúng cho cấu hình HA của bạn, 7.10.1 chỉ là mức sàn, không phải khuyến nghị dừng lại đúng ở đó. Và về lâu dài: ở các DD đời mới hơn NDC này đã được thay bằng Intel X710, nên khi nâng cấp dàn máy thì vấn đề này tự hết.
Ba câu hỏi để thu hẹp phạm vi. Thứ nhất: trên hệ thống đơn có bắt được lỗi này không hay chỉ trên cặp HA? Cái này quan trọng vì HA thay đổi cách interface lên và chuyển sang node khác, và phân nửa các case kiểu này nằm đúng ở đó.
Thứ hai: trên card này chỉ toàn module SFP hay ở cổng bên cạnh có cắm DAC? QLogic trong tài liệu cấm thẳng việc để DAC và SFP chung một card, và hậu quả đúng kiểu này - một số cổng ngừng đọc được EEPROM.
Thứ ba:
ethtool -mtrên các cổng bên cạnh cùng card có chạy bình thường không hay cũng im luôn?Đã dựng dàn test và chạy thử. Trên hệ thống đơn với cùng module và cùng DD OS 7.2 thì không tái hiện được, dù rút cắm module hay khởi động lại bao nhiêu lần cũng vậy. Chỉ bắt được trên cặp HA, và có vẻ đây chính là chìa khóa.
DAC và SFP không bị lẫn chung một card, cả bốn cổng đều dùng module cùng loại.
ethtool -mtrên các cổng bên cạnh đọc bình thường, EEPROM trả về đầy đủ, còn trên ethMa thì đúng là Cannot get module EEPROM information, cho tới khi cổng tự lên lại sau một lần khởi động lại nào đó.Đồng ý với chuyện "bỏ QLogic mà đi". Có một card QLogic 8262 (dòng 8200) trong FreeNAS 11.3-U5 trên HP MicroServer Gen10: cả hai PCI function đều hiện ra, nhưng chỉ ql0 hoạt động, còn ql1 lên như none2 và không khởi tạo được, tức là nửa card coi như chết.
Trong log mỗi lần boot đều có
0x200000 bytes of rid 0x10 res 3 failedvà tiếp theo làunable to map any ports. Có người khuyên kiểm tra bằngpciconf -lxem có phải đây là HP NC523SFP đổi nhãn hay không, cập nhật firmware adapter và thử chỉnh tunable MSI/MSI-X. Không cái nào ăn thua, cuối cùng đổi card luôn, còn cho lưu trữ thì ở đó khuyên thẳng là dùng Chelsio T520-CR hoặc Intel X520. Nên việc chuyển sang X710 ở các hệ thống mới nhìn cũng hợp lý thôi.