HA 페어의 Dell DD9900이 ethMa에서 SFP를 인식하지 못함: State UP, link status NO, Cannot get module EEPROM information
백업 스토리지를 데이터센터에서 운영하고 있어요. DD9900이 HA로 구성돼 있고, 네트워크 포트는 NDC QLogic이에요. 재부팅하거나 모듈을 다시 꽂을 때마다 ethMa 포트가 트랜시버를 인식하지 못하는데, 이제는 한두 번이 아니라 계속 똑같이 재현되는 증상이에요.
- Dell DD9900, DD OS 7.2.0.95, HA 구성
- NDC QLogic QL41164HMCU 4x10GbE (Dell 0XVVY1)
- 모듈 ABCU-5710RZ-CS4B, FCLF-8521-3-HP, FTLX8571D3BCL-FC, AFBR-703ASDZ - 구리 모듈이든 광 모듈이든 다 물려봤어요
시스템에서는 이렇게 보여요:
State UP
link status NO
Transceiver is unplugged
Cannot get module EEPROM information이 포트에서 ethtool -m을 돌려도 아무것도 안 나와요.
이미 해본 것들:
- 포트끼리 모듈을 바꿔 꽂아보고 패치코드도 바꿔봤어요 - 문제는 모듈이 아니라 포트를 따라다녀요
- 링크를 다른 스위치로, 스위치의 다른 포트로도 옮겨봤어요
- NDC 자체를 새 걸로 교체했는데, 얼마 지나니 똑같은 증상이 다시 나왔어요
그런데 포트는 계속 UP으로 표시돼서, 시스템은 정상이라고 판단하고 별도 경고도 안 띄워요. 어디를 더 파봐야 할까요 - 드라이버, DD OS, 아니면 역시 하드웨어일까요?
Show original (Русский)
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
단일 시스템에서는 재현이 안 되는데 HA에서는 계속 나온다면, 하드웨어는 용의선상에서 빼도 될 것 같아요. 이건 DD OS 7.2의 HA 구성에서만 튀어나오는 QLogic 드라이버 결함이에요. 그래서 포트는 UP인데 링크는 없고, 로그에는 Transceiver is unplugged와 Cannot get module EEPROM information이 찍히는 거예요. 드라이버가 모듈의 EEPROM까지 아예 접근을 못 하는 거라, 모듈이 구리든 광이든 상관없이 똑같이 나타나요 - 그래서 모듈을 바꾸고 케이블을 바꾸고 스위치 포트를 바꾸고 심지어 NDC를 교체해도 아무 소용이 없었던 거고요.
해결은 DD OS를 최소 7.10.1로 올리는 거예요. 거기에 펌웨어와 드라이버 번들이 업데이트돼 있어서 올리고 나면 증상이 사라져요. 업데이트 일정이 아직 안 잡혔다면:
참고로: 업그레이드 전에 지금 쓰는 HA 구성 그대로 호환성 매트릭스를 벤더 쪽에 확인해보세요. 7.10.1은 최소 기준이지 딱 그 버전을 넣으라는 뜻은 아니에요. 그리고 앞으로 보면, 최신 DD 장비들은 이 NDC 대신 Intel X710으로 넘어가고 있어서 장비를 교체하다 보면 이 문제는 자연스럽게 없어질 거예요.
범위를 좁히려면 세 가지가 궁금해요. 첫째, 단일 시스템에서도 이게 나오나요, 아니면 HA 페어에서만 나오나요? 이게 중요한 이유는 HA가 인터페이스를 올리고 옮기는 방식 자체를 바꾸는데, 비슷한 사례 절반이 딱 거기서 나오거든요.
둘째, 그 카드에는 SFP 모듈만 꽂혀 있나요, 아니면 옆 포트 어딘가에 DAC가 물려 있나요? QLogic 문서에는 같은 카드에 DAC와 SFP를 같이 쓰지 말라고 명시돼 있고, 그럴 때 나오는 증상이 딱 이거예요 - 일부 포트가 EEPROM을 못 읽는 거요.
셋째, 같은 카드의 다른 포트에서는
ethtool -m이 정상적으로 나오나요, 아니면 거기도 먹통인가요?테스트 환경을 꾸려서 돌려봤어요. 같은 모듈과 같은 DD OS 7.2로 단일 시스템에서는 모듈을 아무리 뽑았다 꽂았다, 재부팅을 아무리 해도 전혀 재현이 안 됐어요. HA 페어에서만 나오는 걸 보면, 이게 핵심인 것 같아요.
DAC와 SFP는 같은 카드에 안 섞고, 네 포트 전부 같은 타입 모듈을 꽂았어요. 다른 포트에서는
ethtool -m이 정상적으로 읽히고 EEPROM도 전부 나오는데, ethMa에서만 그 Cannot get module EEPROM information이 나와요. 그러다가 재부팅을 한 번 더 하면 포트가 알아서 살아나고요.'QLogic은 그만'이라는 얘기에 저도 한마디 보탤게요. HP MicroServer Gen10에 FreeNAS 11.3-U5를 올리고 QLogic 8262(8200 시리즈) 카드를 쓴 적이 있는데, PCI 기능 두 개가 다 보이긴 하는데 실제로 동작하는 건 ql0뿐이고 ql1은 none2로 올라오면서 초기화가 안 됐어요. 카드 절반이 그냥 죽어 있는 셈이었죠.
부팅할 때마다 로그에
0x200000 bytes of rid 0x10 res 3 failed가 뜨고 이어서unable to map any ports가 나왔어요.pciconf -l로 확인해서 HP NC523SFP를 리브랜드한 건 아닌지 보라거나, 어댑터 펌웨어를 올려보라거나, MSI/MSI-X 튜너블을 건드려보라는 조언을 들었는데 다 소용없었고, 결국 카드를 교체했어요. 스토리지용으로는 Chelsio T520-CR이나 Intel X520을 쓰라고 대놓고 권장하더라고요. 그러니 신형 시스템에서 X710으로 넘어가는 흐름도 당연해 보여요.