호스트를 ESXi 8.0 U3로 올렸더니 Emulex SN30L22004 mezz HBA가 스토리지 어댑터 목록에서 사라짐
블레이드 섀시의 호스트 하나를 ESXi 8.0 U3로 올렸더니 Fibre Channel이 통째로 사라졌습니다. 데이터스토어도 없어지고, 어댑터는 스토리지 어댑터 목록에 안 보이고, 해당 포트로는 패브릭 쪽 로그인도 전혀 안 됩니다. 클러스터 나머지는 손 안 댔고 그대로 같은 LUN이 보입니다.
- Emulex SN30L22004 Mezz 16Gb 2포트 Fibre Channel 어댑터 두 장 꽂힌 블레이드 호스트
- ESXi 7.0 U3에서 8.0 U3로 업그레이드, 하드웨어 변경 없음
- 16G SFP+ 옵틱, 패치코드 그대로, 두 포트 다 영향받음
[root@host:~] esxcli storage core adapter list
-> no vmhba entries for the FC ports, only the onboard storage controller
[root@host:~] lspci -v | grep -i emulex
-> both mezzanine ports are listed on the PCI bus
해본 것:
- 메자닌 카드 재장착, 한쪽 포트 옵틱 교체
- 스토리지 어댑터 재스캔, 재부팅 두 번
- 패브릭 스위치 확인, 포트가 아예 올라오질 않음
카드는 분명히 PCI 버스에 잡히는데, 이게 업그레이드랑 우연히 겹친 옵틱이나 카드 고장인가요, 아니면 ESXi 쪽 문제인가요? 티켓 열기 전에 둘 중 뭘 쫓아야 할지 알고 싶습니다.
Comments 3
둘 다 아닙니다.
lspci에는 장치가 보이는데esxcli storage core adapter list에는 아무것도 안 뜨는 건 어떤 드라이버도 그 장치를 잡지 못했다는 신호입니다. 옵틱은 이 증상이랑 상관없어요. 드라이버가 안 잡은 어댑터는 애초에 트랜시버를 구동하지도 않으니까, 패브릭이 조용한 건 결과지 원인이 아닙니다.원인은 카드가 아니라 드라이버입니다. 이 어댑터는 ESXi 8.0용 인증 드라이버가 없습니다. 7.0 U3까지만 지원됐고 거기서 끊깁니다. 호스트에 뭘 깔아도 8.0에서는 다시 안 살아납니다.
단기, 장기 두 단계로 나뉩니다.
그리고 이걸 ESXi 메이저 업그레이드 때마다 하는 사전 점검으로 삼으세요. 모든 스토리지 어댑터를 호환성 가이드에 대조해보고 나서 작업 창을 잡는 겁니다. 카드가 조용히 목록에서 빠지면 호스트는 광케이블이 끊어진 것과 똑같이 행동합니다. 어댑터도 없고, 데이터스토어도 없고, 패브릭 로그인도 없죠. 그런데 사람들은 그 생각을 하기까지 며칠을 옵틱이랑 케이블에 쏟아붓습니다.
제 상황이랑 똑같네요.
lspci -v | grep -i emulex에는 두 포트 다 뜨는데 스토리지 어댑터 목록은 텅 비어서, 옵틱은 더 안 건드렸습니다.해당 호스트를 7.0 U3로 롤백했더니 SN30L22004 두 장 다 스토리지 어댑터로 돌아왔고, 첫 재스캔에 데이터스토어도 마운트됐습니다. 패브릭 쪽은 아무것도 안 바꿨고요. 지금은 8.0에 올라 있는 교체 어댑터 견적 받는 중이고, 그게 도착할 때까지 클러스터 나머지는 7.0 U3로 유지합니다. HCL 5분만 확인했으면 될 걸 비싸게 배웠네요.
한 단계 더 내려가면 옵틱에서도 똑같은 함정이 있습니다. Cisco UCS C 시리즈에 꽂힌 Emulex mezz 카드는 전원 켤 때 모듈을 확인하고, 마음에 안 들면 BIOS 화면에
Unsupported Optic Installed를 띄웁니다. Cisco가 인정하는 목록은 이렇습니다. LPe31002-M6(UCSC-PCIE-BD16GF)는 16G AFBR-57F5MZ-ELX 또는 FTLF8529P3BCV-EM, LPe32002-M2(UCSC-PCIE-BD32GF)는 32G AFBR-57G5MZ-ELX 또는 FTLF8532P4BCV-EM. 뒤에 붙는 글자들은 장식이 아니라 EEPROM이 Emulex가 원하는 방식으로 기록됐다는 표시이고, 같은 Finisar나 Avago 유리라도 일반 코딩 버전이면 거부당합니다. 부팅할 때 F2, Advanced 탭, adapter, Scan for Fibre Devices로 들어가면 카드 자신이 뭘 보고 있는지 확인할 수 있습니다.Brocade도 스위치 쪽에 비슷한 목록을 플랫폼별, 파트넘버별로 최소 FOS 버전과 함께 관리합니다. SX6과 7810의 secure optics는 FOS 8.2.1e나 8.2.2c 이상을 요구합니다.