TrueNAS에서 Solarflare SFN7122F: 카드는 인식되는데 멀쩡한 멀티모드 SFP+ 모듈이 안 켜짐
집에서 스토리지 박스를 만들다가 저렴해서 듀얼 10GbE Solarflare SFN7122F(SFC9120)를 구했습니다. 카드 자체는 멀쩡해 보이고 시스템도 인식하고 두 포트 다 나오는데, 기존에 갖고 있던 멀티모드 SFP+ 모듈은 어느 것도 이 카드에서 링크가 올라오지 않습니다.
- Solarflare SFN7122F, 듀얼 포트, SFC9120 컨트롤러
- NAS에는 TrueNAS SCALE, 원래 계획은 CORE였음
- 다른 NIC에서는 불평 없이 링크가 붙는 10G 멀티모드 SFP+ 모듈들
- 짧은 멀티모드 패치코드, 정상 동작 테스트에 썼던 것과 동일한 것
eth2: <NO-CARRIER,BROADCAST,MULTICAST,UP>
eth3: <NO-CARRIER,BROADCAST,MULTICAST,UP>시도한 것:
- 두 포트, 두 모듈, 네 가지 조합 전부 시도했는데 하나도 링크가 안 붙음
- 똑같은 모듈과 패치코드를 다른 카드로 옮기니 바로 링크가 올라옴
- 페룰이 더러울까 봐 패치코드도 바꿔봄
그러니까 광섬유와 모듈은 문제가 아닙니다. 이 카드가 자기 앞으로 코딩되지 않은 광모듈을 거부하는 건가요, 아니면 드라이버 쪽 문제인가요, 그리고 여기서 CORE가 SCALE과 다르게 동작할까요? 코딩 문제라면, 실제로 사람들이 SFN7122F에서 돌리고 있는 모듈은 어떤 건가요?
Comments 3
드라이버 쪽은 문제가 아닙니다. FreeBSD의 sfxge 드라이버가 Solarflare SFC9000 계열 10GbE 어댑터를 전부 커버하니 SFC9120은 CORE에서도 문제없고, SCALE에서 하드웨어를 인식하는 것도 이미 확인하셨죠. 지금 겪고 계신 건 카드 자체의 트랜시버 검사입니다. Solarflare용으로 코딩된 모듈만 받아들이고 나머지는 조용히 무시하는데, 딱 지금 상황처럼 보입니다. 카드는 멀쩡한데 포트가 절대 안 올라오는 거죠.
사람들이 실제로 여기서 돌리는 부품은 FTLX8571D3BCL-SL과 SFM10G-SR입니다. 주문할 때 대상 카드를 말하면 FS에서도 Solarflare용으로 미리 코딩된 모듈을 공급해 주는데, 오리지널 코딩된 재고를 찾아다니는 것보다는 보통 이쪽이 편합니다.
돈 쓰기 전에 이 카드를 얼마나 오래 쓸지부터 생각해 보세요. Solarflare는 Xilinx로 넘어갔고 드라이버 작업은 멈췄으니 앞으로 더 나올 게 없습니다. 신경 안 쓰고 싶은 박스라면 이 플랫폼에서는 Chelsio를 1순위, Intel을 2순위로 두겠습니다. 참고로 여기서 나온 오래된 후기 하나는, 가까운 친척뻘인 SFN6122F가 2년 동안 아무 문제 없이 돌아갔고 옆에 있던 Intel X520보다 아무 트랜시버나 더 잘 받아준다는 평가였습니다. 다만 그건 구형 카드라 지금 카드의 코딩 동작과는 상관없습니다.
이 카드용으로 코딩된 SFM10G-SR 한 쌍을 주문했더니 꽂자마자 두 포트 다 올라왔습니다. 코딩 이론이 맞았네요. 다만 제 쪽 결과는 절반짜리입니다. 기존 멀티모드 모듈은 이 NIC에서 여전히 완전히 죽어 있고 다른 카드에서만 동작해서, 이제 광모듈을 두 세트로 나눠 라벨을 붙여 보관하고 있습니다.
지금은 제 역할을 하니 카드는 그냥 두겠지만, 다음엔 Chelsio 얘기를 참고하려고요. 포트 추가할 때마다 특별히 코딩된 광모듈을 사고 싶지는 않으니까요.
일반적인 절차에 확인할 게 하나 더 있습니다. "미지원 광모듈"이 장비마다 아주 다른 뜻일 수 있거든요. Instant On 1930 24G에서는 벤더 측 답변이, 미지원 모듈(SX, LH 등)은 그냥 표시만 됩니다. 포트 LED가 깜빡이고 syslog 메시지가 남을 뿐 포트 자체는 전혀 비활성화되지 않는다고 했습니다. 그러니 거기서 링크가 계속 안 붙으면 잠금이 아니라 물리적 경로를 가리키는 겁니다. 그 사례는 결국 광섬유를 새로 깔고 서드파티 10G 싱글모드 LR SFP+를 넣고서야 링크가 올라왔습니다.
같은 함정이 HBA에서는 반대 방향으로 나타납니다. Brocade 825가 lspci에 두 번 나타나고 광모듈을 꽂아도 dmesg에 아무것도 안 남는데, 사람들은 이걸 고장으로 읽습니다. 드라이버는 링크 상태를 로그로 남기지 모듈 삽입을 남기지 않으니, 거기서 조용한 것도 진단이 되지는 못합니다.
이번 경우는 이미 결정적인 테스트를 하셨죠. 같은 모듈, 같은 코드가 다른 NIC에서는 링크가 붙는다는 것. 그러니 코딩 잠금이라는 결론이 맞습니다. 다만 LED 하나랑 로그 한 줄뿐인 장비에서는 아무도 그 결론으로 몰아가게 두지 마세요.