pfSense Plus 22.05 위의 Supermicro E300-9A: USW-Aggregation에서는 멀쩡히 링크되는 DAC인데 ix2, ix3는 계속 no carrier
방화벽이 pfSense Plus 22.05를 돌리는 Supermicro E300-9A인데, 10G SFP+ 포트 두 개가 도무지 안 올라와요. 케이지에 뭘 꽂든 ix2도 ix3도 carrier가 전혀 안 잡혀요.
하드웨어:
- Supermicro E300-9A, pfSense Plus 22.05
- Ubiquiti DAC-SFP10-0.5M, 10Gtek 패시브 트윈액스 케이블
- 대안으로 Supermicro AXS85-192-M3 광모듈
- 스위치 쪽은 Ubiquiti USW-Aggregation
# ifconfig ix2
ix2:
media: Ethernet autoselect
status: no carrierix3도 똑같아요.
지금까지 해본 것:
- 케이블 둘 다 USW-Aggregation에서 다른 장비끼리는 잘 되니까 죽은 케이블은 아니에요
- 구리 대신 AXS85-192-M3 광모듈로 바꿔봐도 두 포트 다 똑같이 no carrier예요
- 장비를 여러 번 재부팅했고, 돌아가는 중에 모듈을 꽂아보기도 했어요
케이지가 동작하기 전에 이 장비에서 뭔가 따로 건드려줘야 하는 게 있는 걸까요, 아니면 그냥 포트 두 개가 죽은 걸까요?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 4
warm reboot로는 안 될 거예요 - 그 포트들은 미디어 상태를 그대로 붙잡고 있어서 재시작해도 다시 검사를 안 해요. 장비를 제대로 종료하고, 전원 어댑터를 뽑아서 몇 분 두었다가, 모듈을 꽂은 상태로 다시 켜보세요. 여기서는 그렇게 해서 포트 두 개가 다 돌아왔고, 다른 분도 Intel X552 포트에서 똑같은 증상을 얘기하셨어서, pfSense 문제라기보다 낡은 미디어 상태 문제라고 봐요.
시스템이 이미 돌아가는 중에 모듈을 꽂았다면, 재부팅 대신 인터페이스를 내렸다 올리세요:
그러면 드라이버가 케이지를 다시 봐요. 뭔가를 영구적으로 고치는 건 아니지만, 벤치에서 모듈을 계속 바꿔 끼울 때 재부팅을 안 해도 되니 편해요. 결과는 전면 패널 말고
ifconfig -a로 확인하세요.스위치 쪽을 건드리기 전에 먼저 완전히 전원을 뽑았다가 DAC로 케이지 두 개를 다 확인해보세요. 여기서는 한 번에 하나씩 디버깅하는 게 중요한데, "어떤 모듈을 꽂아도 no carrier"랑 "링크는 뜨는데 속도가 이상하다"는 보통 같은 케이블 구간에 우연히 겹친 별개의 두 문제거든요.
완전히 전원을 뽑으니 됐어요. 종료하고, 어댑터 뽑고, 몇 분 기다렸다가 다시 켰더니 포트 둘 다 올라왔어요. ix2랑 ix3 사이에 DAC로 루프백을 걸어보니 10G 링크가 깨끗하게 뜨고, AXS85-192-M3 두 개로도 두 포트 사이에 10G가 잘 되니까 케이지랑 모듈은 멀쩡한 거네요.
스위치 쪽은 얘기가 달라요. USW-Aggregation 방향으로는 링크가 항상 1G로만 협상되고, 어느 쪽이든 10G로 강제하면 링크가 내려가서 그대로 안 올라와요. 그러니까 문제 절반은 해결됐고 귀찮은 나머지 절반이 아직 남아 있어요.
1G로 떨어지는 그 절반은 정말 낯이 익네요. TL-SG3428X랑 TL-SX3008F에서 똑같은 증상을 쫓아본 적이 있어요: 그 SFP+ 포트 중 하나에 물린 서버를 재시작하면 스위치 포트를 뭘로 설정해놨든 상관없이 1G로 협상돼서 돌아오더라고요. Intel X520-DA2, Mellanox, HP 어댑터, Intel E10GSFPSR이랑 10GTek 광모듈, 펌웨어 업데이트, 리눅스랑 윈도우에서 드라이버 버전 여러 개, 포트 프로파일까지 - 뭘 해도 안 바뀌었어요. 스위치를 재부팅하거나 포트 속도를 10G에서 뺐다가 다시 넣으면 다음 호스트 재시작 전까지는 10G 링크가 돌아왔고요.
실제로 고친 건 호스트 쪽이 아니라 광모듈을 바꾼 거였어요: 스위치 쪽에 TP-Link SM5110-SR 모듈을 꽂으니까 매번 10G로 링크가 돌아왔어요. 다른 분도 SG3428XMPP에서 똑같이 확인해주셨고요. 결론은 호스트 쪽 링크 리셋 이후에 스위치가 일부 서드파티 모듈이랑 협상을 잘못한다는 거였어요.
그쪽은 벤더가 다르지만 패턴은 똑같아 보여요. 뭘 한 세트 사기 전에, Ubiquiti 정품 모듈 하나만 빌려서 aggregation 스위치 포트 하나에 테스트해보세요.
10G 강제 얘기인데요: 한쪽에서만 강제로 걸면 나아지는 게 아니라 더 나빠져요. 반대편은 여전히 협상을 시도하는데 고정된 설정은 협상할 상대가 없으니까, 링크가 그냥 안 올라오는 거예요 - 딱 말씀하신 그 증상이고요. 속도랑 듀플렉스는 양쪽 다 고정하거나, 아니면 둘 다 자동으로 두세요.
혹시 떠오르는 게 있을까 해서 MikroTik 쪽 비슷한 사례 두 개 남겨요. RB4011에서 Finisar FTLF8524P2BNV-BR이 인식은 됐고 sfp-rx-loss랑 sfp-tx-fault 둘 다 no로 나왔는데도 인터페이스는 계속 no-link였는데, SFP+ 케이지에 꽂은 1G SFP는 협상이 아니라 고정을 해줘야 하기 때문이었어요:
여기도 마찬가지로 양쪽 다요. 두 번째는 CCR1072였는데 링크가 끊긴 뒤에 auto-negotiation이 DONE 상태로 멈춰서 드라이버가 다시 시작을 안 하더라고요. autoneg를 끄고 속도를 고정하니까 링크는 돌아왔는데, 대신 link-down 감지가 제대로 안 되는 대가를 치렀어요.