ThinkSystem SR650でLenovo 46C3447 SR光モジュールを使うとCatalyst 3850がポートをerr-disableにする
キャンパスの3850にぶら下がるラックに新しいESXiホストを入れています。銅回線の管理ポートは問題なく上がりましたが、10Gアップリンクはダメでした: サーバーが起動するとすぐにスイッチポートがerr-disableに落ち、ホスト側はそのvmnicに何も見えません。
- Lenovo ThinkSystem SR650、7X06CTO1WW、Emulex VFA5.2 2x10GbE SFP+アダプタ搭載
- アダプタにLenovoの10GBASE-SRモジュール、46C3447
- スイッチ側はCisco WS-C3850-24XS-S、Cisco SFP-10G-SR
- 両者の間はOM3のLC-LCパッチ
Te1/0/7: goes err-disabled within seconds of the server powering on
ESXi: the uplink shows DISCONNECTED
Same patch cord, Cisco SFP-10G-SR at both ends switch to switch: link up and stable
すでに試したこと:
- 同じスイッチの別のポートにサーバーを移動したが同じ挙動
- 46C3447をアダプタのもう一方のポートの同型モジュールと入れ替えた
- 新しいパッチコードにして両端を清掃・再装着した
ファイバーとスイッチ側の光モジュールは明らかに問題ないので、何かがLenovoのモジュールに異議を唱えています。異議を唱えているのはサーバー側とスイッチ側のどちらで、3850をこのモジュールと共存させる方法はありますか?
Comments 3
そのログで確定です。
gbic-invalidはスイッチが未承認とみなしたモジュールを拒否しているという意味で、発動しているチェックはCisco側にあり、SR650でもESXiでもありません。そのリンクのLenovoコード化されたSR光モジュールに異議を唱え、リンク評価が行われる前にポートを落としています、だからこそポートを移動してもコードを替えても何も変わらなかったわけです。グローバルコンフィグで2行:
1行目はスイッチに、認識できないモジュールでもそのまま続行するよう指示し、2行目はそのCRCチェックが失敗したときにerr-disableがポートを撃たないようにします。どちらも遡及的には効かないので、その後ポートをバウンスして、ダウンしている間にファイバーを再装着してください:
リンクが上がったら設定を保存してください。running configにしか残っていない場合、次のリロード後にポートはまたerr-disabledに戻り、もっと都合の悪いタイミングでこれを再デバッグする羽目になります。
2点注意があります。これでCiscoのサポート対象構成の外に出ることになります: 彼らはサードパーティ光モジュールを未検証とみなし、TACはそれが絡む相互接続性のケースを断ることがあります、このリンクが契約の下にある場合は重要な点です。それと
service unsupported-transceiverは万能の修正ではありません。ポート自体が障害物になっている場合、例えば1G専用のSFPスロットに10Gモジュールを押し込んだような場合には、同じbad crcメッセージがこれを実施しても残ります。なのでバウンス後もポートがダウンしたままなら、また光モジュールを疑う前に両端が実際にどの速度で動いているか確認してください。誰かが当てずっぽうを言う前に: ポートが落ちたとき、実際にスイッチは何をログに残していますか? err-disableは必ず原因名を出しますし、原因によって答えはまったく変わります。モジュールに対するセキュリティやCRCの苦情は、フラップやプロトコルトリップとは別問題で、片方への対処はもう片方には何もしません。
サーバーが電源を入れる瞬間あたりの
show loggingを取って、そのポートの行を貼ってください。あとTe1/0/7に物理的に何が刺さっているかも確認してください、Cisco SFP-10G-SRとのことですが、その経路全体でCisco製でない部品は46C3447だけですか?落ちた瞬間のログです、そのポートについて2行:
つまりフラップではなくセキュリティチェックが発動しているということです。それとスイッチ側は確かにCisco製の箱から出たCisco SFP-10G-SR本物で、サーバー側の46C3447がこの経路で唯一のLenovoコードの部品です。これが混乱した理由で、メッセージがサーバー側の何かではなくスイッチ側のポートを名指ししているからです。