Brocade G720、DD PoDライセンス適用済みでもすべての64G SFP-DDポートがModule_Invalidのまま
新しいファブリック用にConnectrix DS-7720B(Brocade G720)のペアを引き継いだのですが、ゾーニングにはまだ全然たどり着けていません。ダブルデンシティポートが1つも上がってこないからです。どのポートもswitchshowで同じことを言います。
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)ラックにあるのは:
- Connectrix DS-7720B / Brocade G720、Fabric OSは納品時のままの9.0.x系
- Double Density Ports on Demandライセンスがインストール済みで、適用済みと表示されている
- Brocadeブランドの64G FC SFP-DDトランシーバ、パーツ57-1000505-01
- オプティクスと同じ箱に入っていた純正パッチコード
誰かが当たり前のことを提案する前に言っておくと、モジュールは全部挿し直し、2個はポート間で移動させましたが、故障はモジュールについてくるのではなくポート側に留まります。Double Density Ports on Demandライセンスは本当に適用済みで、単に発注しただけではありません。これは2回確認しました。パッチコードも交換し、端面も清掃しましたが違いはありません。同じシャーシの普通のポートは問題なくトラフィックを運んでいるので、スイッチが死んでいるわけではありません。
不良ロットのダブルデンシティオプティクスを渡されたのでしょうか、それともスイッチがケージの中身をきちんと見る前に見限っているのでしょうか。
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 6
オプティクスは問題ありません。問題はファームウェアです。
G720での64G FC SFP-DDは、Fabric OS 9.1.0以降でサポートされます。9.0.xのファームウェアはそのフォームファクタという概念自体を持っておらず、ケージの中身を識別できないので、非互換だと申告する方向にフォールバックします。これがまさに、すべてのダブルデンシティポートで見えているModule_Invalid、Speed Mismatch / Incompatible SFPです。あなたのベンチでの検証も逆方向から同じことを言っています。普通のオプティクスは、まさにddモジュールを拒否するそのポートで光り、2台目のシャーシも同一のファームウェアを動かしているので同じ挙動をします。
お手元のパーツ57-1000505-01はBrocade Transceiver Support Matrixに載っていて、そのマトリクスにプラットフォームごとの最低ファームウェアが書かれています。G720の場合そのエントリは9.1.0から始まります。9.1.0以降に上げれば、すでに挿さっているオプティクスのままそれらのポートは上がってきます。
箱の中のあのブレードも同じ話です。Gen 7の各プラットフォームはマトリクスの中にそれぞれ独自の下限を持っています。G730(DS-7730B)、7850(MP-7850B)、FC64-64などです。なので、ダブルデンシティオプティクスをそこに移す前に1台ずつ調べてください。そうしないと、次のボックスでもまた同じ午後を無駄にすることになります。
他に何をするにせよ、モジュールを返品だけはしないでください。
RMA書類はいったん保留にしてください。こちらから見る限り、丸ごと不良ロットのオプティクスという感じではありません。mediaカラムにすでにddが出ている状態でのModule_Invalidは、スイッチがケージから何かを取得はしたが、読んだ内容が気に入らなかったという意味です。本当に死んでいるモジュールなら普通そこまで進みません。no-module状態になるはずです。
コストをかけずに絞り込める方法が3つあります。
それと、ライセンスについては今は考えないでください。Ports on Demandはポートをアンロックするだけで、ファームウェアにこれまで出会ったことのないフォームファクタを教えてくれるわけではありません。
借りたオプティクスの提案、良かったです。普通のポートの1つから動作確認済みのBrocadeモジュールを抜いてport 48に挿したら、すぐにF-Portとしてオンラインになりました。同じポートに64G SFP-DDを戻すと、1〜2秒でまたModule_Invalidになります。つまりケージは生きていて、ライセンスも仕事をしていて、ポート自体も問題ありません。スイッチが受け付けないのはダブルデンシティモジュールだけです。
両方のスイッチで、はい。2台目のDS-7720Bはまだほとんど梱包箱の中ですが、ベンチでddモジュールを2個挿してみたところ、まったく同じ行が返ってきたので、1台のシャーシだけの故障ではありません。
他のGen 7機器について: 本番にはまだ何もありませんが、ディレクタースロット待ちの箱にFC64-64ブレードが1枚あり、まさにこのオプティクスを載せるために買ったものです。そちらでも同じ問題が出るなら、移行ウィンドウの最中ではなく今知っておきたいです。
ベンダーは違いますが、同じ形の罠です。誰か他の人がケージからモジュールを抜き差しする午後を無駄にせずに済むように投稿しておきます。
Dell S5248F-ON、SONiC masterビルド。SFP28ポートが1つも動きませんでした。どのポートのLEDも点灯したままで、show interface transceiver presenceはトランシーバを一切表示しませんでした。ケージの中のオプティクス自体は完全に健全でした。
光学的な問題は何ひとつありませんでした。プラットフォームモニターのコンテナが落ちていて、pmonが動いておらず、pcied、xcvrd、psudも同様でした。xcvrdはモジュールとI2Cで話すプロセスなので、それが死んでいる状態では誰もEEPROMを読んでおらず、CLIは自分が知っていること、つまり何もないということを正直に報告していただけでした。docker psとshow system-health detailで、丸1日の半分をモジュールの入れ替えに費やした後になって、1分程度ですべてが分かりました。
Z9264Fでも同じ種類のことが起きていて、プラットフォームプラグインのSfpコンストラクタがAttributeError: 'Sfp' object has no attribute 'port_type'でこけて、起動時にdetermine-reboot-cause.serviceも道連れにしていました。ポートのあるクラス全体がまったく同じように誤動作しているときは、オプティクスを最初に疑うべきものであることはまずありません。
もう半分は地味な話で、実際に時間がかかるのはそこです。まだ何もぶら下がっていないスイッチでのFabric OSのジャンプでも、それは会議と会議の合間にやるようなことではなく、れっきとしたチェンジウィンドウです。なのでまず、ファブリック内で一緒に動かさなければならないものが他に何かを洗い出して、きちんとアウテージを確保してください。
あのFC64-64はまだ箱の中とのことなので、ダブルデンシティオプティクスを一度でも見せる前に9.1.0以降に上げておいてください。そうしないと、エッジスイッチではなくディレクターで、しかも見物人付きでこのスレッドを再現することになります。
もうひとつ実務的な話です。相手がRMAを記録する前に業者に連絡を取ってください。あのモジュールは自分の身元をきちんと名乗っていて、ホスト側にまだそのテーブルエントリがないだけです。業者が不良品として引き取ってしまうと、まったく同じ挙動をする交換ロットを3週間待たされたあげく、結局アップグレードもやる羽目になります。
確認しました、ファームウェアが原因でした。
週末のウィンドウで両方のスイッチを9.1.0に上げたところ、再起動後にすべてのダブルデンシティポートがModule_Invalidから抜け出し、ずっと挿さったままだった同じ57-1000505-01のオプティクスで64Gでオンラインになりました。挿し直しも、交換も、配線のやり直しも一切なしです。
ライセンスは自分が追いかけていた迷い道だったとわかりました。最初から正しく適用されていて、ただ9.0.xでは何も役に立てなかっただけです。あのブレードはディレクタースロットに近づく前に9.1.0に上げます。今それが入っている箱にそう書いておきました。RMAとかなり気まずい業者とのやり取りをひとつ回避できました。