IBM Flex System EN4093、起動時と稼働中にSFP+トランクポートがERRDISABLEに落ちる

まず気になるのは、同じ貼り付けの中に理由が2種類あることです。あるポートはいつも同じ理由で無効化されて戻ってくるのか、それとも今回はケイパビリティで落ちたポートが次はフラップ検出器に引っかかるのか。ポートごとに理由が固定されているのと理由がふらつくのとでは調査の方向が別々で、片方だけがハードウェアを買う結論に行き着きます。

もうひとつはっきりさせておきたいのは、コア側がスパニングツリーに何を使っているかです。あなたはMSTPを使っていますが、もし対向がそのアップリンクにCiscoフレーバーのPVST BPDUを乗せてきているなら、このスイッチにはまさにそれに反応してポートを落とす保護機構があり、外から見るとあなたが今追いかけている障害そのものに見えます。ドロップのどれかが、あなた側の起動ではなくコア側のトポロジー変化と一致しているか分かりますか。

ポートごとには一貫していますが、ボックス全体としては一貫していません。落ちるトランクメンバーはいつもmismatched link capabilitiesで戻ってきて、5番のアクセスポートはいつもフラップ検出器にしか引っかからず、間隔にはパターンを見つけられません。なのでこれは同じ上着を着た2つの障害に見えます。

対向のスパニングツリーについてはまだ答えられません。コアは別のチームの管轄で、そのアップリンクに実際何を出しているのか聞いているところです。今のところログのどこにも、ドロップと向こう側のトポロジー変化を結びつけるものはありませんが、それを探すつもりで読んでいたわけではないので、除外できるとは言いません。

ベンダーは違いますが、同じ形の話です。FortiSwitch 548DにSFP+でぶら下がるFortiGate 201Fがあり、間はFortinet純正のDACでしたが、10Gbpsリンクがまったく安定しませんでした。速度とデュプレックスを何にいじっても落ち、両端をFortiOS 7.4から7.2.5に戻しても何も変わりませんでした。

最終的に安定したのは、その1リンクだけ短いFortinet製DACに変えてSTPをオフにしたことで、それ以来ずっと上がったままです。持ち帰る価値があるのはその後たどり着いた理屈です。パッシブ銅の距離が長いほど、届くまでに信号は劣化しているので、10Gでは長いDACやぎりぎりのDACはラベルが何であれ疑うべきリストに入ります。3個のオプティクスと1個のDACがerrdisableトランクに混在しているなら、私ならその浮いている1個を徹底的に疑います。

ハードウェアに触る前にやっておくべきことがひとつあります。ログのタイムスタンプに対して、フラップの正確な周期を書き出すことです。

まったく無関係な話ですが、TL-SG3452Xというスイッチで、モジュールが挿さっているSFP+ポートすべてが10〜15分おきにdown/upを繰り返し、フラップのたびにログにSTPメッセージが出ていました。オプティクス不良という結論に飛びつきそうになりましたが、純正のTL-SM5220-1M DACもまったく同じリズムでフラップしていたことでそれは崩れました。この1回のテストでオプティクス説は消え、かわりにファームウェアの退行が疑われ、唯一有効だった対処は古いビルドにとどまることでした。

規則的な間隔なら、何かがスケジュールでタイムアウトしています。ランダムな間隔なら、何か物理的なものです。安上がりなテストで、不要なモジュールを買わずに済みます。それと、ダウングレードという選択肢を残しておくために、前のファームウェアイメージを取っておく価値もあります。