ExtremeSwitching X690 port 57が100Gを拒否、QSFP28 DACがunsupported扱いに
この数年ずっと10Gのアクセス用途で大人しく動いていたX690に、ラック間の100Gリンクを追加しようとしています。アップリンクのケージがどうしてもその速度を受け付けません。
- ExtremeSwitching X690-48x-2q-4c
- 1mのQSFP28ダイレクトアタッチケーブル、Q28+CR4_1m
- ポート57、QSFP28アップリンクケージの1つ
ポート一覧ではこのケーブルがunsupported表示になり、手動で速度を設定しようとしても即座に拒否されます:
* X690.1 # configure port 57 auto off speed 100000 duplex full
Speed specified is not supported on port 57
試したこと:
- 両端でケーブルを挿し直し、同じ型番の別個体に交換
- 別のQSFP28ケージに移動、メッセージ中のポート番号が変わるだけで同じ内容
- autoのままポートを有効化しただけの状態も試したが、リンクなしのdownのまま
ケージ自体は100G対応のはずで、スイッチはリンクに失敗しているのではなく速度そのものを拒否しています。つまりポートの設定が自分の想定と違うのではないかと思っています。このアップリンクの速度は何が決めているのでしょうか。変更にはリブートが必要でしょうか?
Comments 3
X690のアップリンクケージは、それぞれ独立に速度を設定できるポートではありません。port 49、53、57、61、65、69は合計400 Gbit/sの帯域を共有していて、その配分を決めるのはポート単位の速度コマンドではなくパーティションテンプレートです。設定だけ受け入れてポートをリンクなしのまま放置するのではなく、CLIがその場で速度を拒否してくるのはそのためで、その時点でport 57はそもそも100Gインターフェースとして存在していません。デフォルトテンプレートは100Gポート2つと40Gポート4つという構成で、57はその2つに入っていません。
必要な100Gインターフェース数を満たすテンプレートを選び、そのうえでポート自体を割り当てます:
そのあとスイッチをリブートします。新しいレイアウトは再起動後にしか反映されず、それまではどちらのコマンドも文句を言わず受理されるので、初めてやったときはここで混乱しやすいところです。
ポート単位の選択肢は1x100Gのほかに1x40G、2x50G、4x10G、4x25Gがあるので、アップリンク全体の計画を先に決めて、リンクごとではなく一度でテンプレートを変えるほうがいいです。48tモデルでも同じで、アップリンクのブロック構成は変わりません。
確認できました。テンプレートを4x100Gにして
configure ports 57 partition 1x100Gを割り当ててリブートしたところ、ポートは正真正銘の100Gインターフェースとして戻ってきて、Q28+CR4_1mもすぐにリンクしました。unsupportedのケーブル扱いはもう出ていません。リブートは完全に見落としていたところでした。それをする前は、コマンドは設定上ちゃんと適用されているように見えるのに、ポートは相変わらず速度を拒否していて、これは元の問題と見分けがつきません。本番機でこれをやる人は、途中で気づくのではなく先に停止時間を確保しておくべきです。
同じファミリーでも逆の落とし穴があるので、X695でここに来た人向けに書いておきます。X695ではQSFP28ポートはデフォルトで100Gになっていて、8個のうち51と55の2つしかパーティション分割できません。それ以外のポートで試すとこうなります:
分割できる2ポートでは
configure port 51 partition 1x40Gを使います。それ以外のポートでは代わりに速度を強制する、つまりX690では失敗するあのコマンドそのものを使います:自分はport 49、50、55、60、61、62でこれをやって、EXOS 30.6.1.11-patch1-4で40Gの光モジュールを上げました。port 52-54と57-59はデフォルトのレイアウトでLink State NPと表示されますが、これはレイアウトがそうなっているだけで故障ではありません。
つまり、X690のアップリンクはテンプレート主導、X695のQSFP28ポートはほぼ速度主導です。コマンドを使い回す前に、目の前にあるのがどちらの機種かを確認してください。