ConnectX-7の400G OSFPをQSFP-DDスイッチポートに接続: パッシブDACで足りるか、レーン速度が壁になるか

ところで、スイッチは何を使っている? ポートのタイプは書いてあるがモデルが書かれていない。それによって、そちら側にそもそも使えるブレイクアウトプロファイルがあるかどうかが決まる。

あと、エンドツーエンドで正真正銘の400Gリンクが必要なのか、それともカードへの4x100Gで用は足りるのかも教えてほしい。この2つはまったく違う買い物リストになるし、後者のほうがかなり短く済む。

問題は実質2つあって、買ったケーブルの話なのはそのうち片方だけ。

機構面: CX-7のケージはフラットトップのOSFPモジュールを前提としている。市場に出回っているOSFP DACの大半はスイッチ側ケージ向けのフィン付き筐体で出荷されていて、まさに今手元にあるのがそれなので、カードにはきちんと収まらない。

電気的な面: そのカードの400G OSFPポートは100Gレーン4本で動作するが、QSFP-DD側の400Gは50Gレーン8本になっている。パッシブDACはただの銅線で、何のギア変換もしないから、NIC側をフラットトップにしても両端のレーン数は永遠に噛み合わない。ここはケーブルが届いたあとで気づく人が多いところ。

この組み合わせに対して案内されている構成は銅ではなく光だ。スイッチ側に400G DR4のQSFP-DDトランシーバ(MMS1V00-WM)、MFP7E30系列のMPO-12/APCクロスオーバーファイバ、NIC側にフラットトップのOSFPモジュール(MMS4X00-NS400)。1本のリンクに3品目というのは面倒だが、実際に噛み合うように作られているのはこの組み合わせ。

参考までに、NIC同士なら話は簡単で、フラットトップのOSFP800 DACを使えば上記のどれも要らない。

一世代上の話だが、驚かされる種類が同じなので参考までに。

Arista 7060X6にACCのOSFP 800Gから2x400G QSFP112への分岐ケーブルを挿しても、ConnectX-8とはまったくリンクしなかったが、同じポートに同じケーブルでConnectX-7を挿すとすぐにリンクアップした。NIC側の診断では、PHY FW groupのステータスにRecommendation: Negotiation failureが返っていた。オートネゴシエーションに任せる代わりにポート速度を400Gに固定したところ、物理リンクはすぐに上がった。同じ形状のAECケーブルはConnectX-8でもそのまま動作し、他のTomahawk 5ベースのスイッチでも同じ挙動が出たので、ケーブル不良ではなくオートネゴシエーションとリンクトレーニングの相互接続性の問題だと考えられる。

光モジュールが届いたときのために頭の片隅に置いておく価値はある。リンクが上がらないときは、トランシーバを疑う前にまずオートネゴシエーションを外してみること。