XG-7100をキャリアのADVA FSP150CPデマークに接続: リンクはupなのに何も返ってこない、SFP LEDは赤
小規模オフィスで、専用線が1本、キャリアはそれをADVA FSP150CPで終端していて、通信機器キャビネットの壁にネジ止めされています。私の仕事はキャリアからルーターを借りる代わりに自前のルーターをその回線に載せることなので、Netgate XG-7100のix0 SFP+ポートをADVAのアクセスポートに直結しています。
- Netgate XG-7100、WANはix0
- ADVA FSP150CPデマークボックス、キャリアが設置・設定済みでこちらにログイン権限はない
- ルーター側で1Gオプティクスを3種類試した
- 設置業者が残していったLCパッチコード
ルーター側はリンクがあると思い込んでいますが、デマーク側はそうではありません。
ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
media: Ethernet autoselect
status: active
# tcpdump -ni ix0
ARP, Request who-has <gateway> tell <wan address>, length 28
ARP, Request who-has <gateway> tell <wan address>, length 28
出力カウンタは増えていくのに入力カウンタはゼロのままで、キャプチャには自分たちが送った以外の何も入ってきません。ADVA側のSFP LEDは、ルーターにどのモジュールを挿しても赤のままです。
これまで試したこと:
- 3種類のオプティクスを順番に挿してみたが、赤LEDに変化なし
- パッチコードを交換し、清掃もした
- キャリアのサポートに聞くと、回線はデマークまでは正常でそこから先は彼らの責任範囲外とのこと
この機器が実際に求めているモジュールは何でしょうか。SFP LEDが赤いのは自分のオプティクスが違うということなのか、それとも向こうのポートがまったく別のものにプロビジョニングされているということなのか、どちらでしょうか。
Comments 6
カウンタの動きがすでにどちら側を疑うべきか教えてくれているので、4本目のモジュールを試す前にそこから始めましょう。出力は増える、入力はゼロに張り付いたまま、キャプチャには自分が送信したARP以外何も入らない。これは受信側のファイバーに何も届いていないということです。メディアタイプの不一致がルーター側からはこう見えます。送信した光は闇に消え、対向は一切応答せず、それでもローカル側は自分が見えている範囲では満足しているのでインターフェースはactiveのままになります。
FSP150CPのアクセスポートは、シングルモードファイバー、マルチモードファイバー、RJ45のいずれか1種類のメディアタイプでキャリアによってプロビジョニングされていて、ルーター側のモジュールはそのファイバータイプと波長に一致していなければなりません。SFP LEDの赤は、渡されたものをボックスが拒否しているサインです。モジュールを受け入れたときはRate LEDが緑で1Gを示すので、この2つのランプの組み合わせがテスト結果そのものです。
これはベンダーのホワイトリストの話ではありません。ルーターベンダー自身のスタッフがベンチ上でこの構成を再現していて、デマーク側にADVA 0061003008、XG-7100側に普通のシングルモード1000BASE-LXオプティクスを使って成功しています。Metrodata S12W1310S010C15CやFS SFP1G-LX-31でも同様に立ち上がっています。サードパーティ製1Gオプティクスが原因で止まっているわけではありません。
だから次に役立つ一手は4本目のモジュールではありません。そのアクセスポートがどのメディアタイプでプロビジョニングされているか、キャリアに書面で明言させて、それに合わせることです。ただし正直に言うと、たいていこの手の話はここで止まります。相手がボックスをロックしたまま教えてくれないなら、あとはオプティクスを買っては1本ずつ当てずっぽうで試すしかなくなります。
あのボックスには読むべきランプがもうひとつあって、あなたが書いているのはそのうちのひとつだけです。FSP150CPがモジュールを問題ないと判断してポートが1Gで動いているとき、Rate LEDは緑になります。あなたのは緑ですか、オレンジですか、それとも消えていますか。SFP LEDの赤は、モジュールとポートの設定が噛み合っていないというボックスからのメッセージであって、オプティクスが壊れているという意味ではありません。
2つ目の質問、こちらが実は決め手になります。キャリアはそのアクセスポートをどのメディア用にプロビジョニングしたのでしょうか。シングルモードファイバー、マルチモードファイバー、RJ45のどれかで、ルーター側はその3つのうち向こうが渡してきたものに合わせる必要があります。どれなのか分かっていますか。
それと、試した3本のオプティクスはそれぞれ何波長ですか。ラベルには普通850nmか1310nmと書いてあって、それは横に印刷されているブランド名よりずっと重要です。
キャリアに聞いてみたところ、断られたこと自体がほぼ答えになりました。
まずランプから。これは向こうの協力なしに自分で確認できる唯一のことだったので。Rate LEDはまったく点かず、オレンジですらなく消えたまま、SFP LEDはどのモジュールでも赤のままでした。そしてようやくブランド名ではなくラベルを読んだところ、3本とも1310nmシングルモードで、うち1本はただの1000BASE-LXでした。つまり同じテストを3回やって3回分のテストのつもりになっていたわけで、それ自体がひとつの教訓です。
その他は何も進みませんでした。設定は開示しない、アクセスポートが何用にプロビジョニングされているかも言わない、ファイバーの話を一旦なくすためにRJ45ポートを有効にしてほしいと頼んでもそれも断られました。ボックスは向こうのもの、設定も向こうのもの、それで会話終了です。
というわけで、オフィスは結局キャリアからレンタルしたルーターで動いていて、まさに避けたかった事態そのものです。XG-7100は棚の上です。もし自分のデマークで私より先まで進めた人がいたらと思い、この質問はオープンのままにしておきます。
慰めになるかは分かりませんが、似たような話で相手のボックスが違うだけというのもあります。またXG-7100で、今度はファイバーでAdtran 5660に繋いでいて、回線を100Mbpsから1Gに切り替えている最中でした。ファイアウォール側はポートをactiveと報告し、Ubiquiti UF-MM-1Gを挿した状態で1000baseSX全二重にネゴシエーションしていました。Adtran側はDOWN/DOWNのまま動きません。
autoselectのままにせず、メディアを固定してみました。
変化なし。CiscoとCienaのオプティクスを順に試しても変化なし。誰かに勧められてファイアウォールイメージの新しい開発ビルドに上げても変化なし。同じオプティクスを同じファイバーでUniFiスイッチに挿すと一発でリンクしたので、モジュールが原因だったことは一度もなく、キャリア自身のサポートからも何も出てきませんでした。
最終的には諦めて、経路にUniFiスイッチを残すことにしました。スイッチの2つのポート間でVLANとして回線を通し、Adtranが向き合う相手は常にそのスイッチだけにしています。ファイアウォールとCPEを直結する形は結局一度も成立せず、理由は今でも分かりません。
メディアの話を具体的にしておきます。「3種類の違うトランシーバ」というのは、実際には同じテストを3回やっているだけということがよくあるので。
850nmはSRとマルチモードガラスの組み合わせ、1310nmはLRとシングルモードの組み合わせです。両端は同じ種類でなければならず、そのギャップをネゴシエーションで埋める余地はありません。インターフェース設定をどういじってもレーザーから出る波長は変わりません。
距離の数字は下限ではなく上限で、逆方向で勘違いする人がよくいます。ラック内の3メートルのパッチでLRモジュールを両端に使っても何の問題もなく動きます。ただしシングルモードのコードが必要です。LRをマルチモードに通すと数メートル程度リンクすることもたまにありますが、それは規格外の挙動であって、有料の回線をそれに頼るべきではありません。
私が見た中で一番きれいな例は、あるFortiGateがBrocadeとExtremeのオプティクスを挿したスイッチとリンクしないという話で、議論全体がブランドの非互換性に向かっていました。実際にはFortinet側が10G SR、対向が10G LRでした。ホワイトリストもベンダーロックも関係なく、ただマルチモードがシングルモードを見つめているだけでした。
それもベンダーロックの話には分類しません。それと、この回避策が後でこのスレッドを見つけた人にどう読まれるかは気をつけたほうがいいと思います。
間にスイッチを挟むことで証明できるのは、自分のオプティクス、ファイバー、ファイアウォールのポートがすべて健全だということだけです。CPEが直接リンクを受け付けなかった理由については何も語っていません。問題をCPEが話せる相手の後ろに移動させて、そのまま放置しているだけです。
ifconfigでメディアを固定するのも、ローカルのインターフェースがリンクをどう扱うかを変えるだけです。オプティクスから出るものは変えられないので、対向側のメディアタイプの不一致を直すことにはもともとなりません。どちらのケースでも、誰にも見えなかったのはキャリアがアクセスポートをどうプロビジョニングしたかであって、どちらも答えはそこにあります。