サードパーティ光モジュールが実際に引き起こした障害: 遅いI2CによるラインカードクラッシュとDDMのuptimeオーバーフローバグ

ベンダーロックインについてのNANOGでの議論の中で、あるオペレーターが2つの具体的な障害事例を語っていました。1つ目は、サードパーティの光モジュールがI2Cの読み出しに対して応答が遅すぎたケースです。スイッチベンダーのポーリングコードがタイムアウトを処理できずラインカードの制御プレーンをクラッシュさせましたが、ベンダーは自社の光モジュールでは起きないことを理由にバグとして扱うことを拒否しました。2つ目は、サードパーティのSFPにあったファームウェアの不具合で、2^31の1/100秒が経過するとuptimeカウンタがDDMの温度フィールドを上書きしてしまい、多数の機器で同時にリンクフラップを引き起こし、一斉リブート後に同時障害が起きるリスクを抱えていました。

• ハードウェア: キャリアのルーター/スイッチ(ベンダー名不明)
• トランシーバ: DDM付きサードパーティSFP
• フォームファクタ: SFP

症状 / メッセージ:

linecard control-plane crash on I2C timeout
DDM temperature field corrupted by uptime overflow
fleet-wide link flapping