ConnectX-4 MCX456A-ECAT, loopback iki uçta da geçerken 100GBASE-LR4'te bir Cisco NCS'e link vermiyor
Carrier'a bakan bir Cisco NCS'e devreden bir çift rack işletiyoruz, 100G sunucu uplink'lerinden biri de kurulumdan beri hiç gelmedi. Sunucuyu farklı bir patch panelli başka bir kabinete taşıdıktan sonra da aynı sonuç, o yüzden bunu tek seferlik bir olay olarak görmeyi bıraktım.
- Supermicro sunucu, NVIDIA/Mellanox ConnectX-4 MCX456A-ECAT, iki port da boş
- jenerik 100GBASE-LR4 QSFP28, single mode, 10 km menzil, her uçta bir tane
- karşı tarafta Cisco NCS, iki oda arasında dark fiber
Beni takılı bırakan kısım şu: her modül kendi cihazında bir loopback'i geçiyor. Fiber doğrudan aynı QSFP28'e geri döngülendiğinde NIC temiz bir 100G link raporluyor, NCS de kendi tarafında aynısını yapıyor. Gerçek hattı araya koyunca hiçbir şey yok.
# module looped back on the NIC itself
Speed: 100000Mb/s
Link detected: yes
# same module, real span to the NCS
Speed: Unknown!
Link detected: noŞimdiye kadar denediklerimiz:
- iki modülü de aynı partiden yedeklerle değiştirdik, değişen bir şey olmadı
- sunucuyu taşıdık ve farklı bir panelden yeniden patch'ledik
- NIC vendor'ıyla bir case açtık, cevap firmware release notes'undaki onaylı transceiver listesine bir yönlendirmeydi, bu da loopback'in neden çalıştığını açıklamıyor
ConnectX-4'te LR4 ile ilgili, yerelde link vermesini ama gerçek bir hat üzerinde hiç vermemesini sağlayacak bir şey mi var, yoksa yanlış ucu mu kovalıyorum?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 3
Bu bir uyumluluk sorunundan çok kirli bir hat gibi okunuyor.
Şimdiye kadar değiştirdiğin her şey zaten iyi test edilmiş tarafta duruyor, hiçbir şeyin değişmemesinin sebebi de bu - hâlâ dokunulmamış olan tek şey hattın kendisi. O yüzden hat üzerinde çalış:
Yönlendirildiğin onaylı transceiver listesine bir göz atmakta fayda var, ama loopback'te temiz gelen bir modül zaten NIC tarafından doğru sürülüyor demektir. Uyumluluk listeleri doğrudan reddedilen modülleri açıklar, yerelde link verip hat üzerinde ölen modülleri değil.
Temizlik işe yaramazsa sıradaki adım dark fiber üzerinde bir ışık kaynağı ve güç ölçer, ödünç alabiliyorsan bir OTDR, başka bir NIC ya da başka bir çift optik almadan önce.
Bir loopback sadece bir portun kendini duyabildiğini kanıtlar - lazer, receiver, hız ayarları. İki odan arasındaki cam hakkında hiçbir şey söylemez, test etmediğin tek parça da o. O yüzden NIC tekrar suçlanmadan önce gerçek hat takılıyken iki uçtan da sayı al: NCS portunda Rx gücü ne, NIC'te ne? Hat yerindeyken Rx'in Low Warn eşiğinin altında oturması, klasik olarak yerel porttan çok karşı ucu ya da hattı işaret eder. Linux tarafında
ethtool -msana aynı okumayı vermeli,Cannot get module EEPROM information: Input/output errorile dönerse bunu ölü bir modül olarak okuma - mlx5'te bu genelde firmware tarafındaki modül erişimidir,mst start,mst cable addve ardındanmlxcablesyine de değerleri sana verir.Çözüm temizlikmiş. Uç yüzeylere bir skop tuttuk, hem iki modül hem iki patch kordon kirliydi; odalar arası panelden geçen kordon ikisinin daha kötüsüydü. Hattaki her şeyi temizledik, yeniden oturttuk, NCS'e giden 100G link ilk denemede geldi ve o zamandan beri ayakta.
Loopback sonucu baştan beri bana modüllerin sağlam, hattın sağlam olmadığını söylerken uyumluluk açısına bu kadar zaman harcadığım için kendime biraz kızgınım. Buraya daha sonra düşecek olanlar için: loopback portu kanıtlar, fiberi değil.