Brocade 200e antara Proxmox dan FreeNAS: Buffer I/O error dan isp0: Receive Error padahal semua port online
Saya jalankan virtualisasi kecil: dua node Proxmox 6 dan target di FreeNAS 11.2. Selama HBA-nya terhubung langsung ke target, semuanya jalan berbulan-bulan tanpa satu pun error. Saya pasang Brocade 200e bekas di antara keduanya biar tidak perlu menarik kabel menyilang, dan mulai dari situ masalahnya muncul.
- dua node Proxmox 6, HBA QLogic QLE2462 dan QLE2432
- target FreeNAS 11.2
- switch Brocade 200e, Fabric OS 6.1.0a
- SFP dan patch cord LC dari stok lama, tanpa penanda
Di log node-nya:
Buffer I/O error on dev dm-5dan setelah itu device reset terus-menerus. Di sisi target - timeout firmware di command (CTIO7), dan kira-kira sekali semenit:
isp0: Receive ErrorSetelah itu target-nya langsung lepas dari kedua initiator sekaligus, dan cuma sembuh dengan reboot node-nya.
Yang sudah dilakukan:
- kembalikan ke koneksi langsung - sama sekali tidak ada error, jadi HBA, disk, dan target-nya sendiri bukan penyebabnya
switchshowmenunjukkan ketiga port online, zoning-nya minimal, satu zone- copot-pasang ulang patch cord-nya, restart switch-nya
Yang harus dilihat di switch-nya sendiri ke mana? online di switchshow jelas membohongi saya, tapi cara mengeceknya saya belum tahu.
Show original (Русский)
Also available in: Русский
العربية
Deutsch
English
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Türkçe
Tiếng Việt
简体中文
Comments 4
Kamu sendiri sebenarnya sudah menemukan semuanya: crc_err dan enc_out yang naik itu kerusakan frame di jalur, lalu di stack berikutnya berubah jadi timeout firmware, device reset, dan
isp0: Receive Error. Bukan kernel di node-nya atau target-nya yang salah di sini, mereka cuma jujur melaporkan apa yang sampai ke mereka.Yang sudah kamu ambil, begini bacanya:
sfpshowpada dua port yang sama dengan panjang kabel yang sama - ini perbandingan link yang simetris satu sama lain, bukan dengan norma dari kepala. Port ketiga yang bersih jadi patokan buat kamuSisanya tidak banyak lagi. Jalankan
fabriclog -s- di situ terlihat port-nya flap, bahkan saat switchshow di momen itu menggambarkan online. Dan ganti SFP di port yang dicurigai bersamaan dengan patch cord LC-nya, jangan satu-satu. Cerita saya yang mirip berakhir persis begitu: ganti modul dan kabel di dua port bermasalah, setelah itu porterrshow selama sehari penuh di bawah beban tetap nol, dan fabric-nya tidak berantakan lagi.Logikanya sederhana: dengan koneksi langsung ada dua konektor di jalurnya, lewat switch jadi empat, plus dua modul ekstra. SFP yang pas-pasan dayanya atau kabel berdebu, yang masih bisa ditarik koneksi langsung, tidak akan kuat menempuh jalur seperti itu. Jadi online di switchshow itu bukan diagnosis, cuma fakta bahwa dia berhasil login.
switchshow cuma bilang satu hal: port-nya melihat cahaya dan berhasil login ke fabric. Soal kualitas sinyal dia tidak tahu apa-apa, jadi percaya padanya dalam situasi begini itu sia-sia.
Jalankan
portstatscleardi ketiga port-nya, beri beban, lalu lihatporterrshow- yang menarik itu crc_err dan enc_out, apakah naik dan di port yang mana persisnya. Sekaliansfpshowper port: daya di sisi penerima dan tegangannya, berguna dibandingkan antar port. Dan tunjukkan apa yang keluar darisysctl dev.isp.0di sisi FreeNAS pada saat target-nya lepas.Sudah bersihkan counter, beri beban, lihat hasilnya. Gambarannya begini: di dua port crc_err dan enc_out naik dalam kelompok, dan persis di momen yang sama saat Buffer I/O error berhamburan di node-nya, sementara di port ketiga tetap nol.
sfpshowdi dua port yang sama itu menunjukkan penerimaan yang jauh lebih rendah dibanding port sebelahnya, dengan panjang kabel yang sama.sysctl dev.isp.0saat target-nya lepas menunjukkan HBA-nya reinit ulang, jadi dia bereaksi terhadap putusnya koneksi, bukan menyebabkannya. Sepertinya ini soal fisik, bukan Proxmox atau target-nya.Jebakan serupa juga bisa terjadi di luar FC, jadi counter-nya tetap layak dilihat dalam kondisi apa pun. Ada kombinasi Intel X520-2 dengan modul 10Gtek SR di 850 nm dan Brocade FastIron CX 648S-PoE dengan modul FCX-2XG dan XFP merek Brocade, lima meter fiber di antara keduanya.
Server-nya jujur menaikkan 10GbE dan mengirim, tapi penerimaannya sama sekali tidak ada, dan port di switch-nya nyangkut di Up dengan speed None. Sudah dicek
show media, dicocokkan panjang gelombang dan jarak dari kedua sisi, dimatikan negosiasi trunk di port-nya - tidak ada yang berhasil, speed di XFP tidak bisa dikunci. Fiber yang sama di port SFP+ jalan tenang-tenang saja di gigabit. Moralnya persis sama seperti punya kamu: Up di port tidak berarti frame-nya sampai.