TrueNAS Core'dan SCALE 24.10'a geçtikten sonra bir X520-DA2'nin bir portu iperf3'te sadece 1 Gbit/s veriyor
Depolama kutusu Core 13.0-U6.7'den SCALE 24.04'e, sonra da 24.10'a geçti, o zamandan beri aynı karttaki ikiz portlardan biri sürünürken diğeri gayet mutlu. 25G kart da aynı şekilde davranıyor, kendi gözlerimden şüphe etmemin sebebi de bu.
- Intel X520-DA2, Intel multimode SFP+ optikle switch'e 10G
- Intel XXV710-DA2, Intel SFP28 optikle aynı switch'e 25G
- NAS'ta TrueNAS SCALE 24.10 (önce Core 13.0-U6.7, sonra 24.04 idi)
- Ölçüt olarak NAS ile bir client arasında iperf3
Yavaş portun link durumu tam olması gerektiği gibi görünüyor:
$ ethtool enp1s0f0 | grep -E 'Speed|Duplex|Link detected'
Speed: 10000Mb/s
Duplex: Full
Link detected: yes
$ iperf3 -c 192.168.3.2
# parks itself around 1 Gbit/s for the whole run
# the second port of the same card does line rate against its own clientŞimdiye kadar yapılanlar:
- kartın iki portu arasında optikleri değiştirdim; yavaş port yavaş kaldı, hızlı olan hızlı kaldı
- her iki uçta sysctl net.ipv4.tcp_congestion_control'ü karşılaştırdım, aynı değer
- her iki ucu da yeniden oturttum ve ferrule'leri temizledim
Link katmanında ölçülebilen her şey 10G ve 25G full duplex diyor, payload ise hâlâ kabaca gigabit'te takılı kalıyor. Modüller mi bozuluyor, NIC mi ömrünü dolduruyor, yoksa yanlış katmana mı bakıyorum?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 3
Optikleri zaten kendin devre dışı bıraktın: portlar arasında değiştirdin ve yavaşlık portta kaldı. O yüzden modülleri rahat bırak, link katmanı gerçeklerini throughput rakamlarından ayır, çünkü ikisi farklı sorulara cevap veriyor.
Aynı karttaki hızlı ve yavaş port arasında normalde iki şey farklı olur. İkisine birlikte bak:
Biri MTU 1500'de, diğeri 9014'te oturuyorsa ve farklı VLAN'lardaysa, yavaş testin NIC'ten çıkıp geri dönmüyor demektir, host'un routing yolundan geçiyordur. Yavaş portla aynı VLAN ve subnet'te bir client koy ve ona karşı iperf3 -c çalıştır. Yolda router yok, MTU uyuşmazlığı yok, tartışacak bir şey kalmaz.
Tek VLAN'lı test sana line rate veriyorsa port ve transceiver sorunsuzdur, gerçekte ölçtüğün şey host'taki VLAN'lar arası routing performansı, Core'dan SCALE'e geçişlerin epey bir kısmının vardığı yer de tam olarak burası: VLAN'lar arası forwarding, Core'dakine göre gözle görülür şekilde daha kötü.
Bu bir teşhis, gerçek bir çare değil. Ağır akışları tek bir VLAN içinde tutarak ya da routing'i NAS yerine switch'e devrederek çoğunu geri kazanırsın. En azından bu, gayet sağlam iki SFP+ modülünü iade etmeni engeller.
Kimse optikleri sökmeye başlamadan önce: switch bu iki port hakkında ne diyor? Negotiate edilen hız, duplex ve her ikisindeki hata sayaçları. Bir de yavaş testte iperf3 server'ı hangi uçta çalışıyor - koşuyu ters çevirip diğer taraftan ittiğinde tavan yerinde mi kalıyor?
Sonra yavaş portun ve hızlı portun MTU'sunu ve VLAN'ını yan yana paylaş. 10G negotiate edip payload'da sadece bir gigabit taşıyan bir port, neredeyse her zaman bir forwarding ya da yol sorunudur, optik bir sorun değil. İki port aynı VLAN'da değilse iperf3 senin linkini değil router'ını not ediyor demektir.
Farklı donanım, aynı örüntü. Bir SFP+ DAC üzerinden X520-DA kartlarıyla sırt sırta iki kutu, bir tarafta Hyper-V Server Core 2012 R2, diğer tarafta bir NAS4Free 9.1 depolama kutusu. Doğrudan bağlandığında o çift okuma ve yazmada 8-9 Gbit/s yapıyordu. Port bir Hyper-V sanal switch'ine bağlanır bağlanmaz 500 Mbit/s gibi bir değere düştü, kartları Windows Server 2012 R2 ve Windows 8.1 altında yeniden test etmek de hiçbir şeyi değiştirmedi.
Hiçbir zaman kanıtlanmadı. Aldığım tek cevap her iki ucun arkasında hangi diskler ve hangi RAID seviyesi olduğunu sordu, bu makul bir soru, çünkü depolama, 10G yolu tavana vurmadan çok önce kendi tavanı olabilir. Bundan edindiğim alışkanlık: aynı linki ekstra katman takılıyken ve çıkarılmışken, mümkünse bir de RAM disk'e karşı ölçmek. Orada da kablo ve kartlar sorun değildi.