Один порт X520-DA2 держит только 1 Гбит/с в iperf3 после перехода с TrueNAS Core на SCALE 24.10
Хранилище перешло с Core 13.0-U6.7 на SCALE 24.04, а затем на 24.10, и с тех пор один порт еле ползёт, а его близнец на той же карте чувствует себя прекрасно. Карта 25G ведёт себя так же, из-за чего я начинаю сомневаться в собственных глазах.
- Intel X520-DA2 с многомодовой оптикой SFP+ Intel, 10G до коммутатора
- Intel XXV710-DA2 с оптикой SFP28 Intel, 25G до того же коммутатора
- TrueNAS SCALE 24.10 на NAS (был Core 13.0-U6.7, потом 24.04)
- iperf3 между NAS и клиентом как мерило
Состояние линка на медленном порту выглядит ровно так, как должно:
$ ethtool enp1s0f0 | grep -E 'Speed|Duplex|Link detected'
Speed: 10000Mb/s
Duplex: Full
Link detected: yes
$ iperf3 -c 192.168.3.2
# застывает около 1 Гбит/с на весь прогон
# второй порт той же карты идёт на полной скорости со своим клиентомУже сделано:
- поменял оптику местами между двумя портами карты; медленный порт остался медленным, быстрый остался быстрым
- сравнил sysctl net.ipv4.tcp_congestion_control на обоих концах - значение одинаковое
- переустановил разъёмы с обеих сторон и почистил феррулы
Всё, что измеримо на уровне линка, говорит про 10G и 25G full duplex, а полезная нагрузка всё равно застряла примерно на гигабите. Деградируют модули, умирает сетевая карта, или я смотрю не на тот уровень?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 3
Вы уже сами исключили оптику: поменяли модули местами между портами, и медлительность осталась за портом. Так что оставьте модули в покое и разделите факты уровня линка и цифры пропускной способности - они отвечают на разные вопросы.
Обычно между быстрым и медленным портом на одной карте различаются две вещи. Посмотрите на них вместе:
Если один сидит на MTU 1500, а другой на 9014, и они в разных VLAN, то ваш медленный тест идёт не туда-обратно через сетевую карту, а через путь маршрутизации хоста. Поставьте клиента в тот же VLAN и подсеть, что и медленный порт, и запустите iperf3 -c против него. Никакого роутера на пути, никакого несовпадения MTU, спорить не о чем.
Если тест внутри одного VLAN даёт полную скорость, порт и трансивер в порядке, а вы на самом деле измерили производительность маршрутизации между VLAN на хосте, и туда упирается заметная часть переходов с Core на SCALE: пересылка между VLAN заметно хуже, чем была под Core.
Это скорее диагноз, чем лекарство. Большую часть скорости вернёте, если держать тяжёлые потоки внутри одного VLAN или передать маршрутизацию коммутатору вместо NAS. Как минимум это удержит вас от возврата двух совершенно исправных модулей SFP+.
Прежде чем кто-то начнёт вынимать оптику: что говорит коммутатор об этих двух портах? Согласованная скорость, дуплекс и счётчики ошибок на обоих. И на каком конце работает сервер iperf3 в медленном тесте - держится ли потолок, когда вы разворачиваете прогон и гоните с другой стороны?
Затем опубликуйте MTU и VLAN медленного порта и быстрого рядом друг с другом. Порт, который согласовывает 10G, а передаёт только гигабит полезной нагрузки, почти всегда - проблема пересылки или пути, а не оптики. Если два порта не в одном VLAN, iperf3 оценивает ваш роутер, а не ваш линк.
Другое железо, тот же рисунок. Две машины напрямую на картах X520-DA через DAC SFP+, Hyper-V Server Core 2012 R2 с одной стороны и хранилище NAS4Free 9.1 с другой. Напрямую эта пара давала 8-9 Гбит/с на чтение и запись. В тот момент, когда порт привязывали к виртуальному коммутатору Hyper-V, скорость падала примерно до 500 Мбит/с, а повторное тестирование карт под Windows Server 2012 R2 и Windows 8.1 вообще ничего не меняло.
Это так и не было доказано. Единственный ответ, который я получил, спрашивал, какие диски и какой уровень RAID стоят за каждым концом, что справедливый вопрос, потому что хранилище может быть потолком задолго до пути 10G. Привычка, которую я из этого вынес: измерять один и тот же линк с дополнительным слоем и без него, и по возможности против RAM-диска. Кабель и карты там тоже были ни при чём.