Brocade G720 держит все порты 64G SFP-DD в состоянии Module_Invalid даже с применённой лицензией DD PoD
Нам достались пара Connectrix DS-7720B (Brocade G720) под новую фабрику, и до зонирования я даже не добрался, потому что ни один из портов double density не поднимается. В switchshow все они выдают одно и то же:
Index Port Address Media Speed State Proto
====================================================
48 48 031800 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)
49 49 031900 dd -- Module_Invalid (Speed Mismatch / Incompatible SFP)Что стоит в стойке:
- Connectrix DS-7720B / Brocade G720, Fabric OS всё ещё на линии 9.0.x, с которой поставлялся
- лицензия Double Density Ports on Demand установлена и отображается как применённая
- фирменные трансиверы Brocade 64G FC SFP-DD, партномер 57-1000505-01
- фирменные патч-корды из той же коробки, что и оптика
Прежде чем кто-то предложит очевидное: я переустанавливал каждый модуль и переставлял два из них между портами, и неисправность остаётся за портами, а не переезжает вместе с модулями. Лицензия Double Density Ports on Demand действительно применена, а не просто заказана, проверял дважды. Патч-корды менял, коннекторы чистил - без разницы. Обычные порты на том же шасси спокойно гоняют трафик, так что коммутатор не мёртв.
Нам подсунули бракованную партию double density оптики, или коммутатор списывает их со счетов ещё до того, как толком посмотрел, что стоит в слоте?
Comments 6
С оптикой у вас всё в порядке. Проблема в прошивке.
64G FC SFP-DD на G720 поддерживается начиная с Fabric OS 9.1.0. На 9.0.x прошивка вообще не имеет понятия об этом форм-факторе, поэтому не может определить, что сидит в слоте, и по умолчанию объявляет несовместимость - это в точности тот Module_Invalid со Speed Mismatch / Incompatible SFP, который вы видите на каждом порту double density. Ваша практическая проверка говорит о том же с другой стороны: обычная оптика зажигается именно в том порту, который отказывается принимать dd-модуль, а второе шасси ведёт себя точно так же, потому что на нём стоит идентичная прошивка.
Ваша деталь, 57-1000505-01, числится в Brocade Transceiver Support Matrix, и именно в этой матрице записана минимальная прошивка для каждой платформы. Для G720 эта запись начинается с 9.1.0. Обновитесь до 9.1.0 или выше - и эти порты поднимутся с уже вставленной в них оптикой.
Та же история с блейдом в коробке. У каждой платформы Gen 7 в матрице свой минимум - G730 (DS-7730B), 7850 (MP-7850B) и FC64-64 в том числе - так что проверяйте каждую, прежде чем переставлять на неё double density оптику, иначе потеряете ещё один вечер на следующей коробке.
Что бы вы ни делали дальше, не отправляйте модули обратно поставщику.
Повремените с оформлением RMA, потому что на целую партию мёртвой оптики это отсюда не похоже. Module_Invalid, когда dd уже сидит в столбце media, означает, что коммутатор что-то из слота вытащил и ему это не понравилось. По-настоящему мёртвый модуль обычно до этого места не доходит - вы бы увидели статус no-module.
Три вещи помогут сузить причину, и ни одна из них ничего не будет стоить:
И пока не думайте про лицензию. Ports on Demand разблокирует порты; она не учит прошивку форм-фактору, с которым та никогда не сталкивалась.
Хорошая мысль насчёт позаимствованной оптики. Вытащил рабочий модуль Brocade из одного из обычных портов, вставил в порт 48, и он сразу поднялся как F-Port. Вставил обратно 64G SFP-DD в этот же порт - и снова Module_Invalid через секунду-две. Так что слот живой, лицензия делает своё дело, и сам порт в порядке - коммутатор просто не принимает именно модули double density.
Оба коммутатора, да. Второй DS-7720B по большей части ещё в ящике, но я поставил в него два dd-модуля на стенде и получил ту же самую строку, так что это не неисправность одного шасси.
Gen 7 ещё где-то: в продакшене пока ничего, но есть блейд FC64-64 в коробке, ждущий слота в директоре, и куплен он был именно под эту оптику. Если и там укусит, лучше узнать сейчас, чем в окно миграции.
Другой вендор, та же форма ловушки. Пишу на случай, если это сэкономит кому-то ещё вечер вытаскивания модулей из слотов.
Dell S5248F-ON, master-сборка SONiC. Ни один порт SFP28 не работал. Все светодиоды портов горят ровно, а show interface transceiver presence вообще не показывает трансиверов - при абсолютно исправной оптике в слотах.
Ничего оптического тут не было. Контейнер platform monitor был не поднят: pmon не работал, как и pcied, xcvrd и psud. Именно xcvrd разговаривает с модулями по I2C, так что с ним мёртвым никто вообще не читал EEPROM, а CLI честно сообщал то, что знал, то есть ничего. docker ps и show system-health detail рассказали всю историю за минуту - уже после того, как я убил полдня на перестановку модулей.
То же семейство проблемы на Z9264F, где конструктор Sfp в плагине платформы падал с AttributeError: 'Sfp' object has no attribute 'port_type' и утаскивал за собой determine-reboot-cause.service при загрузке. Когда целый класс портов ведёт себя одинаково плохо, оптику стоит подозревать почти в последнюю очередь.
Вторая половина этой истории неброская, и именно на неё уходит реальное время. Переход Fabric OS на коммутаторе, за которым пока ничего не стоит, всё равно остаётся окном изменений, а не тем, что делают между двумя совещаниями, так что сначала разберитесь, что ещё в фабрике должно переехать вместе с ним, и оформите простой как положено.
Поскольку тот FC64-64 всё ещё в коробке: поставьте на него 9.1.0 или выше прежде, чем он вообще увидит double density оптику. Иначе повторите эту же тему в директоре, а не в edge-коммутаторе, и с публикой.
Ещё одна практическая вещь. Успейте связаться с поставщиком до того, как он оформит RMA. Эти модули прекрасно себя идентифицируют, просто у хоста пока нет для них записи в таблице. Если поставщик примет их обратно как бракованные, вы три недели прождёте партию замены, которая будет вести себя точно так же, а потом всё равно придётся делать апгрейд.
Подтверждаю, дело было в прошивке.
Оба коммутатора обновили до 9.1.0 в окно на выходных, и после перезагрузки каждый порт double density вышел из Module_Invalid и поднялся на 64G с теми же самыми модулями 57-1000505-01, что всё это время сидели в них. Ничего не переустанавливал, ничего не менял, ничего не перекоммутировал.
Лицензия оказалась той самой ложной зацепкой, за которой я гонялся - применена правильно с самого начала, просто не могла ничего сделать полезного на 9.0.x. Блейд идёт на 9.1.0 прежде, чем окажется хоть рядом со слотом в директоре, и я написал это на коробке, в которой он лежит. Сэкономило нам RMA и довольно неловкий разговор с поставщиком.