Какие трансиверы всё ещё линкуются на Aruba 8360-32Y4C, если группа интерфейсов принудительно выставлена на 50g
Поднимаем пару 8360-32Y4C в качестве листовых коммутаторов, и план по нисходящим линкам намеренно смешанный: в основном 25G к серверам, пара портов 50G к вычислительному шасси и несколько медленных медных линков для оборудования out-of-band. Поскольку нисходящие линки SFP56 сгруппированы, а скорость задаётся на группу, я хочу понять, что именно запрещает настройка группы, прежде чем зафиксировать карту портов.
- Aruba 8360-32Y4C, AOS-CX 10.15
- модуль SFP56 50G в группе, которую я выставил на 50g
- DAC SFP+ 10G и DAC SFP28 25G в других портах той же группы
- J9054D SFP 100 Мбит/с планируется для двух линков OOB
При принудительно выставленной на 50g группе медленные модули так и не поднимаются:
8360(config)# system interface-group 4 speed 50g
8360# show interface transceiver
1/1/13 SFP56 50G up
1/1/14 SFP+ 10G DAC Waiting for link
1/1/15 SFP28 25G DAC Waiting for linkЧто я уже сделал:
- переустановил оба DAC и переставил их на другие порты внутри той же группы
- проверил, что дальние концы настроены на свою родную скорость
- убедился, что те же DAC линкуются на коммутаторе, где группа оставлена на 25g
Итак: в группе, выставленной на 50g, действительно линкуются только модули SFP56 50G? Принимает ли группа 25g всё, что медленнее, и верно ли то же самое для группы, выставленной на 10g? И в руководстве по трансиверам для портов 5-32 указан J9054D SFP 100 Мбит/с - кто-нибудь реально запускал такой там?
Comments 6
Скорость группы - это не косметическая метка, это набор скоростей, на которых разрешено работать портам этой группы. При группе на 50g линкуется только модуль SFP56 50G; модуль 10G или 25G в этой группе - недопустимая скорость и остаётся в down, ровно то, что вы и увидели.
Группа на 25g - это разрешающая настройка: в ней линкуется 25G и всё, что медленнее, так что смешанный ряд из DAC 25G и 10G плюс медь - совершенно нормальная конфигурация:
Две оговорки, прежде чем зафиксировать карту. Порты 1/1/1-1/1/4 - это порты с поддержкой MACsec, и они играют по своим собственным правилам, так что планируйте их отдельно и тестируйте именно с тем модулем, который собираетесь использовать. И я бы не стал ничего обещать про группу на 10g или про J9054D на 100 Мбит/с - у меня самого такого никогда не стояло в сгруппированном порту, и никто из тех, кого я спрашивал, тоже не подтвердил. Для медленного конца справочником по-прежнему остаются диапазоны по портам из официального руководства по трансиверам для 8360. Если вам нужно 100M на портах 5-32 для OOB, купите один модуль и проверьте его на стенде, прежде чем заказывать шестнадцать.
Тут решают две вещи, и в вашем сообщении не хватает обеих. Из каких портов состоит группа - есть ли среди них 1/1/1-1/1/4? Эти четыре - порты с поддержкой MACsec на 32Y4C, и они не следуют тем же правилам, что 5-32, так что тест, сделанный на них, ничего не скажет об остальной части устройства.
И приведите
show interface transceiverпри группе на 25g вместо 50g. Если там поднимутся DAC 10G и 25G, значит модули и дальние концы в порядке, и вы спорите только со скоростью группы.Группа 4 - это порты 1/1/13-1/1/16, то есть ничего из диапазона 1-4 - те по-прежнему пустые.
Я переставил SFP56 в другую группу, которая остаётся на 50g (там он поднят), и понизил группу 4 до 25g. Картина меняется немедленно:
Так что модули, DAC и кабели - не проблема. Дело только в скорости группы и ни в чём больше.
Раз уж на то пошло, группа на 25g действительно настолько разрешающая. У меня на лабораторном 8360 одна группа стоит на 25g, и сейчас в ней одновременно подняты DAC 10G, медный модуль 1G-BT и DAC 25G, плюс DAC 40G и 100G на портах QSFP. Ничто из этого не расстраивает настройку группы.
Не по теме, но полезно знать, раз уж вы это строите: мы потеряли два дня на линке 8325-32C - 8360-32Y4C с DAC 40G X242 (JH234A), который отказывался подниматься. Сторона 8325 сообщала
Module interface error, а сторона 8360 держалась наWaiting for link, обе на GL.10.07.0020. Это оказался программный дефект, а не кабель - загрузка 8325 со второго образа 10.06.0110 подняла линк сразу же, а 10.07.0021 исправила это окончательно. 8360 вообще не потребовал никаких изменений. Так что если модуль, который должен поддерживаться, сообщает об ошибке модуля, а не просто об отсутствии линка, сначала смотрите на версию ПО, прежде чем винить оптику.Стоит усвоить общую форму этого явления, потому что это не особенность именно Aruba. Разрешённый набор скоростей порта ограничивает модуль, и эти коробки редко откатываются сами по себе.
Та же история на Spectrum: на SN2100 или SN2700 с Onyx 3.10.4100 DAC 10G за переходником Amphenol QSA (624380003) нормально читается по I2C, но никогда не линкуется, пока порт всё ещё выставлен только на 100G.
mlxlink -d /dev/mst/mt52100_pci_cr0 -p 15 -mвсё расписывает -State: Disable,Enabled Link Speed 0x00b00000,Supported Cable Speed 0x00001001, рекомендацияCable speed not enabled. Добавьте 10G в разрешённые скорости, и порт переходит в LinkUp на 10GbE.А на UCS 6248 настоящий GLC-SX-MMD помечается как
SFP Validation Failedисключительно потому, что унифицированный порт всё ещё стоит на значении по умолчанию 10 Гбит/с; выберите на порту 1 Гбит/с, и модуль принимается как аплинк. Разные вендоры, один и тот же вопрос каждый раз: разрешает ли порт ту скорость, на которой говорит модуль.Закрываю круг тем, что смог подтвердить на своём железе. Группа на 50g принимает модули SFP56 50G и ничего больше; группа на 25g несёт DAC 25G и 10G бок о бок без единой жалобы. Это покрывает основную часть карты портов, так что серверы и вычислительное шасси решены, а диапазон 1-4 остаётся вне плана, пока я не смогу протестировать его как следует.
Всё ещё открыто: группу на 10g я не пробовал, и прямого ответа по J9054D на 100 Мбит/с в портах 5-32 я так и не получил. Один модуль уже заказан, и он пойдёт на стенд прежде чем куда-либо ещё. До тех пор линки OOB остаются на группе 25g с медью, а руководство по трансиверам - это то, что я цитирую комиссии по изменениям для диапазонов по портам.