Accton AS9716-32D a 100G: QSFP28 LR4 INNOLIGHT linka com Arista, mas nunca com um Fortigate 3810D CFP2-LR4
Estamos subindo uma leaf num Accton AS9716-32D rodando SONiC master (build master.207726). Quatro das portas com capacidade de 400G precisam rodar a 100G em direção a um par de firewalls, e nenhuma delas linka.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 na gaiola do switch
- Fortigate 3810D com um CFP2-LR4 na ponta remota
- portas forçadas a 100G, autoneg desligado, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downO que tentei:
- a porta como 2 lanes com PAM4 e como 4 lanes com NRZ, nenhuma diferença em nenhuma das duas direções
sudo config interface fec Ethernet0 noneem vez de RS FEC- os mesmos módulos INNOLIGHT e a mesma fibra contra uma porta QSFP28 da Arista, onde o link sobe imediatamente
Então a óptica e a fibra estão liberadas. Alguma coisa em como essa porta 400G é operada a 100G, ou no que o lado CFP2 espera nas lanes, mantém isso apagado. Alguém já teve uma gaiola 400G nessa plataforma falando 100G com um CFP2-LR4, e como ficou o perfil da porta?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Duas perguntas antes de alguém começar com a aritmética de lanes. O que o Fortigate diz do lado dele, o CFP2 vê luz e fica down, ou ele nem registra o módulo? E qual FEC está configurado na porta do 3810D?
Num par LR4, RS FEC habilitado em exatamente uma ponta já basta para manter o link down para sempre, e portas CFP2-LR4 normalmente nem têm RS FEC para ligar, para início de conversa.
O Fortigate mostra a interface down e nada útil nos contadores. O módulo é reconhecido lá, e aquela porta carregava um link 100G para outra caixa antes de tocarmos em qualquer coisa. Não consigo achar nenhuma configuração de FEC daquele lado, exposta ou escondida.
Do nosso lado o RS FEC sai limpo: depois de
sudo config interface fec Ethernet0 nonea coluna FEC mostranone, a porta reinicia e volta admin up, oper down exatamente do mesmo jeito. Então tirar o RS FEC só no switch não nos compra nada.Os dois perfis que você tentou não são equivalentes, e um deles não pode funcionar por construção. Um CFP2-LR4 é uma interface NRZ de quatro lanes: quatro lanes elétricas de 25G em direção ao host, quatro comprimentos de onda na fibra. Se o perfil da sua porta coloca a gaiola em 2 lanes de PAM4, o switch está operando 2x50G contra um peer que precisa entregar quatro lanes NRZ para o lado de linha dele, e nada treina, seja qual for a configuração de FEC. O único perfil candidato nesse pareamento é 4 lanes de NRZ.
Com isso corrigido, a variável que resta é o FEC. 100GBASE-LR4 não carrega RS FEC, e uma porta CFP2-LR4 tipicamente não oferece nenhuma forma de ligar isso, o que bate com o que você encontrou no Fortigate. Se o seu lado ainda tem
rsnaquela porta, só isso já basta para explicar um link permanentemente apagado.Então: NRZ de 4 lanes, autoneg desligado,
sudo config interface fec Ethernet0 none, reinicia a porta, depois lê oshow interfaces statusde volta para checar se as duas configurações realmente pegaram.Acrescentando o ângulo chato dos padrões a isso. Nada negocia FEC aqui, é uma propriedade estática das duas pontas, e tem que bater em cada lane do link. A orientação do vendor para 100G channelised diz a mesma coisa numa frase: quando uma porta 100G é quebrada em lanes de 25G, as duas pontas de cada lane precisam rodar o mesmo modo de FEC, ou as lanes nunca treinam.
Também vale a pena tirar um dump do que a EEPROM da TR-FC13R-N00 realmente declara. Esses módulos reportam conformidade 100GBASE-LR4 e 25GBASE-LR, e algumas plataformas escolhem o modo de lane padrão a partir desse campo, em vez do que você digitou na configuração.
Vendors diferentes, mesmo formato. Tive um link 100G entre um MikroTik CCR2216 e uma Arista sobre óptica QSFP28 SR4 que ficou de pé por meses e simplesmente parou de subir. O RouterOS tinha ido da 7.8 para a 7.12.1 nesse intervalo. As duas pontas forçadas: auto-negotiation=no, fec-mode=fec91, MTU 9000 e 100G-baseSR4-LR4 no CCR, 100gfull com reed-solomon error correction na Arista. Trocar a óptica não mudou nada, a potência recebida nas quatro lanes estava saudável, e dividir a porta em 4x25G só me deu lanes oscilando.
Também nunca achei a resposta ali, mas o padrão é o mesmo que o seu: a óptica é inocente, e o driver de porta de um lado mudou debaixo de você. Se você está num snapshot master, essa é a primeira variável que eu mexeria.
Cuidado com o último passo. Configurar o FEC como none e ver
nonena saída não é prova de que a porta está rodando sem RS FEC. Em várias dessas plataformas, o valor cai no banco de configuração e a CLI o imprime de volta contente, enquanto o serdes mantém o modo com que foi programado até a porta ser realmente recriada. Uma mudança de velocidade numa gaiola com capacidade de 400G recria isso de qualquer jeito, então os dois parâmetros interagem, e a ordem importa.Mesma cautela para o perfil de lane: numa gaiola com capacidade de breakout, isso vem da configuração de porta da plataforma, não só do
sudo config interface speed. Se o perfil nunca foi regenerado, as suas duas tentativas podem muito bem ter rodado sobre o mesmo mapa de lanes por baixo, o que explicaria por que PAM4 e NRZ pareceram idênticos. Recarregue a caixa depois da mudança e confira a partir de um cold start.Passei por tudo isso. Porta recriada como 4 lanes de NRZ, FEC none do nosso lado, autoneg desligado, config salva, reload completo, conferido de novo a partir de um cold start. O par CFP2 continua down. O RS FEC no Fortigate genuinamente não é exposto, então nem conseguimos criar um mismatch correspondente daquele lado.
Enquanto isso, o mesmo INNOLIGHT TR-FC13R-N00 na mesma gaiola linka contra uma porta QSFP28 da Arista em segundos, então os módulos e a fibra continuam liberados.
Eu queria anexar o dump técnico completo, mas passa do limite de tamanho aqui. Por enquanto as quatro portas continuam down, e os uplinks do firewall foram movidos para outra caixa. Se alguém tiver uma porta 400G nessa plataforma realmente rodando 100G contra um CFP2, eu gostaria de saber com qual perfil vocês ficaram.