Accton AS9716-32D na 100G: INNOLIGHT QSFP28 LR4 linkuje do Aristy, ale nigdy do Fortigate 3810D CFP2-LR4
Podnosimy leaf na Accton AS9716-32D z SONiC master (build master.207726). Cztery z portów zdolnych do 400G mają chodzić na 100G do pary firewalli, i ani jeden nie chce złapać linku.
- Accton AS9716-32D, SONiC master.207726
- INNOLIGHT TR-FC13R-N00 QSFP28 LR4 w klatce switcha
- Fortigate 3810D z CFP2-LR4 po drugiej stronie
- porty wymuszone na 100G, autoneg off, RS FEC, MTU 9100
sudo config interface speed Ethernet0 100000
show interfaces status
Interface Speed MTU FEC Admin Oper
Ethernet0 100G 9100 rs up downCo próbowałem:
- port jako 2 lane z PAM4 i jako 4 lane z NRZ, bez różnicy w żadną stronę
sudo config interface fec Ethernet0 nonezamiast RS FEC- te same moduły INNOLIGHT i ten sam światłowód na porcie QSFP28 Aristy, gdzie link wstaje od razu
Czyli optyka i światłowód są czyste. Coś w tym, jak ten port 400G jest napędzany przy 100G, albo w tym, czego strona CFP2 oczekuje na lane, trzyma go ciemnym. Czy ktoś miał klatkę 400G na tej platformie gadającą 100G do CFP2-LR4, i jak wyglądał profil portu?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 7
Dwa pytania, zanim ktokolwiek zacznie od arytmetyki lane. Co mówi Fortigate po swojej stronie, czy CFP2 widzi światło i zostaje down, czy w ogóle nie rejestruje modułu? I jaki FEC jest skonfigurowany na porcie 3810D?
Na parze LR4 RS FEC włączony dokładnie na jednym końcu wystarczy, żeby trzymać link down na zawsze, a porty CFP2-LR4 zwykle w ogóle nie mają RS FEC do włączenia.
Fortigate pokazuje interfejs down i nic użytecznego w licznikach. Moduł jest tam rozpoznawany, a ten port niósł link 100G do innego boxa, zanim czegokolwiek dotknęliśmy. Po tej stronie w ogóle nie znajduję ustawienia FEC, ani jawnego, ani ukrytego.
Po naszej stronie RS FEC schodzi czysto: po
sudo config interface fec Ethernet0 nonekolumna FEC pokazujenone, port się odbija i wraca admin up, oper down dokładnie tak samo. Czyli zdjęcie RS FEC na samym switchu nic nam nie daje.Te dwa profile, które próbowałeś, nie są równoważne, i jeden z nich nie może zadziałać z konstrukcji. CFP2-LR4 to interfejs czterolane'owy NRZ: cztery elektryczne lane po 25G w stronę hosta, cztery długości fali na światłowodzie. Jeśli twój profil portu stawia klatkę na 2 lane PAM4, switch napędza 2x50G w peera, który musi oddać cztery lane NRZ swojej stronie liniowej, i nic się nie wytrenuje niezależnie od ustawienia FEC. Jedyny profil-kandydat w tej parze to 4 lane NRZ.
Po ustaleniu tego, zmienną, która zostaje, jest FEC. 100GBASE-LR4 nie niesie RS FEC, a port CFP2-LR4 zwykle w ogóle nie daje sposobu, żeby go włączyć, co zgadza się z tym, co znalazłeś na Fortigate. Jeśli twoja strona wciąż ma
rsna tym porcie, samo to wystarczy, żeby wytłumaczyć trwale ciemny link.Więc: 4-lane NRZ, autoneg off,
sudo config interface fec Ethernet0 none, odbij port, a potem odczytaj z powrotemshow interfaces status, żeby sprawdzić, czy oba ustawienia faktycznie się przyjęły.Dorzucam do tego nudny kąt standardów. Nic tu nie negocjuje FEC, to statyczna właściwość obu końców i musi się zgadzać na każdym lane linku. Wytyczne producenta dla channelized 100G mówią to samo w jednym zdaniu: gdy port 100G jest rozbity na lane 25G, oba końce każdego lane muszą chodzić w tym samym trybie FEC, albo lane nigdy się nie wytrenują.
Warto też zrzucić, co faktycznie deklaruje EEPROM TR-FC13R-N00. Te moduły zgłaszają zgodność z 100GBASE-LR4 i 25GBASE-LR, a niektóre platformy wybierają domyślny tryb lane z tego pola, a nie z tego, co wpisałeś w konfigu.
Inni vendorzy, ten sam kształt. Miałem link 100G między MikroTik CCR2216 a Aristą po optyce QSFP28 SR4, który stał przez miesiące, a potem po prostu przestał wstawać. RouterOS w tym oknie przeszedł z 7.8 na 7.12.1. Oba końce wymuszone: auto-negotiation=no, fec-mode=fec91, MTU 9000 i 100G-baseSR4-LR4 na CCR, 100gfull z korekcją błędów reed-solomon na Ariście. Wymiana optyki nic nie zmieniła, moc odbioru na wszystkich czterech lane była zdrowa, a rozbicie portu na 4x25G dało mi tylko flapujące lane.
Tam też nigdy nie znalazłem odpowiedzi, ale wzorzec jest ten sam co u ciebie: optyka jest niewinna, a sterownik portu jednej strony zmienił się pod tobą. Jeśli siedzisz na snapshocie master, to pierwsza zmienna, którą bym ruszył.
Uważaj z ostatnim krokiem. Ustawienie FEC na none i zobaczenie
nonew wyniku nie jest dowodem, że port działa bez RS FEC. Na kilku z tych platform wartość ląduje w bazie konfiguracji, a CLI chętnie ją odczytuje z powrotem, podczas gdy serdes trzyma tryb, z którym został zaprogramowany, dopóki port nie zostanie naprawdę odtworzony. Zmiana prędkości na klatce zdolnej do 400G i tak go odtwarza, więc te dwa przełączniki wchodzą w interakcję i kolejność ma znaczenie.Ta sama ostrożność dla profilu lane: na klatce zdolnej do breakout bierze się to z konfiguracji portu platformy, nie z samego
sudo config interface speed. Jeśli profil nigdy nie został zregenerowany, obie twoje próby całkiem możliwe, że chodziły na tej samej, leżącej u podstaw mapie lane, co tłumaczyłoby, dlaczego PAM4 i NRZ wyglądały identycznie. Przeładuj box po zmianie i sprawdź od zimnego startu.Przeszedłem przez to wszystko. Port odtworzony jako 4 lane NRZ, FEC none po naszej stronie, autoneg off, config zapisany, pełny reload, sprawdzone ponownie od zimnego startu. Para CFP2 wciąż jest down. RS FEC na Fortigate naprawdę nie jest wystawiony, więc nie możemy nawet stworzyć pasującego mismatchu z tamtej strony.
Tymczasem ten sam INNOLIGHT TR-FC13R-N00 w tej samej klatce linkuje z portem QSFP28 Aristy w ciągu sekund, więc moduły i światłowód zostają czyste.
Chciałem załączyć pełny zrzut techniczny, ale tutaj przekracza limit rozmiaru. Na razie cztery porty zostają down, a uplinki firewalla przeniosły się na inny box. Jeśli ktoś ma port 400G na tej platformie faktycznie gadający 100G do CFP2, chciałbym wiedzieć, na jakim profilu skończyliście.