XG-7100 naar een carrier-demarcatie ADVA FSP150CP: link staat up, er komt nooit iets terug, SFP-LED rood
Klein kantoor, één huurlijn, en de carrier heeft die afgesloten op een ADVA FSP150CP die tegen de wand van de meterkast is geschroefd. Mijn taak is om onze eigen router op dat circuit te krijgen in plaats van er een van hen te huren, dus de ix0 SFP+-poort van een Netgate XG-7100 gaat rechtstreeks in de toegangspoort van de ADVA.
- Netgate XG-7100, WAN op ix0
- ADVA FSP150CP-demarcatiebox, geïnstalleerd en geconfigureerd door de carrier, wij hebben geen login
- drie verschillende 1G-optieken geprobeerd aan de routerkant
- LC-patchkabel die de installateurs hebben achtergelaten
De router is ervan overtuigd dat hij een link heeft. De demarcatiebox niet:
ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
media: Ethernet autoselect
status: active
# tcpdump -ni ix0
ARP, Request who-has <gateway> tell <wan address>, length 28
ARP, Request who-has <gateway> tell <wan address>, length 28De output-counters lopen op, de input-counters staan op nul, en de capture bevat nooit iets wat we niet zelf hebben verstuurd. De SFP-LED op de ADVA blijft rood bij elke module die ik in de router stop.
Tot nu toe geprobeerd:
- alle drie de optieken na elkaar, geen verandering aan de rode LED
- patchkabel vervangen en gereinigd
- carrier-support zegt dat het circuit tot aan de demarcatiebox schoon test en dat daar hun taak stopt
Welke module wil deze box eigenlijk, en zegt een rode SFP-LED mij dat mijn optiek fout is, of dat hun poort voor iets heel anders is geprovisioneerd?
Comments 6
Je eigen counters hebben je al verteld aan welke kant van de fiber je moet kijken, dus begin daar in plaats van bij een vierde module. Output loopt op, input staat vlak op nul, en de capture bevat niets behalve je eigen uitgaande ARP. Er komt op je ontvangstfiber helemaal niets binnen. Zo ziet een media-mismatch eruit vanaf de routerkant: je transmit verdwijnt in het duister, de verre kant antwoordt nooit, en de interface blijft active melden omdat de lokale kant tevreden is met wat hij kan zien.
De toegangspoort op een FSP150CP wordt door de carrier geprovisioneerd voor één mediatype - singlemode fiber, multimode fiber of RJ45 - en de module in de router moet dat fibertype en die golflengte matchen. Rood op de SFP-LED is de box die weigert wat hem is aangereikt. Als hij een module wel accepteert staat de Rate-LED groen op 1G, dus die twee lampjes samen zijn je testresultaat.
Wat dit niet is, is een vendor-whitelist. De mensen van de routervendor zelf hebben deze opstelling op de testbank nagebouwd met een ADVA 0061003008 in de demarcatiebox en gewone singlemode 1000BASE-LX-optieken in de XG-7100, en het kwam ook op met een Metrodata S12W1310S010C15C en met een FS SFP1G-LX-31. 1G-optieken van derden zijn niet wat je tegenhoudt.
Dus de zinvolle volgende stap is geen vierde module. Laat de carrier schriftelijk vastleggen voor welk mediatype die toegangspoort is geprovisioneerd, en match dat. Wel een eerlijke waarschuwing: precies hier lopen dit soort gevallen meestal vast. Houden ze de box op slot en willen ze het niet vertellen, dan koop je optieken en gok je er, één voor één, op los.
Er is meer dan één lampje op die box de moeite van het aflezen waard, en je hebt er maar één genoemd. Als de FSP150CP tevreden is met een module en de poort op een gig draait, wordt de Rate-LED groen. Staat die van jou groen, oranje of uit? Rood op de SFP-LED betekent dat de box zegt dat de module en de manier waarop de poort is ingesteld niet overeenkomen, en dat is niet hetzelfde als dat je optiek kapot is.
Tweede vraag, en dat is degene die dit echt beslist: waarvoor heeft de carrier die toegangspoort geprovisioneerd? Singlemode fiber, multimode fiber of RJ45 - en de routerkant moet overeenkomen met welke van de drie zij je hebben gegeven. Weet je welke het is?
En welke golflengte heeft elk van de drie optieken die je hebt geprobeerd? Op het label staat normaal 850 nm of 1310 nm, en dat is veel belangrijker dan het merk dat ernaast staat gedrukt.
Gevraagd, en door geweigerd te worden ben ik toch een heel eind bij een antwoord gekomen.
Eerst de lampjes, want dat was het enige wat ik zonder hun hulp kon checken. De Rate-LED gaat helemaal nooit aan - uit, niet oranje - terwijl de SFP-LED bij elke module rood blijft. En ik heb eindelijk de labels gelezen in plaats van de merken: alle drie de optieken zijn 1310 nm singlemode, één ervan een gewone 1000BASE-LX. Dus ik heb dezelfde test drie keer uitgevoerd en dat als drie tests geteld, wat op zich al een les is.
De rest liep op niets uit. Ze geven de configuratie niet vrij, ze zeggen niet waarvoor de toegangspoort is geprovisioneerd, en toen ik vroeg of ze in plaats daarvan de RJ45-poort konden inschakelen zodat we fiber helemaal uit de vergelijking konden halen, werd dat ook geweigerd. De box is van hen, de config is van hen, einde gesprek.
Dus het kantoor draait nu op een router die van de carrier is gehuurd, precies wat ik probeerde te vermijden, en de XG-7100 ligt op de plank. Ik laat dit open voor het geval iemand anders verder komt met zijn eigen demarcatiebox dan mij is gelukt.
Zelfde hoek, andere carrier-box, als dat een troost is. Weer een XG-7100, deze keer fiber naar een Adtran 5660, terwijl een circuit werd opgeschaald van 100 Mbps naar een gig. De firewallkant rapporteerde de poort als active en onderhandeld op 1000baseSX full duplex met een Ubiquiti UF-MM-1G erin. De Adtran bleef gewoon op DOWN/DOWN staan.
Het medium vastgezet in plaats van op autoselect te laten:
Geen verandering. Cisco- en Ciena-optieken doorgeroteerd, geen verandering. Overgestapt op een nieuwere development-build van de firewall-image omdat iemand dat voorstelde, geen verandering. Dezelfde optiek op dezelfde fiber linkte meteen de eerste keer in een UniFi-switch, dus de module was nooit het probleem, en de eigen support van de carrier had niets voor ons.
We hebben het uiteindelijk opgegeven en een UniFi-switch in het pad gelaten, die het circuit over een VLAN tussen twee van zijn poorten draagt, zodat de Adtran alleen nog de switch ziet. Rechtstreeks firewall naar CPE is nooit tot stand gekomen en ik kan je nog steeds niet vertellen waarom.
Laat ik het punt over het medium concreet maken, want "drie verschillende transceivers" is heel vaak één test die drie keer is uitgevoerd.
850 nm hoort bij SR en bij multimode glas; 1310 nm hoort bij LR en bij singlemode. Beide kanten moeten hetzelfde type zijn, er valt over die kloof niets te onderhandelen, en geen enkele interface-configuratie verandert welke golflengte de laser verlaat.
Die afstandscijfers zijn plafonds, geen bodems, en dat is waar mensen de andere kant op de mist in gaan: LR-modules aan beide kanten van een patch van drie meter binnen één rack zijn prima tevreden, ze willen alleen singlemode kabels. LR over multimode levert af en toe over een paar meter wel een link op, maar dat is gedrag buiten spec en niet iets om een betaald circuit aan op te hangen.
Het netste voorbeeld dat ik hiervan heb gezien was een FortiGate die geen link kreeg met switches met Brocade- en Extreme-optieken, en de hele discussie eromheen ging over merkincompatibiliteit. De Fortinet-module was 10G SR, de andere kant was 10G LR. Geen whitelist, geen vendor lock, gewoon multimode dat tegen singlemode aankijkt.
Ook dat zou ik niet onder vendor lock scharen, en ik zou voorzichtig zijn met hoe de workaround door iemand die dit later vindt wordt gelezen.
Een switch ertussen zetten bewijst dat je optiek, je fiber en je firewallpoort allemaal gezond zijn. Het zegt helemaal niets over waarom de CPE de link niet rechtstreeks wilde aannemen - het verplaatst het probleem achter iets waar de CPE wel mee wil praten, en laat het daar liggen.
Het medium vastzetten met ifconfig verandert ook alleen hoe de lokale interface de link behandelt. Het kan niet veranderen wat er uit de optiek komt, dus het zou een media-type-mismatch aan de verre kant nooit oplossen. In beide gevallen was het ene ding dat niemand kon zien hoe de carrier zijn toegangspoort had geprovisioneerd, en in beide gevallen ligt daar het antwoord.