XG-7100 collegato a un demarc ADVA FSP150CP del carrier: il link è up, non torna mai niente, LED SFP rosso
Ufficio piccolo, una linea in affitto, e il carrier l'ha terminata su un ADVA FSP150CP avvitato al muro dell'armadio tecnico. Il mio compito è portare un nostro router su quel circuito invece di affittarne uno da loro, quindi la porta SFP+ ix0 di un Netgate XG-7100 va dritta nella porta di accesso dell'ADVA.
- Netgate XG-7100, WAN su ix0
- box di demarcazione ADVA FSP150CP, installato e configurato dal carrier, nessun accesso per noi
- tre ottiche 1G diverse provate sul lato router
- bretella LC lasciata dagli installatori
Il router è convinto di avere link. Il demarc no:
ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
media: Ethernet autoselect
status: active
# tcpdump -ni ix0
ARP, Request who-has <gateway> tell <wan address>, length 28
ARP, Request who-has <gateway> tell <wan address>, length 28
I contatori in uscita salgono, quelli in ingresso restano a zero, e la cattura non contiene mai nulla che non abbiamo mandato noi stessi. Il LED SFP sull'ADVA resta rosso con ogni modulo che metto nel router.
Provato finora:
- tutte e tre le ottiche una dopo l'altra, nessun cambiamento al LED rosso
- bretella sostituita e pulita
- il supporto del carrier dice che il circuito risulta pulito fino al demarc e che lì finisce il loro compito
Quale modulo vuole davvero questo apparato, e un LED SFP rosso mi sta dicendo che la mia ottica è sbagliata o che la loro porta è provisionata per tutt'altro?
Comments 6
I tuoi contatori ti hanno già detto da che lato della fibra guardare, quindi parti da lì invece che da un quarto modulo. Uscita che sale, ingresso fermo a zero, nella cattura niente tranne il tuo stesso ARP in uscita. Sulla fibra di ricezione non arriva assolutamente nulla. Ecco come si presenta un mismatch di media dal lato router: la tua trasmissione sparisce nel buio, il lato remoto non risponde mai, e l'interfaccia continua a segnalare active perché il lato locale è soddisfatto di quello che vede.
La porta di accesso su un FSP150CP viene provisionata dal carrier per un solo tipo di media - fibra monomodale, fibra multimodale o RJ45 - e il modulo nel router deve corrispondere a quel tipo di fibra e a quella lunghezza d'onda. Il rosso sul LED SFP è l'apparato che rifiuta quello che gli è stato dato. Quando invece accetta un modulo, il Rate LED resta verde a 1G, quindi quelle due spie insieme sono il tuo risultato del test.
Quello che questo non è, è una whitelist per vendor. Il personale del vendor del router ha rifatto questo scenario su banco con un ADVA 0061003008 nel demarc e normali ottiche monomodali 1000BASE-LX nell'XG-7100, e ha funzionato anche con un Metrodata S12W1310S010C15C e con un FS SFP1G-LX-31. Le ottiche 1G di terze parti non sono quello che ti sta bloccando.
Quindi la mossa utile successiva non è un quarto modulo. Fai dichiarare al carrier, per iscritto, per quale tipo di media è provisionata quella porta di accesso, poi fai corrispondere il modulo. Un avvertimento però: è esattamente qui che questi casi tendono a impantanarsi - se tengono l'apparato bloccato e non te lo dicono, ti tocca comprare ottiche e tirare a indovinare, una alla volta.
Su quell'apparato c'è più di una spia che vale la pena leggere, e tu ne hai citata solo una. Quando l'FSP150CP è soddisfatto di un modulo e la porta gira a un gigabit, il Rate LED diventa verde. Il tuo è verde, ambra o spento? Il rosso sul LED SFP è l'apparato che dice che il modulo e il modo in cui è configurata la porta non vanno d'accordo, il che non è la stessa cosa che dire che la tua ottica è rotta.
Seconda domanda, ed è quella che decide davvero la faccenda: per cosa ha provisionato il carrier quella porta di accesso? Fibra monomodale, fibra multimodale o RJ45 - e il lato router deve essere qualunque dei tre ti abbiano dato. Sai qual è?
E poi, che lunghezza d'onda hanno le tre ottiche che hai provato? L'etichetta di solito dice 850 nm o 1310 nm, e questo conta molto più della marca stampata accanto.
Gli ho chiesto, e sono arrivato quasi a una risposta proprio grazie al loro rifiuto.
Prima le spie, visto che era l'unica cosa che potevo controllare senza il loro aiuto. Il Rate LED non si accende mai - spento, non ambra - mentre il LED SFP resta rosso con ogni modulo. E alla fine ho letto le etichette invece delle marche: tutte e tre le ottiche sono 1310 nm monomodali, una di loro un semplice 1000BASE-LX. Quindi ho ripetuto lo stesso test tre volte e l'ho contato come tre test, il che è già una lezione a sé.
Il resto non ha portato a nulla. Non rilasciano la configurazione, non dicono per cosa è provisionata la porta di accesso, e quando ho chiesto di abilitare invece la porta RJ45 così da togliere del tutto la fibra dall'equazione, hanno rifiutato anche quello. L'apparato è loro, la config è loro, discorso chiuso.
Quindi ora l'ufficio è online con un router affittato dal carrier, esattamente quello che cercavo di evitare, e l'XG-7100 è su uno scaffale. Lascio aperto il caso, magari qualcuno arriva più lontano di me con il proprio demarc.
Stesso angolo, apparato di un carrier diverso, se può essere di conforto. Di nuovo un XG-7100, stavolta in fibra verso un Adtran 5660 mentre un circuito veniva spostato da 100 Mbps a un gigabit. Il lato firewall segnalava la porta active e negoziata a 1000baseSX full duplex con dentro un Ubiquiti UF-MM-1G. L'Adtran se ne stava lì fermo a DOWN/DOWN.
Ho fissato il media invece di lasciarlo su autoselect:
Nessun cambiamento. Ho ruotato tra ottiche Cisco e Ciena, nessun cambiamento. Sono passato a una build di sviluppo più recente dell'immagine del firewall perché qualcuno l'aveva suggerito, nessun cambiamento. La stessa ottica sulla stessa fibra, collegata a uno switch UniFi, ha funzionato al primo colpo, quindi il modulo non era mai stato il problema, e il supporto del carrier non ci ha dato nulla.
Alla fine abbiamo rinunciato e lasciato uno switch UniFi nel percorso, portando il circuito attraverso una VLAN tra due delle sue porte, così l'Adtran vede sempre e solo lo switch. Il collegamento diretto firewall-CPE non è mai salito e ancora non saprei dirti perché.
Lasciami rendere concreto il discorso sul media, perché "tre transceiver diversi" è molto spesso un solo test eseguito tre volte.
850 nm appartiene a SR e al vetro multimodale; 1310 nm appartiene a LR e al monomodale. I due lati devono essere dello stesso tipo, non c'è niente da negoziare su quel divario, e nessuna configurazione dell'interfaccia cambia quale lunghezza d'onda esce dal laser.
Quei numeri di distanza sono tetti, non pavimenti, e questo trae in inganno anche nel verso opposto: moduli LR a entrambi i capi di una bretella di tre metri dentro lo stesso rack vanno benissimo, vogliono solo cavi monomodali. LR su multimodale ogni tanto produce un link su un paio di metri, ma è un comportamento fuori specifica, non qualcosa su cui appoggiare un circuito a pagamento.
L'esempio più pulito che ho visto è stato un FortiGate che non si collegava a switch con ottiche Brocade ed Extreme, e tutta la discussione intorno girava sull'incompatibilità di marca. Il modulo Fortinet era 10G SR, il lato remoto era 10G LR. Nessuna whitelist, nessun vendor lock, solo multimodale che fissa il monomodale.
Nemmeno io lo archivierei come vendor lock, e starei attento a come qualcuno leggerà questo workaround trovandolo più avanti.
Mettere uno switch in mezzo dimostra che la tua ottica, la tua fibra e la tua porta firewall stanno tutte bene. Non dice assolutamente nulla sul perché il CPE non accettasse il link diretto - sposta il problema dietro qualcosa con cui il CPE è disposto a parlare, e ce lo lascia.
Anche fissare il media con ifconfig cambia solo il modo in cui l'interfaccia locale tratta il link. Non può cambiare quello che esce dall'ottica, quindi non avrebbe mai potuto risolvere un mismatch di tipo di media dal lato remoto. In entrambi questi casi l'unica cosa che nessuno poteva vedere era come il carrier avesse provisionato la propria porta di accesso, ed è lì che in entrambi i casi vive la risposta.