Chelsio T580 sous pfSense : comment mettre un port QSFP+ en 4x10G pour un câble breakout
J'utilise pfSense sur une petite machine avec un Chelsio T580 et je veux qu'un des ports QSFP+ alimente quatre hôtes 10G au lieu d'un seul lien 40G. Le câble breakout est encore en route, donc je préférerais mettre la carte dans le bon mode avant qu'il arrive.
- Machine pfSense, Chelsio T580, un port QSFP+ actuellement sur un DAC 40G, la seconde cage vide
- pilote cxgbe, cxgbetool disponible depuis le shell
- DAC breakout QSFP+ vers 4xSFP+, OCTTAPCABLE3M (un AOC OCTCABLE5M-SR en plan de secours)
- hôtes 10G à l'autre bout, simples cages SFP+
Actuellement la carte n'affiche que deux interfaces 40G :
cxgbe0: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 9000
media: Ethernet 40Gbase-CR4 <full-duplex>
cxgbe1: flags=8802<BROADCAST,SIMPLEX,MULTICAST> mtu 1500
media: Ethernet autoselect
status: no carrierCe que j'ai déjà fait :
- parcouru les sous-commandes de cxgbetool en cherchant quelque chose ressemblant à un réglage de mode de port, rien trouvé
- cherché un tunable loader pour cxgbe qui diviserait le port, rien non plus
- lu assez pour être à peu près sûr que le câble seul ne suffira pas, l'adaptateur doit d'abord être en mode 4x10G
Donc est-ce que le partage 40G / 4x10G est quelque chose que le pilote FreeBSD peut basculer, ou est-ce que ça vit dans la configuration de l'adaptateur ? Et si c'est la configuration, quelle est la méthode supportée pour la changer depuis une machine FreeBSD ?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
En résumé : le pilote ne peut pas le faire. La disposition des ports vient de la configuration chargée dans l'adaptateur, ce qui explique exactement pourquoi ni cxgbe ni cxgbetool n'exposent de commutateur de mode. On la change avec l'utilitaire de configuration propre à Chelsio et la carte revient dans la nouvelle personnalité.
Mettez l'utilitaire sur la machine (une clé USB montée quelque part suffit) et lancez-le :
Il demande quel adaptateur vous visez puis quel mode vous voulez. Celui de breakout est listé comme Spider (4x10G), c'est l'entrée qui transforme le port QSFP+ en quatre voies 10G.
Sur une installation propre, le premier lancement a tendance à planter directement :
Rien d'exotique, juste une bibliothèque manquante. Installez flashrom et elle arrive comme dépendance :
Ça apporte libpci 3.5.6_1 avec, après quoi le script démarre et le changement de mode se rapporte comme réussi.
Une mise en garde, puisque vous faites ça avant l'arrivée du câble : tout ce que vous obtenez à ce stade, c'est l'utilitaire vous disant que le mode a été appliqué. Que les quatre voies montent réellement ne se prouve qu'avec le câble breakout dans la cage, donc ne démontez pas le côté 40G de la config avant de l'avoir testé.
Avant de continuer à chercher des réglages côté pilote : quelle configuration la carte fait-elle tourner réellement, et pouvez-vous mettre python2.7 sur cette machine ? Ce qui change ça, c'est un utilitaire Chelsio, pas une partie de l'outillage FreeBSD, et sur une installation standard il a besoin de deux ou trois éléments absents par défaut.
Une chose de plus, étant donné que cxgbe0 est lié à 40G en ce moment : y a-t-il quelque chose qui repose sur ce port et que vous ne pouvez pas vous permettre de perdre ? Le mode vient de la configuration chargée dans l'adaptateur, donc la carte revient dans une personnalité différente et les deux ports disparaissent pendant ce temps. Faites-le depuis la console plutôt qu'à travers le lien 40G.
Confirmé, et exactement dans cet ordre. Le premier lancement est mort avec
puis pkg install flashrom a tiré libpci 3.5.6_1 et le script a démarré correctement. Il a listé l'adaptateur, j'ai choisi Spider (4x10G), et il a rapporté le changement de mode comme réussi.
Le câble n'est toujours pas arrivé, donc je ne peux encore rien dire sur les quatre ports eux-mêmes. Je referai un point une fois que l'OCTTAPCABLE3M sera réellement dans la cage.
Même idée sur du silicium de switch, avec beaucoup plus de cérémonie. Sur un ICX 7750, le port 40G ne se divisera pas tant que la machine n'est pas sortie du mode cut-through :
Ensuite vous retirez toute configuration du port 40G et activez le breakout dessus :
Après le second reload, les quatre sous-ports apparaissent en 1/2/1:1 à 1/2/1:4 et se comportent comme des interfaces 10G indépendantes ordinaires. Deux reloads pour brancher un câble, mais au moins c'est un comportement documenté plutôt qu'une configuration cachée de l'adaptateur qu'il faut savoir qu'elle existe.
Ça vaut la peine d'ajouter que le mode n'est que la moitié de la bataille, l'autre bout doit aussi accepter le câble lui-même. Sur MX204 et MX10003, un simple DAC 40G établissait bien le lien sous d'anciennes versions de Junos ; une fois que les DAC 100G ont eu un support officiel, les DAC 40G sont discrètement tombés de la liste, et aujourd'hui ils ne sont tout simplement plus supportés sur ces boîtiers. Ce qui est supporté, ce sont des optiques breakout 4x10G, QSFPP-4X10GE-LR ou SFPP-4X10GE-SR, et les pièces tierces doivent généralement être codées avec la référence correspondante avant que le port ne les regarde.
Votre Chelsio est bien moins pointilleux qu'une carte ligne de routeur, mais si les quatre branches arrivent sur du matériel constructeur, vérifiez ce que ce matériel fait avec un DAC breakout avant de revenir accuser le mode de l'adaptateur.