Switch'siz 16G FC homelab: RHEL 8'de qla2xxx qlini_mode=disabled yok sayılıyor, target LUN yok
Evde switch'siz bir Fibre Channel kurulumu hazırlıyorum: bir kutu depolamayı tutuyor ve FC target'ı olarak davranmak zorunda, diğer ikisi sade initiator'lar. Ortada FC switch yok, sadece HBA'lar arasında doğrudan kablolar.
Donanım:
- depolama kutusunda, target olması gereken kutuda bir QLogic QLE2694
- iki initiator kutusunda QLogic QLE2690 ve QLE2692
- FTLF8529P4BCV-QL 16G SFP+ LC optikleri, QLogic kodlu, 850 nm kısa menzil
- portlar arasında 3 m OM3 multimode LC-LC kordonlar
Optik taraf bana hiç sorun çıkarmıyor. Portlar ayağa kalkıyor, kartlar birbirini görüyor, iki uç da initiator kaldığı sürece her şey normal davranıyor. Sorun depolama kutusunu target moduna çevirmek. Modül seçeneğini yerine koydum, initramfs'i yeniden derledim, reboot ettim, ve parametre basitçe hiç geçmiyor:
# cat /etc/modprobe.d/qla2xxx.conf
options qla2xxx qlini_mode="disabled"
# after rebuilding the initramfs and rebooting
# cat /sys/module/qla2xxx/parameters/qlini_mode
enabledtargetcli sorunsuz başlıyor, ama initiator modu hâlâ açıkken üzerine bir backstore asacak bir FC fabric yok, yani hiçbir şey export edilmiyor ve initiator'lar boş bir link görüyor.
Denediklerim:
- seçenek /etc/modprobe.d'de ve ayrı olarak kernel komut satırında
- her değişiklikten sonra initramfs'i ve boot yapılandırmasını yeniden oluşturmak
- bir QLE2694 tuhaflığı olma ihtimaline karşı depolama kutusundaki kartı değiştirmek
Bu, çalıştırdığım RHEL 8 tabanlı dağıtımdaki sürücü derlemesiyle mi ilgili, yoksa seçeneğin nasıl uygulandığında gözden kaçırdığım bir adım mı var?
Comments 4
Bir adımı kaçırmıyorsunuz, seçenek çalıştırdığınız yerde çalışamaz. RHEL 8 ve sonrası, initiator modunu kapatma yeteneği çıkarılmış bir qla2xxx derlemesi gönderiyor, yani
qlini_mode="disabled"'ı nereye koyarsanız koyun yok sayılıyor ve kart initiator kalıyor. QLE2694'te, optiklerde ya da fiberde hiçbir sorun yok.İki çıkış yolu var: target host'u qla2xxx'te target modunu hâlâ tutan bir dağıtımda çalıştırmak, ya da modülü kendiniz derlemek, ki bunu veri tutması gereken bir kutuda yapmazdım. Ben ilk yolu seçtim ve target'ı Fedora Server 39'a koydum.
Ondan sonra sıradan sıra şu:
modprobe.d'de, sonra initramfs'i ve GRUB yapılandırmasını yeniden derleyin, reboot edin, ve portları şununla kontrol edin
targetcli ve sysfsutils'i kurun, FC portlarını etkinleştirin, sonra NVMe üzerindeki LVM volume'lerinizi block backstore olarak eşleyin, port WWN'lerine bağlayın ve her initiator'a kendi ACL'ini verin. Initiator kutuları tam olarak oldukları gibi kalabilir, kısıtlama sadece target tarafında ısırıyor.
Bunu daha sonra yapacak herkes için bir satın alma notu: Dell markalı QLE2690, QLE2692 ve QLE2694'ü tercih edin, çünkü dokümantasyonları target modunu gerçekten kapsıyor, bu da çok fazla tahmin etmekten kurtarıyor.
Kimse tahmin yürütmeden önce netleştirilmesi gereken iki şey.
Birincisi, qla2xxx'iniz gerçekte nereden geliyor: dağıtım kerneliyle gelen kutudaki modül mü, yoksa vendor'dan çektiğiniz ve kendiniz derlediğiniz tree-dışı bir derleme mi? Bir RHEL 8 tabanında bu ikisi burada çok farklı davranıyor, ve bu modprobe sözdiziminden çok daha önemli.
İkincisi, depolama kutusundan
systool -c fc_host -vçıktısını paylaşın. Bu bize portların gerçekten ayağa kalkıp kalkmadığını ve hangi hızda olduğunu söyler, böylece bir sürücü sorusunu fiziksel olandan ayırabiliriz.Ayrıca her iki uçtaki optikleri de doğrulayın. FTLF8529P4BCV-QL 850 nm kısa menzilli bir parça, yani multimode fiber gerektiriyor - single mode üzerinde hiçbir şey alamazsınız, target modundan konuşmadan önce bunun elenmesini istiyorum.
Kutudaki sürücü: dağıtımın depolarından doğrudan stok kernel ve stok qla2xxx, vendor'dan çekilen hiçbir şey yok, elle derlenen hiçbir şey yok.
systool -c fc_host -v, QLE2694'teki iki portun da 16G'de online olduğunu gösteriyor, aynı FTLF8529P4BCV-QL modülleri de 3 m'lik OM3 kordonlar üzerinden her iki uçta, yani fiziksel katman gerçekten sorun değil - initiator olarak her şey çalışıyor.sysfs, ister modprobe.d'de ister kernel komut satırında ayarlayayım, her yeniden derleme ve reboot'tan sonra qlini_mode'u hâlâ enabled olarak raporluyor. sysfsutils ve targetcli kurulu, targetcli'nin kendisi şikayet etmeden başlıyor, sadece içinde yapılandıracak FC şeklinde hiçbir şey yok.
Target host'u başka bir dağıtıma taşırken yanınızda taşımaya değer komşu bir tuzak: parametrenin o kutunun boot yolunun gerçekten okuduğu yere düştüğünden emin olun.
Bunun klasik versiyonu, optiklerini kabul etmeyen bir Proxmox host'u. Yönetici
ixgbe.allow_unsupported_sfp=1'i modprobe.d'ye, sonra GRUB config'ine koydu, ikisi de hiçbir işe yaramadı, çünkü makine EFI üzerinden boot ediyor ve GRUB'a hiç dokunmuyor. Orada parametrenin/etc/kernel/cmdline'a girip ardındanpve-efiboot-tool refreshile gitmesi gerekiyor.Sizinkiyle aynı arıza imzası: config dosyası bir şey söylüyor, sysfs başka bir şey söylüyor, bir akşamı donanımdan şüphelenerek kaybediyorsunuz. Host ne olursa olsun, her reboot'tan sonra değeri
/sys/module/...'dan geri okuyun ve düzenlediğiniz dosya yerine ona güvenin.