Supermicro AOC-STGN-i1S (X520) Proxmox 7.1 पर: HP DAC लगे होने पर ip link में कोई interface नहीं
घर पर एक छोटा Proxmox box चलाता हूं और storage node तक एक ठीक-ठाक 10G path चाहता था, तो एक used Supermicro AOC-STGN-i1S डाल दिया। यह plain Intel 82599 design है, board पर E157872 marked है, और मैंने मान लिया था कि यह build का बोरिंग हिस्सा होगा। नहीं निकला।
- Supermicro AOC-STGN-i1S, Intel X520-DA1, board marking E157872
- Proxmox 7.1, kernel 5.15.30-1-pve
- दूसरे box तक HP branded passive SFP+ DAC
- card PCI bus पर ठीक से enumerate होता है
driver load होना कभी खत्म नहीं करता। kernel log कहता है कि इसने एक ऐसा SFP+/QSFP module type detect किया जो support नहीं है, इसलिए abort हो गया, और उसके बाद configure करने को कोई port है ही नहीं:
lspci -> the X520 is listed, no complaints
ip link -> lo and the onboard 1G only, no 10G interface at all
dmesg -> ixgbe aborts loading, unsupported SFP+/QSFP module typeमैंने पहले ही जो किया:
options ixgbe allow_unsupported_sfp=1रखते हुए /etc/modprobe.d/ixgbe.conf बनाया, फिरupdate-initramfs -uऔर reboot: कोई फर्क नहीं- वही option kernel parameter के तौर पर भी पास किया: कोई फर्क नहीं
- हाथ से
rmmod ixgbeऔरmodprobe ixgbe: फिर भीip linkमें कुछ नया नहीं
क्या card मर चुका है, या 5.15 kernel पर इस check से आगे जाने का कोई रास्ता है जो मुझसे छूट रहा है?
Show original (English)
Also available in: English
العربية
Deutsch
Español
Français
हिन्दी
Bahasa Indonesia
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Türkçe
Tiếng Việt
简体中文
Comments 5
जो तुमने बताया वो बिल्कुल वैसा ही दिखता है जैसा ixgbe पर एक EEPROM whitelist hit दिखता है। driver module ID पढ़ता है, तय करता है कि यह Intel की accepted list में नहीं है और netdev register करने से पहले ही abort हो जाता है, इसीलिए
lspciको card दिखता है औरip linkमें बिल्कुल कुछ नहीं। इनमें से कुछ भी hardware fault नहीं है, और यही वजह है कि module cage से बाहर होते ही port वापस आ जाता है।documented escape hatch वही है जो तुम पहले ही इस्तेमाल कर चुके हो:
5.15 पर वो option बस भरोसेमंद नहीं है। मुझे इस kernel पर भी वही non-result मिला, तो इसे दोबारा करने या conf file में typo ढूंढने का कोई मतलब नहीं।
मेरी तरफ जिस चीज़ ने बात तय की: cage खाली होने पर
modprobe ixgbeसे interface up हो गया, HP cable वापस लगाने से वो फिर गायब हो गया, और वही HP cable एक Mellanox ConnectX-2 में बिना किसी नाटक के link हो गया। cable electrically ठीक है, बस Intel को उसकी coding पसंद नहीं है।जो fix काम आया वो था इसकी जगह एक plain unbranded generic SFP+ DAC लगाना। Link तुरंत up, कोई module options नहीं, कोई reboot वाला नाटक नहीं। support की बात करें: किसी भी non-Intel coded cable के साथ तुम वैसे भी Intel की matrix से बाहर हो, तो अगर यह box कभी supportable होना ज़रूरी हो, HP वाले की बजाय एक Intel coded DAC खरीदो।
card को खारिज करने से पहले, एक test चला लो। DAC को cage से पूरी तरह निकाल दो, फिर
rmmod ixgbe,modprobe ixgbeऔर दोबाराip linkदेखो। अगर खाली cage के साथ interface दिखता है, तो card और driver दोनों ठीक हैं और cable ही वो चीज़ है जिस पर check अटक रहा है।जानने लायक दूसरी बात: क्या वो HP DAC कहीं और link करता है? एक non-Intel NIC आमतौर पर इसे बिना किसी शिकायत के ले लेगा। और क्या यह पक्का HP coded cable ही है, या तुम्हारे पास तुलना करने के लिए कोई generic वाला भी पड़ा है?
अपने आप को खुशकिस्मत समझो कि तुम X520 पर हो, जहां कम से कम एक driver knob तो है, चाहे वो कितना भी flaky क्यों न हो। X710 और XL710 पर module check firmware में चला गया, तो
allow_unsupported_sfpi40e के लिए बिल्कुल कुछ नहीं करता। किसी X710-DA2 में non-Intel module डालो और यह मिलता है:और बातचीत वहीं खत्म। यहां से options हैं Intel coded optics, community वाला xl710-unlocker रास्ता (Intel के अपने updater से एक ताज़ा NVM image push करो, फिर third party tooling से EEPROM में 0x6800-0x7000 के आसपास कहीं eleven-bit fields में कुरेदो, पूरी तरह अपनी जिम्मेदारी पर), या शुरुआत में ही कोई OEM variant चुनना: एक HPE 562SFP+ अंदर से एक X710 ही है, और firmware और i40e updates के बाद इसने बिना किसी hack के third party 10G और 1G copper modules accept किए।
OEM वाले angle पर, Dell और Lenovo branded X710-DA2 cards के लिए यह उल्टा पड़ता है: वो non-approved SFP+ और DAC को reject करते हैं, और Intel के अपने tools board को list तक नहीं करते। लोगों ने जो तय किया वो है उन पर stock Intel NVM flash करना। पहले तुम्हें Intel के पूरे BootUtil package से QV driver चाहिए, वरना utilities board से बात ही नहीं करेंगे; सबसे पहले option ROM बदला जाता है, और तभी card को inventory करके flash किया जाता है:
inventory और flash के बीच, nvmupdate.cfg को card के SPI flash size से मेल खाती एक ही X710 entry तक trim करो, 4 MB या 8 MB। गलत size चुनो तो एक brick मिलता है जिसे recover करने के लिए saved NVM image और hardware flasher चाहिए, तो पहले ETrackID पढ़ो और पक्का करो। 9.30-9.40 range का firmware बाद में काम करता हुआ रिपोर्ट हुआ, और लोगों को Lenovo boards पर side effect के तौर पर SR-IOV भी मिल गया। फिर भी मैं इसे सिर्फ उस card पर आज़माऊंगा जिसे खोने का मुझे अफसोस न हो।
crossflash और EEPROM patching वाले रास्ते इस thread पर आज़माने से पहले सावधान रहो, क्योंकि जैसा बताया गया है उस situation में इनमें से कोई मदद नहीं करता। X520 EEPROM में OEM flag edit करने के लिए सबसे पहले card तक पहुंचने के लिए एक working interface चाहिए, और यहां तो cable cage से बाहर आने तक कोई interface है ही नहीं। यह उस port के लिए fix है जो मौजूद है और एक module को reject करता है, उस driver के लिए नहीं जो load पर abort हो जाता है।
दूसरी चीज़ जिसे मैं ज्यादा नहीं पढ़ूंगा वो है किसी दूसरे NIC में test। किसी दूसरे host में link करने वाला module सिर्फ module को साबित करता है, उस host को नहीं जिसमें तुम्हें असल में चाहिए। मेरे पास Ubiquiti UACC-CM-RJ45-MG copper modules हैं जो एक CCR2004 में और Debian के तहत एक Intel X520-DA2 में खुशी-खुशी चलते हैं, और एक CRS309 और एक CRS328 के SFP+ cages में वो कभी link ही नहीं करते, चाहे autonegotiation on हो या speed हाथ से pinned हो। Host dependence असली है, तो कुछ भी ढेर सारा खरीदने से पहले ठीक उसी machine में verify करो।