為 Proxmox VE 黑群輝 XPEnology 加裝 2.5GbE 網卡

話 說 我 為 我 的 Synology DS415+ 升 級 了 2.5GbE 網 卡 ,詳 情 可 以 在 這 一 篇 文 章 找 到 。後 來 我 又 入 手 了 一 個 8 bay 的 NAS,優 易 的 NAS-U8D。這 個 NAS 的 CPU 十 分 強 勁 ,是 一 顆 16 core 32 thread 的 Xeon,所 以 我 沒 有 直 接 安 裝 XPEnology,而 是 裝 了 一 個 hypervisor ( Proxmox VE ),然 後 再 裝 了 一 個 XPEnology 的 虛 擬 機 。

优 易 UE-U8D黑 群 辉 NAS主 机

那 在 這 樣 的 設 置 之 下 ,又 可 以 如 何 升 級 2.5GbE 網 卡 ?用 USB 好 還 是 PCI-E 好 ?那 一 種 會 比 較 便 宜 ?有 沒 有 方 法 可 以 省 下 那 個 相 對 昂 貴 的 2.5GbE Switch 呢 ?這 篇 文 章 就 是 為 大 家 解 答 以 上 的 所 有 疑 問 。

選 擇 網 卡

最 簡 單 ( 但 有 一 點 點 愚 蠢 ) 的 做 法 ,就 是 和 我 之 前 的 那 篇 文 章 一 樣 ,加 一 個 DSM 能 直 接 使 用 的 USB 2.5GbE 網 卡 ,再 在 PVE 直 通 給 DSM 來 用 ( 我 實 測 過 ,是 可 以 用 的 )。這 個 作 法 無 疑 是 最 慳 水 慳 力 的 ,不 過 卻 有 2 大 問 題 。

首 先 是 你 用 得 XPEnology,整 乜 鬼 仲 要 吊 舊 USB 野 在 外 面 ?XPEnology 的 可 擴 充 性 應 該 比 Synology 要 好 一 百 萬 倍 吧 ( 除 非 你 用 的 是 一 台 notebook )?其 次 是 ,將 2.5GbE lan card 直 通 了 給 DSM,那 PVE / Host 本 身 就 享 受 不 到 2.5GbE 的 升 級 速 度 了 。

以 我 的 NAS-U8D 為 例 ,主 板 就 有 2 條 PCI-E 3.0 插 槽 。1 條 是 16X 大 小 ,另 1 條 是 8X 大 小 。不 過 受 限 於 主 板 的 設 計 ,2 條 PCI-E 都 只 有 8X 的 速 度 。不 過 其 實 絕 大 部 分 的 PCI-E 網 卡 都 只 是 1X 的 ,所 以 任 何 PCI-E 插 槽 都 會 插 得 下 。

關 於 2.5GbE 網 卡 ,我 建 議 購 買 使 用 Realtek RTL8125 晶 片 組 的 網 卡 。一 來 這 是 最 便 宜 的 2.5GbE 網 卡 ,二 來 Proxmox VE 只 要 Kernel 5.4 以 上 都 內 建 了 driver。

https://github.com/tubaxiaosiji/RTL8125-Driver-for-Proxmox-VE5-6-and-debian

再 者 國 內 有 網 友 已 經 制 作 好 了 RTL8125 driver 的 安 裝 包 放 在 GitHub,我 們 只 要 打 幾 個 command 就 可 以 完 成 安 裝 。

我 也 會 考 慮 將 NAS 當 成 2.5GbE network switch 來 用 ,所 以 找 了 一 片 2 個 口 的 2.5GbE 網 卡 ( 4 埠 的 還 沒 找 到 )。雙 口 網 卡 有 點 貴 ,是 單 口 的 3 倍 價 錢 ,不 過 考 慮 到 電 腦 的 PCI-E 擴 充 槽 的 數 量 十 分 有 限 ,也 就 唯 有 乖 乖 付 款 。

我 的 NAS 機 箱 剛 好 也 有 2 個 PCI-E 插 口 。不 過 因 為 是 小 機 箱 ,PCI-E 插 口 是 打 橫 的 ,所 以 就 要 另 外 買 PCI-E 延 長 線 。PCI-E 延 長 線 有 很 多 ,但 我 這 只 是 給 1X 網 卡 用 的 ,就 不 需 要 那 麼 多 講 究 ,買 個 便 宜 的 就 好 ( 就 是 不 需 要 買 那 些 幾 百 蚊 的 顯 卡 延 長 線 )。

認 識 Linux Bridge

PVE 預 設 會 幫 你 設 定 好 一 個 Linux Bridge,名 稱 叫 vmbr0,它 會 包 含 一 張 實 體 網 卡 ,通 常 就 是 系 統 的 第 一 張 實 體 網 卡 。這 個 Linux Bridge 其 實 就 是 一 個 虛 擬 的 交 換 機 ,它 和 一 個 真 實 的 switch 其 實 沒 什 麼 分 別 。

這 個 Linux Bridge 預 設 有 一 張 實 體 網 卡 ,是 給 你 連 接 到 實 體 Switch / Router 的 。而 PVE 裡 面 的 Virtual Machine,連 接 到 這 個 Linux Bridge,就 可 以 正 常 從 router 取 得 自 動 分 派 的 IP,就 跟 你 把 電 腦 插 到 實 體 Switch 上 一 樣 。

如 果 想 把 這 個 Linux Bridge 變 成 一 個 實 體 的 Switch,我 們 只 要 給 它 加 多 幾 張 網 卡 就 行 。例 如 我 的 主 板 內 建 了 4 張 網 卡 ( enp6s0 – enp9s0 ),我 只 要 把 它 們 都 加 入 到 同 一 個 linux bridge ( vmbr0 ),這 4 張 本 來 獨 立 運 作 的 網 卡 ,就 會 變 成 了 一 個 4-port 的 switch。

我 們 可 以 把 它 當 成 一 個 普 通 的 實 體 Switch 來 用 ,插 router,插 PC,插 第 二 台 NAS。所 有 的 client 都 可 以 正 確 地 從 router 獲 取 IP 地 址 ,也 可 以 正 常 上 網 。

那 用 這 個 Linux Bridge 有 無 downside 呢 ?會 有 一 點 。因 為 這 是 由 軟 件 模 擬 出 來 的 bridge,所 以 會 佔 用 一 定 的 系 統 資 源 ( CPU / RAM )。如 果 你 的 CPU 是 非 常 的 弱 小 ,那 就 可 能 會 造 成 系 統 長 期 高 負 載 ,甚 至 因 為 運 算 能 力 不 足 而 造 成 瓶 頸 。不 過 對 於 我 的 16 core 32 thread Xeon 來 說 ,這 當 然 只 是 小 菜 一 碟 。

其 實 PVE 也 內 建 了 比 較 新 和 功 能 更 多 的 Open vSwitch。不 過 如 果 是 單 純 作 為 一 個 最 普 通 的 unmanaged switch 來 用 的 話 ,用 Linux Bridge 就 足 夠 了 。

設 定 Linux Bridge

安 裝 好 新 的 2.5G Lan card 之 後 ( 2.5GbE 字 母 太 多 ,以 下 都 簡 稱 為 2.5G ),我 們 登 入 PVE 的 管 理 介 面 ,在 Host Machine 之 下 的 System > Network,就 會 見 到 多 了 新 的 網 卡 。不 過 所 有 網 卡 的 名 稱 都 會 變 了 ,最 好 再 lspci 一 次 看 看 新 的 狀 況 。

未加網卡之前加了 2.5G 網卡之後
enp6s0 ( Intel )
enp7s0 ( Intel )
enp8s0 ( Intel )
enp9s0 ( Intel )
enp7s0 ( Realtek 8125 )
enp8s0 ( Realtek 8125 )
enp9s0 ( Intel )
enp10s0 ( Intel )
enp11s0 ( Intel )
enp12s0 ( Intel )

然 後 選 擇 Linux Bridge ( vmbr0 ),按 一 下 edit。在 Bridge ports 輸 入 所 有 網 卡 的 Name,每 張 網 卡 名 之 間 要 用 一 個 space 隔 開 。完 成 就 按 OK。為 免 浪 費 ,除 了 新 的 2.5G 網 卡 之 外 ,我 當 然 也 把 主 板 上 原 來 的 4 個 1G 網 卡 都 加 入 了 Linux Bridge。

原 本 應 該 只 要 按 一 下 Apply Configuration,新 設 定 就 會 生 效 。不 過 你 應 該 會 見 到 一 個 error message。

這 是 因 為 PVE 只 是 預 裝 ifupdown,而 不 是 ifupdown2。原 來 的 ifupdown,你 需 要 reboot 一 次 ,改 變 才 會 生 效 。必 須 要 ifupdown2 才 具 備 即 時 變 更 設 定 的 能 力 。

https://pve.proxmox.com/wiki/Network_Configuration

Reboot 一 次 PVE,讓 網 絡 設 定 生 效 之 後 ,你 就 可 以 把 PVE 當 成 是 Switch 來 使 用 。

把 PC 和 Router 分 別 連 接 到 Linux Bridge。PC 當 然 插 2.5G Lan card,而 Router 只 有 1G 的 速 度 ,就 只 插 在 1G 的 on-board lan card。

立 即 去 speedtest.net 測 試 一 下 ,看 來 網 速 和 直 駁 router 完 全 沒 有 分 別 !

Linux Bridge 的 內 部 速 度

我 們 的 PVE 系 統 有 2 個 2.5G 網 口 ,可 以 連 接 2 個 2.5G 裝 置 。1 個 就 連 PC,1 個 就 連 另 一 個 Synology NAS。Router 是 沒 有 2.5G 的 ,所 以 用 回 主 板 上 1G 網 口 即 可 。其 他 電 腦 、Network Player 等 等 ,通 通 都 只 有 1G 網 卡 。

XPEnology 的 第 一 種 設 定 方 法 ,就 是 完 全 使 用 虛 擬 網 卡 。因 為 Synology DSM 的 限 制 ,我 們 只 能 使 用 Intel E1000。雖 然 這 個 虛 擬 網 卡 只 顯 示 了 1G 的 速 度 ,但 如 果 你 在 Linux Bridge 裡 面 iperf3 一 下 ,你 就 會 知 道 實 際 速 度 是 不 止 1G 的 。

例 如 上 圖 就 是 在 同 一 個 Linux Bridge 的 2 台 虛 擬 機 ( 使 用 VirtIO 虛 擬 網 卡 ) 的 iperf3 結 果 。速 度 可 以 高 達 22G!

即 使 是 使 用 虛 擬 的 Intel E1000,傳 輸 速 度 也 可 以 達 到 3G ( 一 個 虛 擬 機 是 VirtIO,一 個 是 Intel E1000 )。所 以 使 用 Linux Bridge 和 虛 擬 網 卡 ,應 該 不 會 成 為 2.5G 網 路 的 瓶 頸 ,至 少 在 理 論 上 不 會 。

XPEnology 的 實 際 速 度

首 先 ,我 先 用 「直 通 的 2.5G 網 卡 + 2.5G 實 體 switch」來 測 試 。這 是 完 全 沒 有 經 過 Linux Bridge 的 ,用 的 完 全 是 實 體 的 網 絡 設 備 ,應 該 是 可 以 達 致 最 快 的 速 度 。這 可 以 作 為 一 個 參 考 。

Windows 讀 和 寫 大 檔 案 ,都 可 以 去 到 284MB/s,速 度 十 分 穩 定 。

iperf3 兩 個 方 向 的 結 果 都 有 2.35Gb/s。

然 後 就 改 用 虛 擬 網 卡 和 Linux Bridge。第 一 個 測 試 環 境 就 是 使 用 Intel E1000 網 卡 ,這 是 安 裝 XPEnology 的 基 本 動 作 ,應 該 絕 大 部 分 人 都 是 選 E1000 網 卡 。

最 高 的 傳 輸 速 度 可 以 達 到 259MB/s,不 過 這 個 速 度 不 太 穩 定 ,有 時 速 度 會 下 降 到 低 於 200MB/s。這 個 結 果 比 我 想 像 的 要 差 一 點 ,絕 對 用 不 盡 2.5G,不 過 已 經 比 1G 網 速 快 得 多 。

第 二 個 測 試 就 改 用 VMware vmxnet3 網 卡 ,這 個 是 虛 擬 機 專 用 的 網 卡 ,在 我 的 幻 想 中 它 的 效 能 應 該 會 比 E1000 好 。

最 高 的 讀 寫 速 度 都 可 以 達 到 283MB/s,而 且 速 度 是 算 是 很 穩 定 ,多 次 來 回 傳 送 都 可 以 達 到 超 過 280MB/s 的 結 果 。

從 以 上 兩 個 測 試 ,可 以 見 到 用 Linux Bridge 的 實 際 效 能 ,其 實 已 經 非 常 接 近 使 用 實 體 的 2.5G switch,實 際 用 起 來 應 該 不 會 感 覺 到 差 別 。最 可 惜 的 是 我 的 XPEnology 還 不 能 使 用 Virtio 網 卡 ,不 然 的 話 速 度 和 穩 定 性 應 該 都 會 再 有 提 升 。

https://xpenology.com/forum/topic/28321-driver-extension-jun-103b104b-for-dsm623-for-918-3615xs-3617xs/

要 在 XPEnology 使 用 RTL8125 的 2.5G 網 卡 ,要 先 安 裝 XPEnology 的 driver extension。詳 細 步 驟 可 以 參 考 另 一 篇 文 章 《Xpenology (黑 群 暉 ) 進 階 :在 Proxmox VE 安 裝 DSM 6.2.3》最 尾 的 部 分 ——安 裝 額 外 的 Driver。

使用 2.5GbE Switch使用 Proxmox VE
2.5GbE switchQNAP QSW-1105-5T
HK$899
GRIS 2.5G 雙口網卡
¥288
XPEnology 網卡TP-LINK 2.5G PCI-E 網卡
¥89 ( 可直通 )
XPEnology 用虛擬網卡
$0
總數約 HK$1,000約 HK$328
有 5 個 2.5G 網口只有 2 個 2.5G 網口,想增加網口要再購買網卡

從 上 表 可 以 見 到 ,如 果 你 的 2.5G 裝 置 不 多 ,使 用 PVE 的 Linux Bridge 確 實 可 以 減 省 了 2.5G switch 的 價 錢 。如 果 你 的 host CPU 夠 快 ,對 系 統 也 不 會 造 成 任 何 負 擔 。當 然 前 題 是 你 已 經 擁 有 一 台 Hypervisor / Software router 的 電 腦 。如 果 為 了 省 一 個 2.5G switch 而 去 砌 一 台 電 腦 ,這 有 點 得 不 償 失 。

但 如 果 你 的 2.5G 裝 置 比 較 多 ,又 或 者 你 追 求 極 致 的 速 度 ,那 還 是 買 個 switch 比 較 實 際 。實 體 Switch 的 耐 用 程 度 和 可 靠 程 度 ,也 不 是 普 通 一 台 電 腦 可 以 比 擬 的 。用 實 體 switch 的 話 ,在 PVE 關 機 或 者 reboot 時 ,也 不 會 影 響 到 其 他 電 腦 上 網 。

很 明 顯 我 已 經 有 2.5G switch,為 什 麼 還 要 買 2 port 的 2.5G lan card 呢 ?就 只 為 了 做 個 linux bridge 的 測 試 ?當 然 不 是 。

我 的 接 駁 方 法 是 :一 個 2.5G 網 口 就 直 通 給 XPEnology,確 保 XPEnology 不 用 和 其 他 虛 擬 機 共 用 頻 寬 ;另 一 個 2.5G 網 口 就 留 給 PVE 做 linux bridge,給 所 有 其 他 虛 擬 機 共 用 。

其 他

看 到 這 裡 ,各 位 Synology 的 玩 家 一 定 在 想 ,究 竟 Synology NAS 能 不 能 當 成 一 個 2.5G Switch 來 用 呀 ?Well,短 答 案 是 不 行 。大 家 可 以 參 考 以 下 的 官 方 FAQ。

https://www.synology.com/en-uk/knowledgebase/DSM/tutorial/Network/Frequently_asked_questions_about_network_USB_ports

長 答 案 呢 ,雖 說 Synology 和 PVE 都 是 Linux,但 是 Synology 並 沒 有 像 PVE 那 樣 ,預 先 幫 你 安 裝 和 設 定 好 linux bridge。雖 然 後 來 推 出 的 Virtual Machine Manager 是 包 含 了 Open vSwitch,但 我 試 了 很 多 次 也 不 能 在 Virtual Switch 裡 面 看 到 新 加 的 網 卡 ( 即 LAN 3 )。

不 過 即 使 是 你 懂 得 設 定 linux bridge 也 沒 用 ( 可 以 自 己 寫 個 start-up script ),因 為 要 在 Synology 安 裝 足 夠 數 量 的 2.5G 網 卡 來 做 一 個 switch 也 不 是 一 件 容 易 的 事 。加 上 Synology 相 對 很 慢 的 CPU,實 際 效 能 也 令 人 成 疑 。

Posted in Computer & Network | Tagged , , , , , , , , , , | Leave a comment

Synology NAS 自製 DIY 防塵網

話 說 我 使 用 Synology 的 NAS 多 年 ,一 直 都 十 分 極 之 滿 意 。除 了 ,大 概 每 半 年 我 就 要 把 Synology 拆 開 ,大 吸 塵 一 次 。因 為 NAS 是 24 / 7 長 開 ,而 我 家 裡 的 NAS 就 只 是 隨 意 擺 放 在 客 廳 電 視 櫃 ,所 以 就 會 像 一 個 空 氣 清 新 機 一 樣 ,吸 埋 吸 埋 好 多 灰 塵 。

直 到 後 來 ,我 發 現 淘 寶 竟 然 有 Synology 專 用 的 防 塵 罩 ( 齊 備 多 個 不 同 型 號 ! ),我 當 然 立 即 買 來 試 用 。這 種 專 用 防 塵 罩 不 單 單 是 一 個 面 罩 ,還 有 很 多 裁 剪 好 大 小 的 防 塵 網 ,給 你 貼 在 Synology 的 不 同 大 小 的 散 熱 孔 。至 今 使 用 了 一 年 多 ,效 果 確 實 是 相 當 顯 著 。現 在 我 清 理 Synology,只 要 在 表 面 用 吸 塵 機 吸 幾 分 鐘 ,不 再 需 要 把 Synology 拆 開 。

防 塵 罩 累 積 了 半 年 灰 塵

可 是 好 景 不 常 ,為 了 追 求 極 致 效 能 ,最 近 換 了 一 台 新 的 NAS,而 它 竟 然 沒 有 專 用 的 防 塵 罩 ( 當 然 沒 有 )!這 可 以 曲 線 證 明 Synology 的 市 佔 率 是 如 何 拋 離 其 他 對 手 。既 然 沒 有 現 成 的 ,就 只 好 自 己 動 手 DIY 了 ,還 可 以 省 錢 呢 。

淘 寶 上 的 電 腦 機 箱 防 塵 網 有 很 多 很 多 ,我 也 只 是 隨 便 找 價 錢 便 宜 和 大 小 合 適 的 。我 選 的 尺 寸 是 30 x 50 cm。選 這 家 店 的 原 因 是 他 們 有 附 送 開 孔 器 ( 3mm 圓 沖 ) 和 雙 面 膠 紙 。

优 易 UE-U8D黑 群 辉 NAS主 机

萬 由 810A 機 箱

這 次 要 DIY 的 是 一 個 8-bay 的 NAS 機 箱 。機 箱 背 面 有 兩 把 12cm 大 風 扇 ,主 是 是 為 下 層 的 8 個 硬 碟 散 熱 。機 箱 側 面 則 有 一 把 7015 風 扇 ,主 要 是 給 上 層 的 CPU 和 主 板 散 熱 。風 扇 的 轉 速 不 高 ,相 當 安 靜 ,但 3 把 風 扇 夾 埋 的 風 量 亦 相 當 大 ,所 以 我 能 夠 想 像 這 個 NAS 會 是 一 個 吸 塵 機 。

機 箱 的 所 有 散 熱 孔 ,其 實 有 分 為 進 風 的 ,和 出 風 的 。為 什 麼 要 分 進 風 和 出 風 呢 ?因 為 防 塵 網 細 密 的 小 孔 會 大 大 增 加 風 阻 ,所 以 只 能 用 在 必 要 的 地 方 。而 機 箱 內 積 塵 ,明 顯 只 和 進 風 口 有 關 。所 以 如 果 在 進 風 口 和 出 風 口 都 裝 上 防 塵 網 ,氣 流 就 會 減 少 太 多 ,大 大 不 利 於 電 腦 散 熱 。

萬 由 810A 的 airflow 比 較 簡 單 ,3 把 機 箱 風 扇 的 散 熱 孔 ,就 是 出 風 的 ,而 所 有 其 他 散 熱 孔 都 是 進 風 的 。所 以 3 把 風 扇 的 散 熱 孔 ,是 不 需 要 防 塵 網 的 ,而 所 有 其 他 漏 風 的 地 方 ,都 通 通 要 加 上 防 塵 網 。

側 面 和 背 面 的 進 風 孔 ,都 很 好 處 理 。只 要 裁 切 一 片 合 適 大 小 的 防 塵 網 ,再 用 雙 面 膠 紙 貼 住 就 好 。正 面 8-bay 的 熱 插 拔 硬 碟 位 就 有 點 麻 煩 ,因 為 那 些 手 柄 是 凸 出 來 的 。

我 的 解 決 方 法 是 自 己 Tinker CAD 了 一 個 簡 單 的 可 移 除 的 支 架 。支 架 分 兩 個 部 分 ,底 部 可 以 貼 在 8-bay NAS 機 箱 的 正 面 ( 雙 面 膠 紙 )。上 面 的 cover 貼 上 防 塵 網 之 後 ( 也 是 雙 面 膠 紙 ),就 可 以 和 底 部 合 上 。

設 計 好 就 3D 打 印 出 來 。在 設 計 時 ,外 框 要 稍 為 比 內 框 大 一 點 點 ( 相 差 1mm ),不 然 兩 者 就 會 太 緊 合 不 上 。但 也 不 能 相 差 太 多 ,不 然 太 鬆 就 會 容 易 自 己 掉 下 來 。

安 裝 好 就 上 面 的 樣 子 。即 使 要 更 換 硬 碟 也 很 方 面 ,可 以 輕 易 取 下 面 罩 。

心 水 清 的 讀 者 就 會 留 意 到 ,我 們 遺 漏 了 一 些 很 重 要 的 地 方 ,就 是 電 腦 的 I/O ports,即 是 USB 口 、LAN 口 、耳 機 插 孔 、等 等 等 等 。閒 置 的 I/O ports,亦 是 進 風 進 塵 的 地 方 ,特 別 是 當 其 他 散 熱 孔 都 被 覆 蓋 住 的 時 候 。

我 會 把 I/O ports 分 開 兩 類 來 處 理 。一 類 是 以 後 都 不 會 用 的 ,那 我 也 會 用 防 塵 網 加 雙 面 膠 紙 來 處 理 ,封 死 了 就 好 。而 其 他 偶 然 會 用 到 的 ,我 就 會 加 裝 電 腦 防 塵 膠 塞 。防 塵 塞 有 一 整 套 的 ,也 有 獨 立 分 開 發 售 的 。

以 一 部 電 腦 來 算 ,通 常 買 一 包 一 整 套 的 ,再 按 需 要 多 購 買 幾 個 獨 立 的 就 夠 了 。以 我 自 己 的 經 驗 ,通 常 會 多 買 幾 個 USB 和 LAN 的 防 塵 塞 。

當 把 所 有 進 風 口 都 覆 蓋 住 ,風 量 當 然 是 會 減 少 ,所 以 我 亦 會 相 應 增 加 額 外 的 散 熱 風 扇 。你 可 以 考 慮 更 換 更 大 功 率 的 機 箱 風 扇 ,又 或 者 升 級 去 最 好 和 最 安 靜 的 Noctua 風 扇 。

不 過 ,買 個 最 便 宜 的 PCI 渦 輪 式 抽 氣 扇 ( 很 懷 舊 ),其 實 也 是 一 個 相 當 不 錯 的 選 擇 ( 亦 是 我 的 選 擇 ! )。

Posted in Computer & Network, GRBL + 3D 打印 | Tagged , , , , , , , , , | Leave a comment