承接第九課 llama.cpp 與 GGUF,本課改用 Apple Silicon 上的 MLX / mlx-lm 執行 Qwen3.5 4-bit 模型,記錄環境差異、2B/9B 單次推論、長 Context 記憶體與 Swap 變化,以及 4-bit/8-bit 規格題測試。課程實作與結論已完成,下一課銜接第十二課。
A重點觀念
MLX / mlx-lm 是 Apple Silicon 推論工具鏈
本次使用 mlx-community/Qwen3.5-2B-4bit 與 mlx-community/Qwen3.5-9B-4bit,以 mlx-lm 工具執行模型並測量 prompt prefill、逐 token generation 與記憶體使用。
系統 Python 與 uv tool 環境彼此獨立
uv tool install 會把命令列工具安裝在隔離環境。系統或 Homebrew 的 python3 看不到該環境中的 mlx-lm 套件 metadata,屬於預期的環境差異。
Prompt 與 Generation 需分開閱讀
Prompt throughput 是輸入提示的處理速度;Generation throughput 是逐 token 解碼速度。短 prompt 的計時更容易受初始化影響,不能只看 prompt 數字推論整體效能。
長 Context 會加重統一記憶體與 Swap 壓力
本次 9B 的 64K 測試期間,系統 unused memory 與 swap free 都很低,並在 warmup 階段手動停止。單次快照包含背景服務的負載,不等於模型單獨耗用量。
B指令|安裝、推論與工具驗證
1. 起始環境檢查
| 檢查項目 | 實際結果 |
系統/Homebrew python3 | 可 import mlx;但 mlx.__version__ 屬性不存在。 |
mlx_lm | 起始環境尚未安裝。 |
2. 以 uv 安裝 mlx-lm
uv tool install mlx-lm
安裝成功,uv 回報安裝 34 個 packages,並建立 18 個 executables。工具環境包含 mlx 0.32.3、mlx-lm 0.32.0、mlx-metal 0.32.3。
3. 確認命令列入口與 help
command -v mlx_lm.generate
mlx_lm.generate --help
command -v mlx_lm.generate 回傳 /Users/skbank/.local/bin/mlx_lm.generate;mlx_lm.generate --help 驗證成功。18 個 executables 中包含 mlx_lm.generate、mlx_lm.benchmark、mlx_lm.server、mlx_lm.chat、mlx_lm.convert 等入口。
Python 環境差異:系統/Homebrew python3 查到 MLX 0.32.1,但查不到 mlx-lm 的套件 metadata;mlx-lm 則安裝在 uv tool 隔離環境,其內含 MLX 0.32.3、mlx-lm 0.32.0 與 mlx-metal 0.32.3。兩邊版本與可見套件不同是正常現象。
4. 單次推論範例
mlx_lm.generate \
--model mlx-community/Qwen3.5-2B-4bit \
--prompt "請用繁體中文簡短說明 MLX 是什麼。"
這是便於初次試跑的範例指令。第一次執行會從 Hugging Face 下載模型;本課的實際效能數據以後面的 benchmark 與實測紀錄表為準。完整選項可用 mlx_lm.generate --help 查詢。
5. MLX 本機 API(延伸指令)
mlx_lm.server --model mlx-community/Qwen3.5-2B-4bit
官方預設會在本機 localhost:8080 提供相容聊天 API。這是延伸操作示例,並非本課的實測項目;官方文件提醒此伺服器僅有基本安全檢查,適合本機開發測試,不應直接當作對外正式服務。
C推論實測與第九課比較
MLX 首輪模型結果
| 模型 | Prompt | Generation | Peak memory |
mlx-community/Qwen3.5-2B-4bit | 25 tokens 23.938 tok/s | 200 tokens 178.837 tok/s | 1.190 GB |
mlx-community/Qwen3.5-9B-4bit | 28 tokens 106.100 tok/s | 250 tokens 49.832 tok/s | 5.244 GB |
與第九課 llama.cpp GPU 的單次數據並列
| 模型/執行方式 | Prompt | Generation |
| 2B · llama.cpp GPU | 144.3 tok/s | 121.0 tok/s |
| 2B · MLX / mlx-lm | 23.938 tok/s(25 tokens) | 178.837 tok/s(200 tokens) |
| 9B · llama.cpp GPU | 148.6 tok/s | 39.3 tok/s |
| 9B · MLX / mlx-lm | 106.100 tok/s(28 tokens) | 49.832 tok/s(250 tokens) |
以這兩次單次紀錄計算,MLX 2B generation 約快 48%,MLX 9B generation 約快 27%;llama.cpp 的 2B 與 9B prompt throughput 都較高。2B prompt 只有 25 tokens,且短 prompt 較容易受初始化影響;各次提示、token 數與執行條件並非完整控制的同一組測試,這些數字只描述本次紀錄,不宜直接推論某工具整體一定較快。
DContext / KV 壓力測試
benchmark 參數確認
mlx_lm.benchmark --help
help 顯示參數包含 --prompt-tokens、--generation-tokens、--num-trials 與 --prefill-step-size 等,可設定提示長度、生成 token 數、重複次數及 prefill 步長。
4K、32K、64K 測試期間的系統記憶體快照
| Context | PhysMem | vm.swapusage |
| 4K | 47G used(10G wired、22G compressor),135M unused | total 7168.00MB · used 6447.06MB · free 720.94MB |
| 32K | 47G used(11G wired、21G compressor),334M unused | total 8192.00MB · used 7131.31MB · free 1060.69MB |
| 64K | 47G used(12G wired、20G compressor),418M unused | total 9216.00MB · used 8321.31MB · free 894.69MB |
以上是各 Context 測試時觀察到的系統整體快照;背景服務仍有負載,資料不能視為 MLX 模型本身的獨立記憶體用量。
64K benchmark 嘗試
mlx_lm.benchmark \
--model mlx-community/Qwen3.5-9B-4bit \
--prompt-tokens 65536 \
--generation-tokens 128 \
--num-trials 3
執行到 Running warmup.. 後,因當時記憶體壓力太高而手動停止。這次紀錄是人工中止的 warmup,不是 crash,也沒有完成 benchmark 結果;不補記未完成的吞吐量數據。
E4-bit/8-bit 規格題實測與品質觀察
關閉 Thinking 的正確參數
--chat-template-config '{"enable_thinking": false}'
本組比較使用 mlx-community/Qwen3.5-9B-4bit 與 mlx-community/Qwen3.5-9B-8bit,並以相同的關閉 Thinking 參數進行生成。
三盒題
| 模型 | Prompt | Generation | Peak memory | 答案表現 |
| 4-bit | 294.794 t/s | 50.673 t/s | 5.353 GB | 正確 |
| 8-bit | 90.060 t/s | 5.942 t/s | 9.741 GB | 正確 |
兩者答案都正確;這組測試中 4-bit 的 Prompt 與 Generation 速度較高,Peak memory 也較低。
第一組多條件規格題
| 模型 | Prompt | Generation | Peak memory |
| 4-bit | 343.483 t/s | 50.543 t/s | 5.468 GB |
| 8-bit | 257.957 t/s | 28.264 t/s | 9.848 GB |
4-bit 將「轉帳流程總時長不得超過 10 分鐘」誤解為「10 分鐘無操作」,混淆流程總時長與閒置時間;8-bit 對這項規則的理解較準。
最後複雜規格題
| 模型 | Prompt | Generation | Peak memory |
| 4-bit | 404.394 t/s | 50.297 t/s | 5.642 GB |
| 8-bit | 311.064 t/s | 28.221 t/s | 9.980 GB |
4-bit 把部分明確規則誤判為衝突,例如將「超過 10 分鐘才強制結束」推演成第 6 分鐘可能衝突,並質疑登出動作是否明確;原規則已寫明門檻及登出。8-bit 則把已明確的轉帳起點(進入第一個轉帳頁面)、OTP 逾時不重置 10 分鐘總時長,以及維護模式最高優先,誤判成模糊。
修正後結論與使用建議
不能簡單說 8-bit 一定比 4-bit 更聰明或更準。較高 bit 主要降低量化誤差,不保證推理品質穩定提升;三組實測中,品質表現會依題目而變,速度與記憶體則都是 4-bit 較佳。
以本次 M4 Pro 48GB 實測,建議 4-bit 作日常主力、8-bit 作交叉驗證。高風險規格應加入第二輪規則檢核,或再做跨模型驗證。
SA 實務提醒:「不得自行新增歧義」;分析時要「逐條對照原始規則」,不可把已明確的需求自行改寫成衝突或模糊。
第九課銜接與本課總結
第九課以 llama.cpp 執行 GGUF,2B/9B GPU generation 分別記錄為 121.0/39.3 tok/s;本課以 MLX / mlx-lm 執行 MLX 4-bit 模型,對應的單次 generation 為 178.837/49.832 tok/s。這兩組紀錄可用來理解不同執行工具在這台 Apple Silicon 主機上的實際表現,但測試條件不完全相同,不是嚴格的同條件競速。
長 Context 方面,本次 MLX 9B 在 64K 下出現明顯統一記憶體與 Swap 壓力,並於 warmup 階段手動停止;第九課 llama.cpp 64K 也曾記錄約 5.95GB Swap,但兩次背景負載與測試條件不同,不應據此判定哪個框架固定更省記憶體。
目前使用建議:以這台 M4 Pro 48GB、背景服務仍有負載的使用情況,MLX 9B 日常先控制在 32K 以內;只有在確有需求且清理背景程式後,再考慮測 64K。
F小測驗
Q1|uv 安裝 mlx-lm 後,為何系統 Python 查不到 mlx-lm 套件?
答案:uv tool install 把命令列工具放在隔離環境,與系統/Homebrew Python 的套件環境分開;只要 mlx_lm.generate --help 等工具入口可正常執行,就不代表安裝失敗。
Q2|Prompt throughput 和 Generation throughput 分別代表什麼?
答案:Prompt throughput 是模型處理輸入提示的速度;Generation throughput 是逐 token 產生回答的速度。兩者應分開看,也要留意提示長度和測試條件。
Q3|9B 模型的 64K benchmark 停在 warmup,能記錄成正式效能結果嗎?
答案:不能。該次測試因記憶體壓力而手動中止,沒有完成測量;只記錄中止前的系統記憶體快照,不填入不存在的 token/s 結果。
Q4|本課數據是否能證明 8-bit 一定比 4-bit 更準?
答案:不能。三組規格題的品質表現依題目而異;這次實測中 4-bit 速度較高、峰值記憶體較低,8-bit 可作交叉驗證,不代表所有模型或任務都會如此。
G完成狀態
本課已完成 mlx-lm 安裝與 CLI 驗證、2B/9B 推論測量、Context/Swap 壓力觀察,以及 4-bit/8-bit 規格題比較。高記憶體壓力測試的人工中止狀態也已如實記錄。下一課銜接第十二課「推論加速:KV Cache 與 Prompt Cache」。
課程狀態:已完成。建議將 4-bit 作為日常起點;遇到重要規格判斷時,使用第二輪規則檢核或其他模型交叉驗證。