Day09 本地端 LLM Service
來點貴的。
漲價前到手四張 5060Ti 16G,弄了一些 32G 的RAM,所以,組了兩台測試機。
一樣用虛擬機,不是實體機 —— 理由跟前面那幾台完全一樣,不重複講。硬體:16 個執行續、80 GB 記憶體、系統碟 512 GB nvme,另外掛一顆 1 TB 的資料碟專門放模型。
用 Qwen3.6 35B A3B、Q4_K_M 模型。
此機先安裝好 Proxmox (192.168.0.22)。
確認 llm.iron30.com 有設定指向你的固定IP。
然後建一個 Ubuntu VM