鐵人賽 2026

LLM，OCR，TTS，STT，Embedding，Reranker 都準備好了，可以建 RAG 知識庫了。--- 不過，不算標準的RAG。 這台的跟前面的都不一樣：它不用顯示卡，不裝任何模型。它自己只做三件事：把文件灌進來、把知識存起來、把問題送出去，再把答案組回來。會這樣做 是因為計算演算的機器壞了，重建一臺就好。但是知識庫儲存了我們所建立的相關資料，壞掉了就沒了。所以單獨建立，方便管理資料庫。 這台不必大。實際上跑起來的規格很普通：8 個虛擬核心、16 GB 記憶體、系統碟 100 GB，沒有顯示卡。唯一要講究的是資料放哪：知識庫那些檔案要放在另一顆碟上，跟系統分開。理由在最後一段會講清楚，先照做。 ssh 連到 hq，切換到 /opt/claude-working，

現在，我們有 LLM， 有語音轉文字，有文字轉語音。接下來，讓我們來讓系統能看：OCR 功能，以便建一個知識庫。 網域設定： ocr.iron30.com rag.iron30.com ssh 連到 hq，切換到 /opt/claude-working，執行 claude code： 告訴 claude code ： 192.168.0.31 上動工。用GPU1。Docker 一、安裝 Qwen3-VL-8B-Instruct-Q4_K_M，OCR 用： - 綁 ocr.

繼續下一個組件：聽話，講話，創造聲音。 前面那台 amd 雙 GPU，載入 LLM 之後，記憶體就滿了。 所以配置另外一臺 Proxmox，新增個 ubuntu VM ：ip: 192.168.0.31，過程都是一樣。就不重述。 網域先確定有設好： stt.iron30.com tts1.iron30.com tts2.iron30.com npm 分別指向： stt.iron30.com 指向 192.168.0.31 , 8080 tts1.iron30.com 指向 192.

來點貴的。 漲價前到手四張 5060Ti 16G，弄了一些 32G 的RAM，所以，組了兩台測試機。 一樣用虛擬機，不是實體機 —— 理由跟前面那幾台完全一樣，不重複講。硬體：16 個執行續、80 GB 記憶體、系統碟 512 GB nvme，另外掛一顆 1 TB 的資料碟專門放模型。 用 Qwen3.6 35B A3B、Q4_K_M 模型。 此機先安裝好 Proxmox (192.168.0.22)。 確認 llm.iron30.com 有設定指向你的固定IP。 然後建一個 Ubuntu VM

我們已經成功連線 hq.iron30.com 網站，憑證也是綠的。接下來，我們來完善這個網站。 先問自己： 我想從這個控制中心，看到甚麼？ 因為對外開放了，所以要有帳號，密碼登入的保護。 1. 有那些機器在跑，跑甚麼?目前狀況? 是不是有機器停了，出問題了? 2. 每台機器的細節，從控制中心，是否就可以指揮遠端的機器？ 3. 版面配色，是不是可以隨我喜好改變? 4. 有個日誌，紀錄相關的事件。 首先，從這裡開始，做一個策略調整: Fable 設計整個工作的框架，任務， sonnet 執行，Fable 負責：驗證，稽核。這樣可以省 token。 ssh 連到 hq，切換到 /opt/claude-

目前對外只有一個門牌：iron30.com，而 iron30.com 底下所有子網域都指向同一個位址(1.2.3.4)。當外面連進來，到底誰接手？答案是在門口放一個人，看每個請求要找哪個網域，再轉給內網對應的那台機器。這就是反向代理。它讓「一個對外位址」和「很多個網站」不再互相牴觸。 從這一篇開始，所有操作都不再到那台實體 Proxmox上做，一律在上一篇建好的 hq 上進行。它是控制中心。既然要當控制中心，它得先知道機隊裡有什麼 —— 所以第一件事是建一份機器清冊。一張總表，加上每台機器一份自己的檔案：這台是什麼、怎麼連進去、跟誰有依賴、以及做過什麼的變更歷史。現在只有兩台，寫起來很快；等到二十幾台，要回頭補就昏天黑地了。 有個工作要先做： 把你會用到的網域名稱，設定好。如： hq.iron30.com llm.

機隊裡的 Ubuntu 伺服器有二十幾台，每一台建立好之後，做的事幾乎一模一樣： 設時區、開自動對時、裝虛擬機代理程式、關掉 IPv6、開密碼登入、裝順手的編輯器。 六件事，做一次十分鐘，做二十次就是三個多小時，而且每次都可能漏掉其中一項。 真正的代價不是那三個小時，是「二十台機器裡有三台跟其他人不一樣，而你不知道是哪三台」。 所以這件事，把它做成範本，之後全部用複製的。 範本的實體是兩個東西的組合：一顆磁碟映像，加一份開機設定。 基底用官方的雲端映像，不用安裝光碟。安裝光碟需要人工設定；雲端映像預期你不會坐在螢幕前面回答問題，開機時它會去讀一份設定檔，把主機名稱、使用者、套件、要跑的指令全部照做完。 複製一台新機器只要一行指令，開機起來就是設定好的狀態，不必登入去補任何東西。 但雲端映像有三個預設值需要注意： 第一，它預設關閉密碼登入。不打開，你複製出來的機器登不進去。 第二，它的套件索引是空的。不先更新一次，任何要裝的套件都會裝不到。 第三，它沒有附虛擬機代理程式。沒有它，

用虛擬機架個路由器。 模擬情境： 中華電信，撥接，固定 ip： 1.2.3.4 (跟中華電信要) 網域名： iron30.com，已經指向 1.2.3.4 ( 此處不會的，問 AI ) 為甚麼第一個做這個？ 因為：後面所有的VM，都會需要連到網路，所以我們必須要先有個路由器，後面的建置才能進行下去。 虛擬機用兩張虛擬網卡： 一張接撥接那條實體網路埠，當對外；一張接內網橋接器，當對內。對外只有 1.2.3.4 這一個門牌，所有服務靠通訊埠轉發分流到內網不同機器。iron30.com 和它底下的子網域全部指向同一個 IP，進來之後誰接手是反向代理的事，那是後面的篇章。 做成虛擬機的理由很單純：它從此跟其他機器一樣 —— 可以備份、可以還原、

目前的機台： Dell R630 (二手)，CPU：E5-2680V4 x2，256G RAM。56個執行緒。目前跑：15個虛擬機，發出去的虛擬核心是 120 個。記憶體用約了 196G。 Dell R530 (二手)，CPU：E5-2660V4 x2，256G RAM。56個執行緒。目前跑：20個虛擬機，發出去的虛擬核心是 122 個。記憶體用約了 199G。 AMD 5700X，8核心16執行緒、128 GB，發出去的虛擬核心是 56 個，目前跑：2個虛擬機，接 5060 16G X 2。

我 90% 操作，都是用 SSH 連線，進入文字介面操作。在目前，對我們非專業本科的人來說，必需花些時間，讓自己熟悉 ssh 連線的用法。我是用 putty。 安裝 Proxmox，到官網下載 ISO、燒進隨身碟、插上機器、從 USB 開機、點一輪選項。網路上的教學已經有幾百份，我再寫一份也只是第 101 份，沒有價值。就是要記住，你 prxomox 的 ip，登入要用。問題是：安裝好之後，你會得到什麼？ 你會有：一台開得起網頁管理介面、但幾乎什麼都還沒調校的裸機：套件庫指向付費版，apt update 會顯示失敗；每次登入網頁介面都跳一個「沒有有效訂閱」的彈窗；IPv6