在家自架 GPU 跑 AI 模型:RTX 5070 Ti 的實測數字與代價
這個網站的兩個工具都跑在我家的一台電腦上。以下是我量到的數字:速度、耗電、瓶頸在哪,以及什麼情況下自架其實不划算。
2026-08-20 作者 William Hsu
硬體與模型
- 顯示卡 NVIDIA GeForce RTX 5070 Ti,16 GB 顯示記憶體
- 系統記憶體 62 GB
- 模型 MiniMax H3,int8 量化版,搭 turbo LoRA 把取樣壓到 4 步
- 執行環境 ComfyUI 跑在 Windows 上,網站本身跑在同一台機器的 Docker 容器裡
沒用雲端 GPU 的理由很單純。租一小時的錢大概等於這台機器開一整天的電費, 而且照片得送到別人的機器上。卡已經買了,多跑一張只多花電。
40 秒花在哪裡
老照片動起來一支 42~45 秒,變老變年輕一張 39~42 秒。 我一邊生成一邊每 0.7 秒抓一次顯示卡功耗,畫出來是兩個高峰夾一段低谷。
- 前段:把照片與文字指令編碼成模型看得懂的東西。將近 20 秒, 是最久的一段,但顯示卡只跑到一半左右的功率
- 中段:實際取樣。只有 4 步,反而最短
- 後段:把結果解碼回畫面,這裡會再衝一次滿載
取樣從 6 步降到 4 步,省下來的時間有限。單張從 60-80 秒降到 42-45 秒, 是三個改動加起來的結果(換小的文字編碼器、減少取樣步數、拿掉用不到的音訊解碼), 大頭在編碼跟解碼那兩段。
耗電與電費
實測功耗:怠速 28-32 W、生成中平均 144 W、尖峰 276 W(卡的上限是 300 W)。
顯示卡跑一張約 2 Wh,加上 CPU、主機板與電源損耗抓 1.8 倍,整機約 4 Wh。 以台電每度 3.5 到 5.8 元計算,一張的電費是 0.014 到 0.023 元。
支出其實不在這裡。機器整天開著,整機怠速 90-120 W,一天 2.2-2.9 度, 一個月 NT$320 到 430。一個月的待機電費換算成生成量是一萬五到兩萬張。
所以免費額度我給得比較鬆,反正卡開著也是開著。
瓶頸在搬模型
16 GB 顯示記憶體要塞下原本 30 GB 的模型,靠的是 int8 量化。 量化過還是一樣,載模型是整條流程裡最慢的單一步驟。機器閒置一陣子之後的第一張, 會比後面的慢好幾倍,因為模型被換出去了要重新搬回來。
吃虧的是第一個來的人。所以進度那邊我直接寫「第一張比較慢」, 不讓人對著一個不動的百分比猜。
排隊
兩個工具共用同一張顯示卡,也共用同一個佇列。 分開排會讓兩邊搶同一塊顯示記憶體,結果是兩邊都變慢。
畫面上那個排隊位置是去查佇列查出來的,不是計時器動畫。
什麼時候自架不划算
每天要跑幾千張的話,一張卡撐不住,租雲端還比較便宜。 自架適合量不大、但不想把檔案送出去的情況。這個網站是後者, 使用者上傳的多半是自己家人的照片。