很多一定都會想為自己、或身邊朋友製作 LORA 模型,搭配 Flux 生成出一些 AI 圖片,前陣子我就在研究有沒有什麼方法,可以快速訓練又不會影響本地電腦?要不然每次訓練,電腦就不能做任何事情。
最終就找到 MimicPC 這個網站,不僅直接在網路上訓練,速度還很快,大約一個多小時就完成,我測試訓練好的模型,效果也相當不錯,下面就分享給大家。
如何訓練自己 LORA 模型?
訓練 LORA 模型有很多種,如果你不介意付個 1~2 美金,那很推薦用 MimicPC,因為真的超簡單。
- 前往 MimicPC 網站
首先,你需要準備好 20 張各角度頭部的照片,越多角度,訓練出的效果會越好。照片張數可以更多,但 20 張我是覺得差不多,我測試過用 25 張的效果,跟 20 張沒差太多。
像這樣,照片只需要擷取頭部就好:
接著打開 MimicPC 網站並註冊帳號,在 MyApps 中,選擇「AI Tookit」。提醒一下,這是需要付費的,不是免費服務,但訓練一個模型大約只需 1.5 美金,約台幣 50 元,我覺得很划算,因為你不需要額外買更強的顯卡,訓練過程也不會影響你的電腦效能:
硬體預設是 Large,建議選 Large Pro,每小時雖然變成 1.19 美金,但記憶體會增加一倍,訓練時的速度會比 Large 快幾乎一倍,因此實際上可以省下更多:
Mission Time 時間部分 1 小時 30 分鐘會比較保險,但我更推薦把下方 Automatic Extension 功能打開,這樣就不用擔心設定的時間不夠,導致機器自動關掉。打開的話就不用管 Mission Time。設定好後,按下方的 Create & Start:
接著會開始啟用機器,大概 2 分鐘完成,這裡不會扣時間:
進到這畫面後,時間就會開始計算,把你準備好的照片全部上傳:
設定專案名稱,再來是非常重要的 Trigger word,我取 rockyhsu,未來只要我的 Prompt 描述有 rockyhsu,就會啟用這模型。而下方每張照片的 Caption 可以不用填,我測過沒填效果就很好:
一切都設定好後,按 Start traning 就會開始訓練:
你可以在右邊的 Logs 中查看目前訓練狀況:
訓練好後,記得按上方的 Stop 讓機器停止。而模型文件可以在 File 中的 outputs 資料夾找到,會是你取的專案名稱:
進到資料夾後,會看到數個模型檔,基本上只需要用到最後一個就可以,也就是 xxxx.safetensors。當然,你也可以嘗試 750 的模型:
打勾你要下載的模型檔,按右上方 … 選單,就能找到下載功能:
下載好後解壓縮,把模型檔移動到你使用的程式裡,像我是用 ComfyUI:
放在 ComfyUI 底下的 Model > loras 資料夾中,或是你有安裝其他 Node,看 loras 資料夾在哪:
打開 ComfyUI,就能選擇這 Lora 模型開始生成圖片:
如果你對自己的 Prompt 沒什麼信心,或想要獲得更高品質的 Prompt,可以使用這個「Flux Prompt Enhancer」免費工具,輸入簡單的 Prompt,它會自動生成更詳細的 Prompt,還能選擇風格。不過要注意是,生成好的 Prmopt 也要檢查一下,像我生成的這一個,它把性別搞混了,應該是要用 he 或 his:
接著就可以丟到 ComfyUI 裡面生成了
如何 ComfyUI 使用 Flux 和 LORA 模型生成 AI 圖片
如果你還不知道怎麼在本地設置 ComfyUI,來使用 Flux 和 LORA 的話,這邊也快速說明一下。
你需要準備幾個檔案
- ComfyUI 免安裝包
- ComfyUI-Manager
- Flux 模型和所需文件
- LORA 模型
ComfyUI 免安裝包可到 GitHub 下載,下載 .7z 這一個,下載好後解壓縮:
裡面的內容有這些值得注意的是 run_cpu 和 run_nvidia_gpu 這二個檔案,都是執行 ComfyUI,有 NVIDIA 顯卡的人,記得用 run_nvidia_gpu,沒有的人則是用 run_cpu,運算時會用 CPU,速度比較慢:
ComfyUI-Manager 一樣是在 GitHub 下載,打開右上方的 Code 選單,選擇 Download ZIP:
解壓縮後,把資料夾放進 \ComfyUI\custom_nodes 裡面,如下圖所示:
Flux 模型有多種,根據你的電腦硬體情況來下載:
- FLUX.1-dev(建議 12GB VRAM 以上使用)
- FLUX.1-schnell(建議 12GB VRAM 以上使用),生成效果會比較動漫一點
- flux-dev-fp8(8GB VRAN 以下推薦用這個)
- flux1-schnell-fp8(8GB VRAN 以下推薦用這個),一樣效果比較動漫
按旁邊的 Download 按鈕:
下載好後,把模型檔放在 ComfyUI\models\unet 裡面:
再來是 vae,下載 ae.safetensors:
文件放在 ComfyUI\models\vae 裡面:
還需要下載 clip,clip_l.safetensors 一定要有,t5xxl 電腦規格差一點的可以下載 fp8,不錯的可以下載 fp16:
把 clip_l.safetensors 和 fpi8 or fp16 放在 ComfyUI\models\clip:
最後是確保你的 Lora 模型放在 ComfyUI\models\loras 底下。
一切都完成後,打開 ComfyUI,執行 run_cpu 和 run_nvidia_gpu,接著瀏覽器就會開啟這頁面:
這時需要設置 Flux + LoRA 的 Workflow,你可以自己設置 Workflow,或是直接抓我的 Workflow,下載後把檔案接拖曳到 ComfyUI 視窗內,就會覆蓋你原本的 Workflow。覆蓋後會出現有紅色區塊,代表少了一些 Nodes,進到右下方 Manager:
按 Install Missing Custom Nodes:
把畫面列出二個都安裝,安裝後會需要重開:
紅色區塊和警告都消失了,可以準備開始生成 AI 圖:
把圖片描述輸入在 Prompt 裡面,Empty Latent Image 為圖片尺寸和張數,Load VAE 確保選擇 ae.safetensors。Load Diffusion Model 是你剛剛下載的 Flux 模型。DualCLIPLoader 則是剛剛下載的二個 clip 檔案。CLIPTextEncodeFlux 空白即可:
右邊的 Power Lora Loader 選擇你的 LoRA 模型:
Flux Samplder Parameters 會影響最終生成的圖片,可以自行玩完看,也能保持預設,但 Step 記得改一下。如果 dev 模型,官方建議 20,schnell 則是 4。最後按右邊的 Queue Prompt 就會開始生成,最終圖片會顯示在右邊 FLUX,喜歡的話可以按右鍵保存下載: