Stable Diffusion是2022年釋出的深度學習文字到影像生成模型,它既能免費使用,又能部署在本地端,又有非常多的模型可以直接套用,在使用體驗上比Midjourney和DALL-E更加強大。
Stable Diffusion使用的模型有下列幾大類,對照模型網站 https://civitai.com 以形成更直觀的認識:
Base Model:Stable Diffusion的基底模型(Base models),由StableAI公司開源而來的最基礎模型
常見的基底模型有SD 1.5、SD2.0、SDXL 1.0等
Checkpoint:當做影像生成的基礎模型,通稱為大模型
由Base Model為基礎微調而形成的模型,可生成品質更高的影像
形成影像的基本風格,例如真實風格或卡通風格等,分別使用不同的兩種Checkpoint
合並多個Checkpoint而成的形成Checkpoint Merge
選項模型:附加在Checkpoint上的微調模型,可視為修補+濾鏡功能的模型,增強或改變影像的風格
Textual Inversion(文本反轉,embedding):用新的關鍵詞來產生新的特征
LoRA(Low-Rank Adaptation,低秩調整):Checkpoint就像是AI畫家的「基本畫功」,而LoRA則是要求AI畫家「照這個風格」產生圖片
VAE(Value Auto Encoder):用來調整亮度或飽和度的微調模型
不過Stable Diffusion的部署步驟有點繁復,必須安裝Python相關環境、Git執行環境等等,但現在透過采用AvanloniaUI編寫的跨平台桌面套用StabilityMatrix只要執行一個StabilityMatrix.exe就可以了,它會自動下載需要的檔與模型,並提供了圖形界面讓我們可以方便的控制多達 10幾個Web UI(支持Automatic 1111、Comfy UI、SD.Next (Vladmandic)、VoltaML、InvokeAI、Fooocus 和Fooocus MRE), 可以說StabilityMatrix大幅降低了Stable Diffusion的使用門檻。
本次介紹完整的StabilityMatrix安裝步驟,Stablility 支持Linux、Mac和Windows,下面的安裝是Windows 11下進行的。
1. 安裝步驟
解壓縮 StabilityMatrix-win-x64.zip 後執行StabilityMatrix.exe。在檢查到NVIDIA顯卡後,勾選同意授權協定再按【Continue】
勾選【Portable Mode】以建立便攜環境,執行環境會建立在執行檔相同位置的Data資料夾裏
選擇Web UI,先使用最常見的Stable Diffusion WebUI,點選【Install】
開始安裝並下載需要的檔...,它將在安裝過程中顯示推薦的型號(檢查點)。它分為最流行的常規型號「SD1.5系列」和「SDXL系列」,具有高效能而不是較大的VRAM負載。每個都有幾GB的大容量,因此下載時間會增加,但是如果有您想要的模型,請在此處檢視並下載。
安裝完成後會顯示【Package】頁面
點選三橫線顯示完整的側資訊看板選單
點選綠色的【Package】就能啟動安裝好的SwarmUI
【啟動】按鈕右側的齒輪可設定啟動參數
關於啟動選項
更高級一點。SDwebUI 可以透過填寫寫成「--◯◯」的「命令列參數」來啟動,以啟用各種可選功能。例如,有一個功能可以生成具有少量 VRAM 的 grabo,並加快生成速度。
在 StabilityMatrix 中,您可以在按下「啟動」按鈕之前按旁邊的齒輪「⚙」按鈕來呼叫啟動選項螢幕,並且可以透過選中它透過「啟動」來啟用它。
請參閱官方網站了解每個啟動選項的含義。您還可以透過自己填寫參數來添加選單中沒有的內容。這裏只是您應該記住的預設選單中的選項。
-xformers:有望提高影像生成速度並顯著減少 VRAM 使用。請註意,它只能與 NVIDIA Gravo 一起使用。幾乎每個人都使用它
-autolaunch:webUI載入完畢後在瀏覽器中自動啟動的功能,但在v1.6.0及以上版本中,可以在webui上設定,所以沒有用。
-lowvram:用於低 VRAM 抓取。效能可能是災難性的,因此能夠生成影像。
–medvram — 以犧牲速度為代價減少VRAM的使用。
-medvram_sdxl:僅當使用 SDXL 模型時才啟用 medvram。
5.點選【Packages】→【Add Package】可再新增其他的WebUI套件
6. 第一次啟動(啟動)時會自動復制需要的檔案,其中預設的模型主檔 v1-5-pruned-emaonly.safetensors 有3.97GB,需要花點時間下載。下載完成並啟動後,會自動開啟瀏覽器瀏覽網址 http://127.0.0.1:7801
2. 初次測試
State Diffusion checkpoint(大模型)選用預設的v1-5-pruned-emaonly.safetensors ,學習模型(檢查點)通常主要以副檔名「.safetensors」和「.ckpt」分發,如果您將它們扔到指定的資料夾中,它們將起作用。除了 StabilityAI 的每個版本的 StableDiffusion 之外,網路上還分享了無數的衍生模型,有些帶有插圖,有些帶有逼真的色調,有些介於兩者之間,有些擅長柔和的表達,等等。
在txt2img分頁的【Prompt】(正面提示詞)輸入 a cute kitten
【Negative Prompt】(負面提示詞)輸入 (worst quality:2),(low quality:2),(normal quality:2),lowres
負面提示詞指示避免產生的內容,括弧裏可額外設定權重
點選【Generate】開始生成圖片。產生時StabilityMatrix.exe視窗會顯示執行記錄
2.1. 生成結果
3.總結
目前 ComfyUI 對於新模型與新套用支持更好,已經有超越 Stable Diffusion web UI的趨勢,SwarmUI 同時支持ComfyUI和SDWebUI,Fooocus由於簡潔、占用資源低的原因,也越來越受歡迎,如果你是多個軟體的使用者,那麽不妨考慮使用Stability Matrix 進行集中化管理。
4. 相關連結
LykosAI/StabilityMatrix: Multi-Platform Package Manager for Stable Diffusion
mcmonkeyprojects/SwarmUI: SwarmUI, A Modular Stable Diffusion Web-User-Interface, with an emphasis on making powertools easily accessible, high performance, and extensibility. (github.com)