當前位置: 妍妍網 > 碼農

用StabilityMatrix一鍵安裝Stable Diffusion

2024-07-07碼農

Stable Diffusion是2022年釋出的深度學習文字到影像生成模型,它既能免費使用,又能部署在本地端,又有非常多的模型可以直接套用,在使用體驗上比Midjourney和DALL-E更加強大。

Stable Diffusion使用的模型有下列幾大類,對照模型網站 https://civitai.com 以形成更直觀的認識:

  1. Base Model:Stable Diffusion的基底模型(Base models),由StableAI公司開源而來的最基礎模型

  • 常見的基底模型有SD 1.5、SD2.0、SDXL 1.0等

  • Checkpoint:當做影像生成的基礎模型,通稱為大模型

    1. 由Base Model為基礎微調而形成的模型,可生成品質更高的影像

    2. 形成影像的基本風格,例如真實風格或卡通風格等,分別使用不同的兩種Checkpoint

    3. 合並多個Checkpoint而成的形成Checkpoint Merge

  • 選項模型:附加在Checkpoint上的微調模型,可視為修補+濾鏡功能的模型,增強或改變影像的風格

    1. Textual Inversion(文本反轉,embedding):用新的關鍵詞來產生新的特征

    2. LoRA(Low-Rank Adaptation,低秩調整):Checkpoint就像是AI畫家的「基本畫功」,而LoRA則是要求AI畫家「照這個風格」產生圖片

    3. VAE(Value Auto Encoder):用來調整亮度或飽和度的微調模型

    不過Stable Diffusion的部署步驟有點繁復,必須安裝Python相關環境、Git執行環境等等,但現在透過采用AvanloniaUI編寫的跨平台桌面套用StabilityMatrix只要執行一個StabilityMatrix.exe就可以了,它會自動下載需要的檔與模型,並提供了圖形界面讓我們可以方便的控制多達 10幾個Web UI(支持Automatic 1111、Comfy UI、SD.Next (Vladmandic)、VoltaML、InvokeAI、Fooocus 和Fooocus MRE), 可以說StabilityMatrix大幅降低了Stable Diffusion的使用門檻。

    本次介紹完整的StabilityMatrix安裝步驟,Stablility 支持Linux、Mac和Windows,下面的安裝是Windows 11下進行的。

    1. 安裝步驟

    1. 解壓縮 StabilityMatrix-win-x64.zip 後執行StabilityMatrix.exe。在檢查到NVIDIA顯卡後,勾選同意授權協定再按【Continue】

    1. 勾選【Portable Mode】以建立便攜環境,執行環境會建立在執行檔相同位置的Data資料夾裏

    1. 選擇Web UI,先使用最常見的Stable Diffusion WebUI,點選【Install】

    開始安裝並下載需要的檔...,它將在安裝過程中顯示推薦的型號(檢查點)。它分為最流行的常規型號「SD1.5系列」和「SDXL系列」,具有高效能而不是較大的VRAM負載。每個都有幾GB的大容量,因此下載時間會增加,但是如果有您想要的模型,請在此處檢視並下載。

    1. 安裝完成後會顯示【Package】頁面

  • 點選三橫線顯示完整的側資訊看板選單

  • 點選綠色的【Package】就能啟動安裝好的SwarmUI

  • 【啟動】按鈕右側的齒輪可設定啟動參數

  • 關於啟動選項

    更高級一點。SDwebUI 可以透過填寫寫成「--◯◯」的「命令列參數」來啟動,以啟用各種可選功能。例如,有一個功能可以生成具有少量 VRAM 的 grabo,並加快生成速度。

    在 StabilityMatrix 中,您可以在按下「啟動」按鈕之前按旁邊的齒輪「⚙」按鈕來呼叫啟動選項螢幕,並且可以透過選中它透過「啟動」來啟用它。

    請參閱官方網站了解每個啟動選項的含義。您還可以透過自己填寫參數來添加選單中沒有的內容。這裏只是您應該記住的預設選單中的選項。

    -xformers:有望提高影像生成速度並顯著減少 VRAM 使用。請註意,它只能與 NVIDIA Gravo 一起使用。幾乎每個人都使用它

    -autolaunch:webUI載入完畢後在瀏覽器中自動啟動的功能,但在v1.6.0及以上版本中,可以在webui上設定,所以沒有用。

    -lowvram:用於低 VRAM 抓取。效能可能是災難性的,因此能夠生成影像。

    –medvram — 以犧牲速度為代價減少VRAM的使用。

    -medvram_sdxl:僅當使用 SDXL 模型時才啟用 medvram。

    5.點選【Packages】→【Add Package】可再新增其他的WebUI套件

    6. 第一次啟動(啟動)時會自動復制需要的檔案,其中預設的模型主檔 v1-5-pruned-emaonly.safetensors 有3.97GB,需要花點時間下載。下載完成並啟動後,會自動開啟瀏覽器瀏覽網址 http://127.0.0.1:7801

    2. 初次測試

  • State Diffusion checkpoint(大模型)選用預設的v1-5-pruned-emaonly.safetensors ,學習模型(檢查點)通常主要以副檔名「.safetensors」和「.ckpt」分發,如果您將它們扔到指定的資料夾中,它們將起作用。除了 StabilityAI 的每個版本的 StableDiffusion 之外,網路上還分享了無數的衍生模型,有些帶有插圖,有些帶有逼真的色調,有些介於兩者之間,有些擅長柔和的表達,等等。

  • 在txt2img分頁的【Prompt】(正面提示詞)輸入 a cute kitten

  • 【Negative Prompt】(負面提示詞)輸入 (worst quality:2),(low quality:2),(normal quality:2),lowres

  • 負面提示詞指示避免產生的內容,括弧裏可額外設定權重

  • 點選【Generate】開始生成圖片。產生時StabilityMatrix.exe視窗會顯示執行記錄

  • 2.1. 生成結果

    3.總結

    目前 ComfyUI 對於新模型與新套用支持更好,已經有超越 Stable Diffusion web UI的趨勢,SwarmUI 同時支持ComfyUI和SDWebUI,Fooocus由於簡潔、占用資源低的原因,也越來越受歡迎,如果你是多個軟體的使用者,那麽不妨考慮使用Stability Matrix 進行集中化管理。

    4. 相關連結

  • LykosAI/StabilityMatrix: Multi-Platform Package Manager for Stable Diffusion

  • mcmonkeyprojects/SwarmUI: SwarmUI, A Modular Stable Diffusion Web-User-Interface, with an emphasis on making powertools easily accessible, high performance, and extensibility. (github.com)