當前位置: 妍妍網 > 碼農

SPM:AI圖片「橡皮擦」你見過嗎,阿裏和清華合作推出AI圖片部份擦除的開源工具

2024-03-15碼農

正向的AI繪畫大家都會

把AI生成的圖片擦掉其中的一部份

你見過嗎

當麵包貓沒有了貓,會是什麽樣

當梵高風格沒有了梵高,會是什麽樣

一起看看AI圖片的橡皮擦是怎麽個事

計畫簡介

計畫旨在透過一維介面卡實作商業和開源擴散模型中多概念的非侵入式、精確、可客製和可轉移擦除。利用半滲透結構的概念作為膜(SPM)註入擴散模型,實作高效概念消除,減輕代際交替侵蝕和提高遷移能力。SPM允許靈活組合,隨插即用,無需重調,適應不同場景,同時最小化對其他概念的影響。此方法在多個概念和模型中驗證了其優越的擦除能力。

掃碼加入交流群

獲得更多技術支持和交流

(請註明自己的職業)

優點

·無需數據 :訓練SPM不需要額外的文本或影像數據。

·輕量級 :SPM的可訓練參數僅為DM的0.5%。一個針對SD v1.4的SPM只需要1.7MB的儲存空間。

·可客製 :一旦獲得,可以根據您的需要同時裝備不同目標概念的SPM到DM上。

·模型可轉移 :在某一DM上訓練的SPM可以直接轉移到其他個人化模型上,無需額外調整。例如,從SD v1.4轉移到SD v1.5 / Dreamshaper-8或任何其他類似的社群模型。

原理

SPM在一個通用擴散模型中采用了一個稱為半透膜(SPM)的一維介面卡。在微調過程中設計了潛在錨定,以自監督的方式有效緩解變化和侵蝕現象。在生成階段,引入了促進傳輸機制,確保只有威脅性提示增加相應SPM的滲透率,而安全提示的生成(例如,畢加索風格)不受影響。

計畫用途

1.「擦除史努比後的{概念}塗鴉」樣本。

SPM在目標概念史努比上展示了充分的消除效果,而對非目標的影響可以忽略不計。

2.無需訓練的轉移結果。

一旦獲得(例如,在這種情況下從SD v1.4獲取),SPM可以轉移到其他專業模型上而無需重新調整,並且很好地展現了其目標概念擦除和非目標保留能力。

3.藝術風格去除

來自DM的樣本,其中移除了藝術風格。與之前的作品不同,展示了擦除與保留之間明顯的權衡,SPM可以擦除目標風格(上部為梵高風格,下部為畢加索風格)同時保留其他風格。

4.露骨內容刪除

NudeNet在I2P基準上的評估結果。左邊的數位統計了原始SD v1.4生成的暴露身體部位的數量。箱線圖展示了采用不同方法進行裸露內容減輕時的降低,包括數據過濾(SD v2.0)和不同的擦除策略。與之前的作品相比,SPM有效地消除了不同裸露類別中的明顯內容。

計畫連結

https://github.com/Con6924/SPM

論文連結

https://lyumengyao.github.io/projects/spm#

關註「 開源AI計畫落地 」公眾號