修圖對於非專業的人來說,用PS實在是太費勁了,對於專業的人來說也需要時間。
AI能輔助修圖這是大家都知道的,comfyui可以搞出很多功能,但還是不夠方便,對小白也不夠友好。 PS也有AI修圖功能,價格你懂的。
大家選擇AI編輯圖片主要是這麽幾個原因: 簡單、高效、有創意。
MagicQuill是香港科技大學、螞蟻集團、浙江大學、香港大學聯合開發並開源的一個AI圖片編輯計畫。
MagicQuill的圖片編輯功能很完善,而且效果也很不錯。 最重要的是使用也很簡單, 只需要在原圖上塗塗畫畫,寫個簡單的提示詞,圖片就改好了。
我每天都會看數不清的開源計畫, MagicQuill可能是這個月見過的最適合落地的AI開源計畫了 ,做一個AI圖片編輯器市場應該還不錯。
掃碼加入AI交流群
獲得更多技術支持和交流
(請註明自己的職業)
計畫簡介
MagicQuill是一個開源的互動式AI影像編輯系統,采用先進的擴散模型構建,能夠迅速實作使用者的創意需求。本系統特別設計了簡潔而功能強大的界面,使用者僅需透過簡單的筆觸就能表達自己的編輯意圖(如添加元素、擦除物件、改變顏色等)。這些互動透過多模態大語言模型(MLLM)即時監控,無需使用者輸入具體指令即可預測編輯意圖。計畫利用雙分支外掛程式模組精確控制編輯過程,顯著提高了操作的準確性和效率。
DEMO
這部份既是DEMO,也是教程,因為使用起來實在是太簡單。
操作按鈕就這些。官方給了這些操作的描述,省了我來寫了。
對於塗抹區域的提示詞,系統會自動給出提示,但是實際測下來,偶爾會不準確,或者你想添加一些比較復雜的內容,它可能也辨識不出來。
這時候需要手動去對提示詞進行修改。
關於設定的參數問題,如果個人簡單用用可以不調整,想用來開發或者精細的使用,還是需要了解下的。
因為基礎也是SD,所以跟模型離不開,做不同風格的圖片調整可以用不同的模型。
核心模組
MagicQuill的設計包括三個核心模組,每個模組都針對影像編輯的不同方面進行最佳化來提高效率和精確度。
1、編輯處理器
功能:編輯處理器是這個系統的核心,負責生成和修改影像的詳細內容。它使用兩種型別的筆觸導向機制:塗鴉導向和顏色導向,讓使用者能透過簡單的筆觸直觀地控制影像結構和顏色內容。
技術實作:透過擴充套件潛在擴散UNet結構,引入了兩個專門的分支:一個是內容感知的像素級繪圖指導的修復分支,另一個是提供結構性指導的控制分支。這樣的設計保證了在使用者編輯意圖和影像生成之間的高度一致性。
使用者體驗:透過簡化使用者的輸入,大大減少了復雜的參數調整和技術要求,使得使用者即使在沒有專業影像處理知識的情況下,也能進行高級的影像編輯。
2、繪畫輔助器
功能:繪畫輔助器用於即時預測使用者的編輯意圖,並根據影像上下文自動產生相應的編輯指令。
技術實作:采用多模態大語言模型,解析使用者透過筆觸輸入的抽象意圖,並將這些意圖轉化為具體的影像編輯命令。
使用者體驗:使用者可以更加專註於創意表達,而不需要擔心操作的具體技術細節。系統能夠理解並預測使用者的需求,從而減少誤解和重復操作,提高整體的編輯體驗。
3、想法收集器
功能:提供一個使用者友好的界面,允許使用者快速且輕松地輸入他們的編輯想法。這一模組是使用者與MagicQuill系統互動的主要介面。
技術實作:想法收集器支持跨平台操作,相容多種裝置和作業系統。它整合了各種直觀的編輯工具,如不同型別的畫筆和色彩選擇器,以及一個視覺化的編輯畫布,使用者可以直接在上面進行影像編輯。
使用者體驗:透過簡化的使用者介面設計和直觀的互動邏輯,使使用者即使是首次使用也能迅速上手。提供的工具和功能都是為了增強使用者的創造力和效率,讓影像編輯變得更加輕松和愉快。
計畫連結
https://www.dongaigc.com/p/magic-quill/MagicQuill關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
關註「 AGI光年 」公眾號
獲取每日最新資訊
關註「 向量光年 」公眾號
加速全行業向AI轉變