計畫簡介
IOPaint 是一款開源的影像修復與擴充套件工具,利用最新的人工智慧模型進行影像編輯。使用者可以便捷地移除圖片中不需要的物件、缺陷或人物,或是替換和擴充套件圖片中的內容。
該工具支持CPU、GPU以及蘋果芯片,提供包括Windows在內的一鍵安裝程式。IOPaint支持多種AI模型,可進行擦除、內填充或外擴充套件任務,同時提供用於互動式物件分割的外掛程式,增強了其多功能性。
掃碼加入交流群
獲得更多技術支持和交流
(請註明自己的職業)
Demo
功能特點
擦除模型:這些模型可以用來移除圖片中不需要的物件、缺陷、浮水印、人物等。
擴散模型:這些模型可以用來替換物件或執行擴充套件繪畫。一些流行的模型包括:
·runwayml/stable-diffusion-inpainting
·diffusers/stable-diffusion-xl-1.0-inpainting-0.1
·andregn/Realistic_Vision_V3.0-inpainting
·Lykon/dreamshaper-8-inpainting
·Sanster/anything-4.0-inpainting
·Sanster/PowerPaint-V1-stable-diffusion-inpainting
·Sanster/AnyText
·Fantasy-Studio/Paint-by-Example
外掛程式:
·Segment Anything:準確快速的互動式物件分割
·RemoveBG:移除圖片背景或為前景物件生成遮罩
·Anime Segmentation:類似RemoveBG,專門為動漫圖片訓練的模型。
·RealESRGAN:超分辨率
·GFPGAN:面部恢復
·RestoreFormer:面部恢復
·FileManager:方便地瀏覽您的圖片,並直接保存到輸出目錄。
使用
1.啟動 Web 使用者介面
IOPaint 提供了一個便捷的 Web 使用者介面,利用最新的 AI 模型編輯你的圖片。執行以下命令輕松安裝並啟動 IOPaint:
# In order to use GPU, install cuda version of pytorch first.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
# AMD GPU users, please utilize the following command, only works on linux, as pytorch is not yet supported on Windows with ROCm.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/rocm5.6
pip3 install iopaint
iopaint start --model=lama --device=cpu --port=8080
完成安裝後,你可以透過在網路瀏覽器中存取 http://localhost:8080 來開始使用 IOPaint。
所有模型將在啟動時自動下載。如果你想更改下載目錄,可以添加 --model-dir 參數。
2.外掛程式
你可以在啟動服務時指定要使用的外掛程式,並且可以透過使用 iopaint start --help 命令來檢視啟用外掛程式的命令。
iopaint start --enable-interactive-seg --interactive-seg-device=cuda
3.批次處理
你也可以在命令列中使用 IOPaint 來批次處理圖片:--image 是包含輸入圖片的資料夾,--mask 是包含相應遮罩圖片的資料夾。當 --mask 是一個遮罩檔的路徑時,所有圖片都將使用這個遮罩進行處理。
計畫連結
https://github.com/Sanster/IOPaint
關註「 開源AI計畫落地 」公眾號