當前位置: 妍妍網 > 碼農

IOPaint:已開源,能批次處理圖片的AI工具,支持移除、替換圖片中不需要的元素

2024-04-20碼農

計畫簡介

IOPaint 是一款開源的影像修復與擴充套件工具,利用最新的人工智慧模型進行影像編輯。使用者可以便捷地移除圖片中不需要的物件、缺陷或人物,或是替換和擴充套件圖片中的內容。

該工具支持CPU、GPU以及蘋果芯片,提供包括Windows在內的一鍵安裝程式。IOPaint支持多種AI模型,可進行擦除、內填充或外擴充套件任務,同時提供用於互動式物件分割的外掛程式,增強了其多功能性。

掃碼加入交流群

獲得更多技術支持和交流

(請註明自己的職業)

Demo

功能特點

擦除模型:這些模型可以用來移除圖片中不需要的物件、缺陷、浮水印、人物等。

擴散模型:這些模型可以用來替換物件或執行擴充套件繪畫。一些流行的模型包括:

·runwayml/stable-diffusion-inpainting

·diffusers/stable-diffusion-xl-1.0-inpainting-0.1

·andregn/Realistic_Vision_V3.0-inpainting

·Lykon/dreamshaper-8-inpainting

·Sanster/anything-4.0-inpainting

·Sanster/PowerPaint-V1-stable-diffusion-inpainting

·Sanster/AnyText

·Fantasy-Studio/Paint-by-Example

外掛程式:

·Segment Anything:準確快速的互動式物件分割

·RemoveBG:移除圖片背景或為前景物件生成遮罩

·Anime Segmentation:類似RemoveBG,專門為動漫圖片訓練的模型。

·RealESRGAN:超分辨率

·GFPGAN:面部恢復

·RestoreFormer:面部恢復

·FileManager:方便地瀏覽您的圖片,並直接保存到輸出目錄。

使用

1.啟動 Web 使用者介面

IOPaint 提供了一個便捷的 Web 使用者介面,利用最新的 AI 模型編輯你的圖片。執行以下命令輕松安裝並啟動 IOPaint:

# In order to use GPU, install cuda version of pytorch first.# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118# AMD GPU users, please utilize the following command, only works on linux, as pytorch is not yet supported on Windows with ROCm.# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/rocm5.6pip3 install iopaintiopaint start --model=lama --device=cpu --port=8080

完成安裝後,你可以透過在網路瀏覽器中存取 http://localhost:8080 來開始使用 IOPaint。

所有模型將在啟動時自動下載。如果你想更改下載目錄,可以添加 --model-dir 參數。

2.外掛程式

你可以在啟動服務時指定要使用的外掛程式,並且可以透過使用 iopaint start --help 命令來檢視啟用外掛程式的命令。

iopaint start --enable-interactive-seg --interactive-seg-device=cuda

3.批次處理

你也可以在命令列中使用 IOPaint 來批次處理圖片:--image 是包含輸入圖片的資料夾,--mask 是包含相應遮罩圖片的資料夾。當 --mask 是一個遮罩檔的路徑時,所有圖片都將使用這個遮罩進行處理。

計畫連結

https://github.com/Sanster/IOPaint

關註「 開源AI計畫落地 」公眾號