项目简介
IOPaint 是一款开源的图像修复与扩展工具,利用最新的人工智能模型进行图像编辑。用户可以便捷地移除图片中不需要的对象、缺陷或人物,或是替换和扩展图片中的内容。
该工具支持CPU、GPU以及苹果芯片,提供包括Windows在内的一键安装程序。IOPaint支持多种AI模型,可进行擦除、内填充或外扩展任务,同时提供用于交互式对象分割的插件,增强了其多功能性。
扫码加入交流群
获得更多技术支持和交流
(请注明自己的职业)
Demo
功能特点
擦除模型:这些模型可以用来移除图片中不需要的对象、缺陷、水印、人物等。
扩散模型:这些模型可以用来替换对象或执行扩展绘画。一些流行的模型包括:
·runwayml/stable-diffusion-inpainting
·diffusers/stable-diffusion-xl-1.0-inpainting-0.1
·andregn/Realistic_Vision_V3.0-inpainting
·Lykon/dreamshaper-8-inpainting
·Sanster/anything-4.0-inpainting
·Sanster/PowerPaint-V1-stable-diffusion-inpainting
·Sanster/AnyText
·Fantasy-Studio/Paint-by-Example
插件:
·Segment Anything:准确快速的交互式对象分割
·RemoveBG:移除图片背景或为前景对象生成遮罩
·Anime Segmentation:类似RemoveBG,专门为动漫图片训练的模型。
·RealESRGAN:超分辨率
·GFPGAN:面部恢复
·RestoreFormer:面部恢复
·FileManager:方便地浏览您的图片,并直接保存到输出目录。
使用
1.启动 Web 用户界面
IOPaint 提供了一个便捷的 Web 用户界面,利用最新的 AI 模型编辑你的图片。运行以下命令轻松安装并启动 IOPaint:
# In order to use GPU, install cuda version of pytorch first.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
# AMD GPU users, please utilize the following command, only works on linux, as pytorch is not yet supported on Windows with ROCm.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/rocm5.6
pip3 install iopaint
iopaint start --model=lama --device=cpu --port=8080
完成安装后,你可以通过在网络浏览器中访问 http://localhost:8080 来开始使用 IOPaint。
所有模型将在启动时自动下载。如果你想更改下载目录,可以添加 --model-dir 参数。
2.插件
你可以在启动服务时指定要使用的插件,并且可以通过使用 iopaint start --help 命令来查看启用插件的命令。
iopaint start --enable-interactive-seg --interactive-seg-device=cuda
3.批量处理
你也可以在命令行中使用 IOPaint 来批量处理图片:--image 是包含输入图片的文件夹,--mask 是包含相应遮罩图片的文件夹。当 --mask 是一个遮罩文件的路径时,所有图片都将使用这个遮罩进行处理。
项目链接
https://github.com/Sanster/IOPaint
关注「 开源AI项目落地 」公众号