项目简介
IDM-VTON是一个开源项目，旨在通过改进扩散模型，实现更自然的虚拟试穿体验。该项目基于最新的深度学习技术，开发出能够处理复杂场景中的虚拟试穿的算法。其主要特点包括对野外真实环境下的衣物试穿进行优化，以及提供高质量的图像生成。此外，IDM-VTON还支持两个数据集：VITON-HD和DressCode，用于进一步提升模型的效果和实用性。
扫码加入交流群
获得更多技术支持和交流
（请注明自己的职业）
DEMO
数据准备
· VITON-HD
你可以从VITON-HD下载VITON-HD数据集。
https://github.com/shadow2496/VITON-HD
下载VITON-HD数据集后，请将 vitonhd_test_tagged.json 文件移动到测试文件夹中。
数据集目录的结构应如下所示。
train|-- ...test|-- image|-- image-densepose|-- agnostic-mask|-- cloth|-- vitonhd_test_tagged.json
·DressCode
你可以从DressCode下载DressCode数据集。
https://github.com/aimagelab/dress-code
在这里提供了预计算的服装密集姿态图像和说明。
使用了detectron2来获取密集姿态图像
下载DressCode数据集后，请按照以下方式放置图像-密集姿态目录和说明文字文件。
DressCode|-- dresses |-- images |-- image-densepose |-- dc_caption.txt |-- ...|-- lower_body |-- images |-- image-densepose |-- dc_caption.txt |-- ...|-- upper_body |-- images |-- image-densepose |-- dc_caption.txt |-- ...
推理
·VITON-HD
使用带有参数的Python文件进行推理
accelerate launch inference.py \ --width 768 --height 1024 --num_inference_steps 30 \ --output_dir "result" \ --unpaired \ --data_dir "DATA_DIR" \ --seed 42 \ --test_batch_size 2 \ --guidance_scale 2.0
或者，可以直接使用脚本文件运行。
sh inference.sh
·DressCode
对于DressCode数据集，通过类别参数设置你想要生成图像的类别
accelerate launch inference_dc.py \ --width 768 --height 1024 --num_inference_steps 30 \ --output_dir "result" \ --unpaired \ --data_dir "DATA_DIR" \ --seed 42 --test_batch_size 2 --guidance_scale 2.0 --category "upper_body"
或者，你可以直接使用脚本文件运行。
sh inference.sh
启动一个本地 Gradio 演示
在下面链接下载人体解析的checkpoint。
https://huggingface.co/spaces/yisol/IDM-VTON-local/tree/main/ckpt
将checkpoint放置在 ckpt 文件夹下。
ckpt|-- densepose |-- model_final_162be9.pkl|-- humanparsing |-- parsing_atr.onnx |-- parsing_lip.onnx|-- openpose |-- ckpts |-- body_pose_model.pth
运行以下命令：
python gradio_demo/app.py
项目链接
https://github.com/yisol/IDM-VTON
试用链接
https://huggingface.co/spaces/yisol/IDM-VTON
关注「 开源AI项目落地 」公众号
与AI时代更靠近一点
