計畫簡介
IDM-VTON是一個開源計畫，旨在透過改進擴散模型，實作更自然的虛擬試穿體驗。該計畫基於最新的深度學習技術，開發出能夠處理復雜場景中的虛擬試穿的演算法。其主要特點包括對野外真實環境下的衣物試穿進行最佳化，以及提供高品質的影像生成。此外，IDM-VTON還支持兩個數據集：VITON-HD和DressCode，用於進一步提升模型的效果和實用性。
掃碼加入交流群
獲得更多技術支持和交流
（請註明自己的職業）
DEMO
數據準備
· VITON-HD
你可以從VITON-HD下載VITON-HD數據集。
https://github.com/shadow2496/VITON-HD
下載VITON-HD數據集後，請將 vitonhd_test_tagged.json 檔移動到測試資料夾中。
數據集目錄的結構應如下所示。
train|-- ...test|-- image|-- image-densepose|-- agnostic-mask|-- cloth|-- vitonhd_test_tagged.json
·DressCode
你可以從DressCode下載DressCode數據集。
https://github.com/aimagelab/dress-code
在這裏提供了預計算的服裝密集姿態影像和說明。
使用了detectron2來獲取密集姿態影像
下載DressCode數據集後，請按照以下方式放置影像-密集姿態目錄和說明文字檔。
DressCode|-- dresses |-- images |-- image-densepose |-- dc_caption.txt |-- ...|-- lower_body |-- images |-- image-densepose |-- dc_caption.txt |-- ...|-- upper_body |-- images |-- image-densepose |-- dc_caption.txt |-- ...
推理
·VITON-HD
使用帶有參數的Python檔進行推理
accelerate launch inference.py \ --width 768 --height 1024 --num_inference_steps 30 \ --output_dir "result" \ --unpaired \ --data_dir "DATA_DIR" \ --seed 42 \ --test_batch_size 2 \ --guidance_scale 2.0
或者，可以直接使用指令碼檔執行。
sh inference.sh
·DressCode
對於DressCode數據集，透過類別參數設定你想要生成影像的類別
accelerate launch inference_dc.py \ --width 768 --height 1024 --num_inference_steps 30 \ --output_dir "result" \ --unpaired \ --data_dir "DATA_DIR" \ --seed 42 --test_batch_size 2 --guidance_scale 2.0 --category "upper_body"
或者，你可以直接使用指令碼檔執行。
sh inference.sh
啟動一個本地 Gradio 演示
在下面連結下載人體解析的checkpoint。
https://huggingface.co/spaces/yisol/IDM-VTON-local/tree/main/ckpt
將checkpoint放置在 ckpt 資料夾下。
ckpt|-- densepose |-- model_final_162be9.pkl|-- humanparsing |-- parsing_atr.onnx |-- parsing_lip.onnx|-- openpose |-- ckpts |-- body_pose_model.pth
執行以下命令：
python gradio_demo/app.py
計畫連結
https://github.com/yisol/IDM-VTON
試用連結
https://huggingface.co/spaces/yisol/IDM-VTON
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
