当前位置: 欣欣网 > 码农

我愿称它为最强AI魔法棒,图片局部重绘再次升级,你的幻想它都能帮你实现

2024-06-20码农

每天都会看很多的开源项目

这个项目可能是近期看到最惊艳的一个了 ,让我迫不及待地想去分享给大家

你很难想象自己换发型、换发色会变成什么样子,也很难想象一个沙发形状的蛋糕会是什么样,这个最新的开源项目 MimicBrush 将会满足你所有的幻想

倒不是说局部重绘有多么新颖,毕竟大家用的AI绘图软件都有这个功能,Mijourney、Stable Diffusion、Dalle3这些都可以,不过重绘也是用AI把这部分重新创造,抽卡把人都抽麻了还得不到自己想要的样子

而 MimicBrush 让AI真正的懂了你要重绘的内容 ,让图片真的变成你想要的样子

扫码加入AI交流群

获得更多技术支持和交流

(请注明自己的职业)

直接切入主题

我们先来看一段官方的演示视频

是不是感觉很神奇, 我们脑海里所有的天马行空,居然都可以变成可以看得到的图像

最近各地天气挺热,恰好我这几天想买个草帽戴着遮阳,实在是不知道戴上什么样,不如就直接用 MimicBrush 实际戴上看看

实际体验下来还挺有趣的, 试用链接 在下面,你们也可以直接去玩一下

https://huggingface.co/spaces/xichenhku/MimicBrush

这就会有很多 商用场景

比如,发型设计师提前让顾客看到自己染发后的样子,卖项链的商家可以让顾客先戴上看看,都可以让顾客的体验感更好

这个功能完全可以做成一个软件,给很多行业的商家都解决了用户预体验的问题

下面讲点这个开源项目 专业一些的内容

项目简介

MimicBrush 是一个用于零样本图像编辑的工具,通过参考图像实现高效的图像编辑。

它采用双 U-Nets 模型,结合稳定扩散和深度模型技术,使用户能够对上传的源图像进行指定区域的编辑,并通过参考图像模仿实现自然过渡。MimicBrush 的核心基于 IP-Adapter 和 MagicAnimate 项目,提供了灵活的编辑体验。

方法

MimicBrush的 主要结构包括模仿U-Net、参考U-Net和深度模型:

·模仿U-Net: 基于SD-1.5填充模型,接收13通道的输入,包括图像潜变量、二进制掩码、背景潜变量和深度潜变量

·参考U-Net: 从SD-1.5模型初始化,提取参考图像的多级特征,辅助模仿U-Net进行区域填充

·深度模型: 使用Depth Anything预测未掩盖源图像的深度图,并通过训练投影器将其投影到深度潜变量中,作为形状控制

具体的部署,可以到github链接readme部分去看下,这么好用的功能,希望可以早点让更多普通用户能体验

项目链接

https://github.com/ali-vilab/MimicBrush

关注「 开源AI项目落地 」公众号

与AI时代更靠近一点

关注「 AGI光年 」公众号

获取每日最新资讯