当前位置: 欣欣网 > 码农

港大浙大联合开源交互式AI图片编辑系统,平替PS超贵的AI功能,简单到看一眼就会用。

2024-11-21码农

修图对于非专业的人来说,用PS实在是太费劲了,对于专业的人来说也需要时间。

AI能辅助修图这是大家都知道的,comfyui可以搞出很多功能,但还是不够方便,对小白也不够友好。 PS也有AI修图功能,价格你懂的。

大家选择AI编辑图片主要是这么几个原因: 简单、高效、有创意。

MagicQuill是香港科技大学、蚂蚁集团、浙江大学、香港大学联合开发并开源的一个AI图片编辑项目。

MagicQuill的图片编辑功能很完善,而且效果也很不错。 最重要的是使用也很简单, 只需要在原图上涂涂画画,写个简单的提示词,图片就改好了。

我每天都会看数不清的开源项目, MagicQuill可能是这个月见过的最适合落地的AI开源项目了 ,做一个AI图片编辑器市场应该还不错。

扫码加入AI交流群

获得更多技术支持和交流

(请注明自己的职业)

项目简介

MagicQuill是一个开源的交互式AI图像编辑系统,采用先进的扩散模型构建,能够迅速实现用户的创意需求。本系统特别设计了简洁而功能强大的界面,用户仅需通过简单的笔触就能表达自己的编辑意图(如添加元素、擦除对象、改变颜色等)。这些交互通过多模态大语言模型(MLLM)实时监控,无需用户输入具体指令即可预测编辑意图。项目利用双分支插件模块精确控制编辑过程,显著提高了操作的准确性和效率。

DEMO

这部分既是DEMO,也是教程,因为使用起来实在是太简单。

操作按钮就这些。官方给了这些操作的描述,省了我来写了。

对于涂抹区域的提示词,系统会自动给出提示,但是实际测下来,偶尔会不准确,或者你想添加一些比较复杂的内容,它可能也识别不出来。

这时候需要手动去对提示词进行修改。

关于设置的参数问题,如果个人简单用用可以不调整,想用来开发或者精细的使用,还是需要了解下的。

因为基础也是SD,所以跟模型离不开,做不同风格的图片调整可以用不同的模型。

核心模块

MagicQuill的设计包括三个核心模块,每个模块都针对图像编辑的不同方面进行优化来提高效率和精确度。

1、编辑处理器

  • 功能:编辑处理器是这个系统的核心,负责生成和修改图像的详细内容。它使用两种类型的笔触导向机制:涂鸦导向和颜色导向,让用户能通过简单的笔触直观地控制图像结构和颜色属性。

  • 技术实现:通过扩展潜在扩散UNet结构,引入了两个专门的分支:一个是内容感知的像素级绘图指导的修复分支,另一个是提供结构性指导的控制分支。这样的设计保证了在用户编辑意图和图像生成之间的高度一致性。

  • 用户体验:通过简化用户的输入,大大减少了复杂的参数调整和技术要求,使得用户即使在没有专业图像处理知识的情况下,也能进行高级的图像编辑。

  • 2、绘画辅助器

  • 功能:绘画辅助器用于实时预测用户的编辑意图,并根据图像上下文自动产生相应的编辑指令。

  • 技术实现:采用多模态大语言模型,解析用户通过笔触输入的抽象意图,并将这些意图转化为具体的图像编辑命令。

  • 用户体验:用户可以更加专注于创意表达,而不需要担心操作的具体技术细节。系统能够理解并预测用户的需求,从而减少误解和重复操作,提高整体的编辑体验。

  • 3、想法收集器

  • 功能:提供一个用户友好的界面,允许用户快速且轻松地输入他们的编辑想法。这一模块是用户与MagicQuill系统交互的主要接口。

  • 技术实现:想法收集器支持跨平台操作,兼容多种设备和操作系统。它集成了各种直观的编辑工具,如不同类型的画笔和色彩选择器,以及一个可视化的编辑画布,用户可以直接在上面进行图像编辑。

  • 用户体验:通过简化的用户界面设计和直观的交互逻辑,使用户即使是首次使用也能迅速上手。提供的工具和功能都是为了增强用户的创造力和效率,让图像编辑变得更加轻松和愉快。

  • 项目链接

    https://www.dongaigc.com/p/magic-quill/MagicQuill

    关注「 开源AI项目落地 」公众号

    与AI时代更靠近一点

    关注「 AGI光年 」公众号

    获取每日最新资讯

    关注「 向量光年 」公众号

    加速全行业向AI转变