我靠, 真是没想通
我居然 跟一个开源数字人女友吵架 吵了一下午
.....
更没想通的是,硅基智能给这个 数字人 Duix开源了
.....
而且不只是开源了数字人,IOS/安卓的 手机应用UI都给开源了 ,开发者可以稍微修改下然后上架赚钱了
AI女友类的数字人现在市面上很多,很多大厂都做了类似软件,不过大多只上架了海外,但是 这些 软件实在是太贵了
硅基智能之前在我印象里,只是个流水线式的数字人工厂,这次真是大格局了,别家都拿去圈钱的东西,他直接开源了
硅基智能这波开源真的上大分!
项目链接
https://github.com/GuijiAI/duix.ai
项目简介
DUIX 是由硅基智能开发的数字人智能交互平台,支持在Android和iOS设备上快速部署。也是 全球首个开源的2D真人级、AIGC实时渲染数字人模型
提供多种内置形象供开发者直接使用并支持自定义开发,适应多种商业需求如客服、AI陪伴等行业。通过SDK和文档,开发者可以深入了解底层推理及商业化应用逻辑,进行优化和创新
使用体验
官方在IOS是上架了APP的,如果有Apple Store海外账号可以直接下载个体验下。当然有能力的也可以自己部署到手机上
PS:看官方描述适用年龄是17+,那么问题来了,经过我的体验, 年纪小确实是不适合用,里面的AI姐姐们会带坏小朋友的
里面的数字人模板还是不少的
我认为桀骜不驯的我足以胜任野蛮女友
结果.....跟她吵一下午也没分出个胜负
这个项目真的太好玩了,可以把自己代入角色,作为一个开源的项目,质量很高了。
技术亮点
1. 全面开源: 提供包括基础推理和商业化应用在内的完整源码,便于开发者使用和二次开发
2. 灵活部署: 支持在Android、iOS等边缘设备上一键安装,实现跨平台应用
3. 形象模板: 内置12个数字人形象模板,为用户快速创建个性化数字人提供基础,未来将提供更多模板
4. SDK接口与文档: 提供丰富的软件开发工具包(SDK)接口和详尽的开发文档,支持用户进行个性化创造和自由定制
5. 超流畅画面: 支持高达50帧/秒的超流畅画面显示,超越了电影级标准(通常为24帧/秒)
6. 实时渲染能力: 视频生成效率达到1:0.5,即生成速度是原始视频长度的一半,满足数字人直播、虚拟女友等实时交互应用的需求
7. 真人级交互: 具有行业顶级真人拟真度,能够精准同步动作、微表情和声音唇形,提供逼真的交互体验
8. 低算力要求: 对硬件要求低,可以在个人电脑、平板、车载系统、手机等多种设备上流畅运行,无需高性能计算设备
快速安装使用
1.创建并激活conda环境
2.安装所需的包
3.下载预训练模型:
将预训练模型克隆到
${PROJECT_ROOT}/pretrained_models 目录中
4.准备输入数据:
准备正方形裁剪的面部图像和清晰的英语WAV格式音频
5.运行推理脚本
官方给提供的部署使用文档还是非常全面的, 具体的快速安装使用教程,可以在 Duix 的github文档里找到
项目链接
https://github.com/GuijiAI/duix.ai
常见问题
1.可以支持数字人定制吗?是基于照片还是视频?
答:可以支持数字人定制,我们是基于视频进行数字人定制。您可以定制专属的数字人用于SDK中。但定制的数字人属于付费服务,您可以联系客服邮箱
2.如何定制形象?
答:定制硅基数字人需要拍摄一段 3-5 分钟的真人出镜口播视频,具体出镜姿势、口播内容,可以根据最终的真实使用场景来确定。比如用来制作法律咨询相关视频,即可选择正装出镜,口播法律相关内容,这样整体情景比较一致
3.定制形象如何收费?
答:我们提供与SDK开源接口配套的数字人定制,定制价格为9800元/套,包括形象+声音,若有更多定制需求,可以联系客服邮箱
4.数字人形象怎么更新?
答:目前开源的主要提供公共模特,有需求可以定制
5.形象克隆有API接口么?
答:训练服务目前只支持部署在我们的内部服务器进行调用
6.播报的wav文件,支持流式数据吗?
答:流式驱动正在做改造优化,暂时还不支持
7.播报开始结束有没有相关回调方法?
答:播报开始结束的回调方法详见sdk文档
8.数字人动作有没有相关api控制?
答:数字人动作API,暂时还不支持
9.下载的文件如何替换?
答:下载文件的替换详见代码
关注「 开源AI项目落地 」公众号
与AI时代更靠近一点
关注「 AGI光年 」公众号
获取每日最新资讯