当前位置: 欣欣网 > 码农

全球首个数字人,开源!

2024-06-24码农

全球首个 2D 真人级、AIGC 实时渲染数字人模型开源了! DUIX 是硅基智能打造的数字人智能交互平台。

开源项目提供了详细的开放文档,方便你轻松开发出定制化的虚拟人应用。 借助这个开源项目, 开发者能够在 Android 或者 iOS 上一键部署数字人,为你的用户提供即时的虚拟人互动体验。

硅基数字人SDK是完全开源的,底层推理引擎以及上层的商业化应用逻辑都开放了源代码。你可以深入了解其工作原理,并进行进一步的优化和创新。

开源地址:https://github.com/GuijiAI/duix.ai

01

开源数字人多强?

这个开源的SDK不仅提供了直观的效果展示,还支持用户进行二次开发,核心功能有:

① 数字人形象模板: 提供了 14 个数字人模板,你可以前往开源项目的地址下载和使用这些数字人模型。硅基数字人还会不定期更新本地模型包,以便下载和使用最新的模型

② 部署成本低: 支持低成本快速部署在 iOS、安卓或者大屏上。并且在平板、车载系统上也能流畅运行。

③ 画面流畅: 支持 50 帧/秒的流畅画面,视频生成效率超过 1:0.5、满足直播等一些对实时性要求很高的场景

④ 真实模拟: 数字人行业顶级的真实度,能够精准的模拟动作、说话的唇形、微表情

⑤ 可以搭建的场景: AI伴侣、直播带货、数字人短视频生成、批量数字人口播视频内容生成,用于抖音/视频号等平台的营销推广、品牌IP、内容制作。

图片素材来源于硅基智能官方公众号推文

02

看看效果?

这里是一个数字人的真实 Demo,能够对对话的人的话有比较合理的理解和反馈。有一个问题就是你说完话,数字人大概需要反应 3~4 s 才有反馈。但是随着端侧模型的性能优化,这个问题很快可能就会被解决。

03

如何部署使用?

安卓 SDK 集成教程

该开源项目提供了详细的使用部署教程,可以移步该项目的地址去查看,我直接把重要的部分贴在了下方。

iOS 部署方式

SDK 提供了多种回调方法,包括数字人渲染报错回调、音频播放结束回调、音频播放进度回调等。

动作相关的还支持随机动作、开始动作、结束动作等。建议前往开源项目去查看详细文档。

NSString *basePath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"gj_dh_res"];
NSString *digitalPath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"lixin_a_540s"];
//初始化
NSInteger result= [[GJLDigitalManager manager] initBaseModel:basePath digitalModel:digitalPath showView:weakSelf.showView];
if(result==1)
{
//开始
[[GJLDigitalManager manager] toStart:^(BOOL isSuccess, NSString *errorMsg) {
if(!isSuccess)
{
[SVProgressHUD showInfoWithStatus:errorMsg];
}
}];
}

04

谁开源的?

看了一下开源该项目的开发者,是叫做硅基智能的 AI 公司。我之前还经常刷到他们的短视频。 这个公司已成功克隆 50 万数字人,实现 AIGC 产品在十多个行业的商业化应用。

为了降低技术门槛,为个人开发者和企业提供参与数字人的创新的机会, 硅基智能公开数字人技术的核心代码。

开源地址:https://github.com/GuijiAI/duix.ai

算是为推动数字人技术的快速发展和普及出一份力!respect 🫡

推荐阅读

1.

2.

3.

4.