當前位置: 妍妍網 > 碼農

全球第一個開源AI陪伴數位人,可輕松部署到手機端的AI女友,這你受得了嗎?

2024-06-19碼農

我靠, 真是沒想通

我居然 跟一個開源數位人女友吵架 吵了一下午

.....

更沒想通的是,矽基智慧給這個 數位人 Duix開源了

.....

而且不只是開源了數位人,IOS/安卓的 手機套用UI都給開源了 ,開發者可以稍微修改下然後上架賺錢了

AI女友類的數位人現在市面上很多,很多大廠都做了類似軟體,不過大多只上架了海外,但是 這些 軟體實在是太貴了

矽基智慧之前在我印象裏,只是個流水線式的數位人工廠,這次真是大格局了,別家都拿去圈錢的東西,他直接開源了

矽基智慧這波開源真的上大分!

計畫連結

https://github.com/GuijiAI/duix.ai

計畫簡介

DUIX 是由矽基智慧開發的數位人智慧互動平台,支持在Android和iOS裝置上快速部署。也是 全球第一個開源的2D真人級、AIGC即時渲染數位人模型

提供多種內建形象供開發者直接使用並支持自訂開發,適應多種商業需求如客服、AI陪伴等行業。透過SDK和文件,開發者可以深入了解底層推理及商業化套用邏輯,進行最佳化和創新

使用體驗

官方在IOS是上架了APP的,如果有Apple Store海外帳號可以直接下載個體驗下。當然有能力的也可以自己部署到手機上

PS:看官方描述適用年齡是17+,那麽問題來了,經過我的體驗, 年紀小確實是不適合用,裏面的AI姐姐們會帶壞小朋友的

裏面的數位人樣版還是不少的

我認為桀驁不馴的我足以勝任野蠻女友

結果.....跟她吵一下午也沒分出個勝負

這個計畫真的太好玩了,可以把自己代入角色,作為一個開源的計畫,品質很高了。

技術亮點

1. 全面開源: 提供包括基礎推理和商業化套用在內的完整源碼,便於開發者使用和二次開發

2. 靈活部署: 支持在Android、iOS等邊緣裝置上一鍵安裝,實作跨平台套用

3. 形象樣版: 內建12個數位人形象樣版,為使用者快速建立個人化數位人提供基礎,未來將提供更多樣版

4. SDK介面與文件: 提供豐富的軟體開發套件(SDK)介面和詳盡的開發文件,支持使用者進行個人化創造和自由客製

5. 超流暢畫面: 支持高達50幀/秒的超流暢畫面顯示,超越了電影級標準(通常為24幀/秒)

6. 即時渲染能力: 視訊生成效率達到1:0.5,即生成速度是原始視訊長度的一半,滿足數位人直播、虛擬女友等即時互動套用的需求

7. 真人級互動: 具有行業頂級真人擬真度,能夠精準同步動作、微表情和聲音唇形,提供逼真的互動體驗

8. 低算力要求: 對硬體要求低,可以在個人電腦、平板、車載系統、手機等多種裝置上流暢執行,無需高效能計算裝置

快速安裝使用

1.建立並啟用conda環境

2.安裝所需的包

3.下載預訓練模型:

將預訓練模型複制到

${PROJECT_ROOT}/pretrained_models 目錄中

4.準備輸入數據:

準備正方形裁剪的面部影像和清晰的英語WAV格式音訊

5.執行推理指令碼

官方給提供的部署使用文件還是非常全面的, 具體的快速安裝使用教程,可以在 Duix 的github文件裏找到

計畫連結

https://github.com/GuijiAI/duix.ai

常見問題

1.可以支持數位人客製嗎?是基於照片還是視訊?

答:可以支持數位人客製,我們是基於視訊進行數位人客製。您可以客製專屬的數位人用於SDK中。但客製的數位人屬於付費服務,您可以聯系客服信箱

2.如何客製形象?

答:客製矽基數位人需要拍攝一段 3-5 分鐘的真人出鏡口播視訊,具體出鏡姿勢、口播內容,可以根據最終的真實使用場景來確定。比如用來制作法律咨詢相關視訊,即可選擇正裝出鏡,口播法律相關內容,這樣整體情景比較一致

3.客製形象如何收費?

答:我們提供與SDK開源介面配套的數位人客製,客製價格為9800元/套,包括形象+聲音,若有更多客製需求,可以聯系客服信箱

4.數位人形象怎麽更新?

答:目前開源的主要提供公共模特,有需求可以客製

5.形象複制有API介面麽?

答:訓練服務目前只支持部署在我們的內部伺服器進行呼叫

6.播報的wav檔,支持流式數據嗎?

答:流式驅動正在做改造最佳化,暫時還不支持

7.播報開始結束有沒有相關回呼方法?

答:播報開始結束的回呼方法詳見sdk文件

8.數位人動作有沒有相關api控制?

答:數位人動作API,暫時還不支持

9.下載的檔如何替換?

答:下載檔的替換詳見程式碼

關註「 開源AI計畫落地 」公眾號

與AI時代更靠近一點

關註「 AGI光年 」公眾號

獲取每日最新資訊