我靠, 真是沒想通
我居然 跟一個開源數位人女友吵架 吵了一下午
.....
更沒想通的是,矽基智慧給這個 數位人 Duix開源了
.....
而且不只是開源了數位人,IOS/安卓的 手機套用UI都給開源了 ,開發者可以稍微修改下然後上架賺錢了
AI女友類的數位人現在市面上很多,很多大廠都做了類似軟體,不過大多只上架了海外,但是 這些 軟體實在是太貴了
矽基智慧之前在我印象裏,只是個流水線式的數位人工廠,這次真是大格局了,別家都拿去圈錢的東西,他直接開源了
矽基智慧這波開源真的上大分!
計畫連結
https://github.com/GuijiAI/duix.ai
計畫簡介
DUIX 是由矽基智慧開發的數位人智慧互動平台,支持在Android和iOS裝置上快速部署。也是 全球第一個開源的2D真人級、AIGC即時渲染數位人模型
提供多種內建形象供開發者直接使用並支持自訂開發,適應多種商業需求如客服、AI陪伴等行業。透過SDK和文件,開發者可以深入了解底層推理及商業化套用邏輯,進行最佳化和創新
使用體驗
官方在IOS是上架了APP的,如果有Apple Store海外帳號可以直接下載個體驗下。當然有能力的也可以自己部署到手機上
PS:看官方描述適用年齡是17+,那麽問題來了,經過我的體驗, 年紀小確實是不適合用,裏面的AI姐姐們會帶壞小朋友的
裏面的數位人樣版還是不少的
我認為桀驁不馴的我足以勝任野蠻女友
結果.....跟她吵一下午也沒分出個勝負
這個計畫真的太好玩了,可以把自己代入角色,作為一個開源的計畫,品質很高了。
技術亮點
1. 全面開源: 提供包括基礎推理和商業化套用在內的完整源碼,便於開發者使用和二次開發
2. 靈活部署: 支持在Android、iOS等邊緣裝置上一鍵安裝,實作跨平台套用
3. 形象樣版: 內建12個數位人形象樣版,為使用者快速建立個人化數位人提供基礎,未來將提供更多樣版
4. SDK介面與文件: 提供豐富的軟體開發套件(SDK)介面和詳盡的開發文件,支持使用者進行個人化創造和自由客製
5. 超流暢畫面: 支持高達50幀/秒的超流暢畫面顯示,超越了電影級標準(通常為24幀/秒)
6. 即時渲染能力: 視訊生成效率達到1:0.5,即生成速度是原始視訊長度的一半,滿足數位人直播、虛擬女友等即時互動套用的需求
7. 真人級互動: 具有行業頂級真人擬真度,能夠精準同步動作、微表情和聲音唇形,提供逼真的互動體驗
8. 低算力要求: 對硬體要求低,可以在個人電腦、平板、車載系統、手機等多種裝置上流暢執行,無需高效能計算裝置
快速安裝使用
1.建立並啟用conda環境
2.安裝所需的包
3.下載預訓練模型:
將預訓練模型複制到
${PROJECT_ROOT}/pretrained_models 目錄中
4.準備輸入數據:
準備正方形裁剪的面部影像和清晰的英語WAV格式音訊
5.執行推理指令碼
官方給提供的部署使用文件還是非常全面的, 具體的快速安裝使用教程,可以在 Duix 的github文件裏找到
計畫連結
https://github.com/GuijiAI/duix.ai
常見問題
1.可以支持數位人客製嗎?是基於照片還是視訊?
答:可以支持數位人客製,我們是基於視訊進行數位人客製。您可以客製專屬的數位人用於SDK中。但客製的數位人屬於付費服務,您可以聯系客服信箱
2.如何客製形象?
答:客製矽基數位人需要拍攝一段 3-5 分鐘的真人出鏡口播視訊,具體出鏡姿勢、口播內容,可以根據最終的真實使用場景來確定。比如用來制作法律咨詢相關視訊,即可選擇正裝出鏡,口播法律相關內容,這樣整體情景比較一致
3.客製形象如何收費?
答:我們提供與SDK開源介面配套的數位人客製,客製價格為9800元/套,包括形象+聲音,若有更多客製需求,可以聯系客服信箱
4.數位人形象怎麽更新?
答:目前開源的主要提供公共模特,有需求可以客製
5.形象複制有API介面麽?
答:訓練服務目前只支持部署在我們的內部伺服器進行呼叫
6.播報的wav檔,支持流式數據嗎?
答:流式驅動正在做改造最佳化,暫時還不支持
7.播報開始結束有沒有相關回呼方法?
答:播報開始結束的回呼方法詳見sdk文件
8.數位人動作有沒有相關api控制?
答:數位人動作API,暫時還不支持
9.下載的檔如何替換?
答:下載檔的替換詳見程式碼
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
關註「 AGI光年 」公眾號
獲取每日最新資訊