全球首款开源数字人模型duix.ai,全面解读!

科技   2024-08-06 08:30   重庆  

嗨,大家好,我是徐小夕。

最近一直在研究 AI大模型 在业务场景中的应用,刚好发现一款非常有意思的开源数字人模型——duix.ai.

image.png

它是硅基智能打造的数字人智能交互平台。而duix-ai就是基于DUIX开源的全球首个2D真人级、AIGC实时渲染数字人模型,该项目不仅提供了直观的效果展示,还支持用户进行二次开发.

项目从底层推理引擎及上层的商业化应用逻辑也都开放了源代码,方便开发者可以深入了解其工作原理,并进行进一步的优化和创新。

github地址: https://github.com/GuijiAI/duix.ai

接下来我就和大家详细介绍一下这款开源数字人模型.

话不多说, 先来看看模型效果:

背景介绍

image.png


硅基智能的核心产品为AIGC数字人,是以数字孪生NLP知识图谱等AI技术构建,一比一真实还原真人形态,动作、表情、声音无限逼近真人的硅基生命,以丰富生动的展现形式,提供涵盖各行业的服务。

硅基智能着眼于全球,专注于 AI 技术深度研发和落地应用。其目标是通过自主研发的核心技术,致力于在 2025 年为全球输出 1 亿硅基劳动力,赋能企业数字化转型。在积累了大量技术沉淀的基础上,为了进一步实现 “科技平权”, 便开源了 duix.ai

duix.ai 开源仓库不仅仅包含数字人模型,对于配套的IOS/安卓的手机应用UI都已开源了, 我们可以基于它的开源代码轻松的改成自己的数字人APP.

image.png

duix.ai 开源项目具有如下特点:

  • 部署成本低: 无需客户提供技术团队进行配合,支持低成本快速部署在多种终端及大屏。
  • 网络依赖小: 适合地铁、银行、政务等多种场景的虚拟助理自助服务。
  • 功能多样化: 可根据客户需求满足视频、媒体、客服、金融、广电等多个行业的多样化需求。
基于这个开源项目,硅基智能在苹果商店也发布了一款名为DUIX.AI的应用。使用它可以帮助我们轻松定制各种类型的数字人,接下来我们就来聊聊它能做什么。

duix.ai 能做什么(应用场景)

duix.ai 可以应用在恋爱社交情感陪伴内容创作知识学习等领域.

其实数字人在我们的生活和工作场景中应用也非常广泛, 这里我举几个常见的案例.

1. 虚拟男/女友

image.png

AI女友类的数字人现在市面上很多, 但是一般都是收费的, 我们可以基于 duix.ai 实现低成本的虚拟男/女友应用, 让AI数字人普惠更多的人.

2. 虚拟社交

我们在社交场景上有很多应用领域, 比如上面视频分享的“怼人小姐姐”. 

本人亲测, 根本吵不过~

同时如果大家想打造一款能帮助自己成长的互动式社交机器人, 比如虚拟教练, 虚拟教师, 使用 duix.ai 也是非常容易的下面我就来展示一下虚拟教练的效果: 

3. 虚拟人直播带货

image.png

目前抖音等短视频平台直播带货非常火, 如果我们有很好的视频脚本, 可以让虚拟人24小时帮助我们直播和带货, 实现真正的“睡后收入”.

4. 克隆专家

image.png

我们可以利用私有知识库 + 虚拟人打造某个行业的专家, 让虚拟人来面对面解答客户的咨询和问题.

5. 定制自己的数字人(最新更新)

它还支持非常有意思的个性化定制功能。之前比较火的AI复活亲人的场景,现在我们使用它, 只需要准备一个视频就可以实现。

>/ 只需一段标准化的视频就可以任意定制AI形象和对话场景

个性化打造专业形象IP等,各类场景无缝切换。

操作界面也相当简单:视频+名字。

总体来说,它是一个非常酷的项目,Duix.AI 这个 APP,给我的感觉相当真实,精准同步动作、微表情、声音唇形。就算说是行业顶级真人拟真度也不为过,而事实也确实是这样。

核心优势

image.png

这里我分享一下这款开源项目的核心优势, 供大家参考对比. 我会从两方面对比:

  • 技术亮点
  • 模型能力

在技术上它具有如下优势:

  • 全面开源:提供从基础推理到商业化应用的完整源码。

  • 灵活部署:支持Android、iOS等边缘设备,一键安装。

  • 丰富的形象模板:内置14个数字人形象模板,后续将推出更多形象。

  • 完善的SDK接口与文档:提供丰富的SDK接口和详尽的开发文档,支持个性化创造、自由定制

  • 超流畅画面:支持50帧/秒的超流畅画面,远超电影级标准。

  • 实时渲染能力:视频生成效率超过1:0.5,满足直播/实时交互需求(用于数字人直播/虚拟女友等应用)。

  • 真人级交互:行业顶级真人拟真度,精准同步动作、微表情、声音唇形。

  • 低算力要求:个人电脑、平板、车载系统、手机均能流畅运行。

在模型对比上, 它采用了自研的炎帝大模型, 可以看作多模态的行业脑,基于深度学习的多层神经网络结构,拥有超过百亿参数的多模态大模型,融合了数字人大模型、声音大模型、文本大模型、图像大模型等技术,可将理解复杂文本,高效准确地生成视频,视频中包含数字人、声音、画面等内容元素,广泛应用知识生产(视频)、知识传播(直播)、知识创作(文娱) 等多个领域,克隆超过50万数字人律师、老师、医生、企业家、博主等,实现了AIGC产品在十多个行业数十个商业化场景的落地应用。

使用案例

目前 duix.ai 支持iosandroid 的 SDK 集成,  具体环境参数如下:

image.png

SDK集成(1⃣以安卓为例)

dependencies {    // 引用SDK项目    implementation project(":duix-sdk")    // sdk 中使用到 exoplayer 处理音频(必选)    implementation 'com.google.android.exoplayer:exoplayer:2.14.2'        // 云端问答接口使用的SSE组件(非必选)    implementation 'com.squareup.okhttp3:okhttp-sse:4.10.0'
...}

权限要求, AndroidManifest.xml中, 需增加如下配置:


<manifest xmlns:android="http://schemas.android.com/apk/res/android"> <uses-permission android:name="android.permission.INTERNET" /> <uses-permission android:name="android.permission.CHANGE_WIFI_STATE" /> <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" /> <uses-permission android:name="android.permission.ACCESS_WIFI_STATE" /> <uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" /> <uses-permission android:name="android.permission.WAKE_LOCK" />
</manifest>

DUIX对象构建说明:

image.png

更详细的使用教程大家可以在 github 上查看:

https://github.com/GuijiAI/duix.ai

最后

如果大家想了解更多 duix.ai 的动态, 可以加下官方讨论群,欢迎交流~

欢迎star + 反馈~

往期精彩


趣谈前端
徐小夕【知乎专栏作家】掘金签约作者,定期分享前端工程化,可视化,企业实战项目知识,深度复盘企业中经常遇到的500+技术问题解决方案。【关注趣谈前端,前端路上不迷茫】
 最新文章