VirtualWife: 支持B站直播的开源3D数字人互动项目

职场   2024-10-15 17:35   北京  

今天又发现一款开源的数字人互动项目:VirtualWife


开源地址:

https://github.com/yakami129/VirtualWife

作者想打造一个拥有自己“灵魂”的虚拟数字人,你可以像朋友一样和她相识,作者希望虚拟数字人融入人类生活,作为恋爱导师,心理咨询师,解决人类的情感需求。

特点:

  • 支持一键通过Docker快速部署

  • 支持在Linux/Windows/MacOS系统进行部署

  • 支持自定义角色设定

  • 支持更换角色模型,可从VRM模型市场Vroid下载

  • 支持长短期记忆功能

  • 支持多LLM模型切换,并且支持私有化模型(ollama)

  • 支持文字驱动表情,文字驱动动作

  • 支持B站进行直播

  • 支持通过中文进行语音对话

  • 支持Edge(微软)、Bert-VITS2语音切换

  • 流式传输数据,拥有更快的响应速度



下面是我的数字人需要从里面学习的东西:

  • 记忆模块优化 支持联想记忆
  • 提高记忆检索的准确度
  • 支持记忆遗忘机制,去除不重要的记忆,让AI更加专注
  • 情感涌现模块优化 支持模型肢体动作控制
  • 支持人物的语气、语速控制
  • 语音模块 支持Edge(微软)、Bert-VITS2语音切换
  • 角色扮演深化 LoRA微调RWKV,完成猫娘、傲娇、御姐等性格塑造
  • 反思模块开发 给定角色一个初始设定,通过反思+计划进行自我升级
  • 知识检索 融合FastGPT




每日金句

副业是最适合普通人的逆袭方式。 当年的爱因斯坦,一边在伯尔尼专利局当三级技术员,一边晚上研究物理学发表了量子论和相对论。 卡夫卡则是在保险公司,一边上班,一边开创了现代文学。 刘慈欣在娘子关电站,一边坐班一边坚持写小说。他们都改变了命运。

关于作者

做一只爬的最久的乌龟,保持学习保持好奇,即使慢一点,遇到一点困难,只要最后能到达终点,又有什么关系呢。
毕竟人生没有白走的路,每一步都算数。





前端程序设计
专注前端最前沿技术,数据可视化,web3d。偶尔插播生活和艺术。
 最新文章