ten-agent: 又一款王炸级的开源端到端语音模型

职场   2024-11-21 11:44   北京  
首个集成了OpenAI Realtime API和RTC能力的实时多模态AI agent:TEN-Agent,具备天气查询、网络搜索、视觉识别、RAG能力,适合智能客服、实时语音助手这种实时交互的场景能同时看、听、说,处理各种信息,具备超低延迟的音视频交互能力,agent状态实时管理,多模态处理能力

代码地址:

https://github.com/TEN-framework/TEN-Agent

体验地址:

https://agent.theten.ai/


1. 带有 OpenAI Realtime API 和 RTC 的 TEN 代理
将超低延迟的 OpenAI Realtime API 与 RTC 的 AI 噪音抑制相结合,可确保流畅、高质量的交互。除此之外,天气和新闻工具的无缝集成使 TEN Agent 更加通用。

2. TEN 代理功能
  • OpenAI Realtime API 和 RTC 集成:TEN Agent 是集成 OpenAI Realtime API 和 RTC 的世界级多模式 AI 代理。

  • 高性能实时多模式交互为复杂的视听AI应用提供高性能、低延迟的解决方案。

  • 多语言和多平台支持支持C++、Go、Python等扩展开发。可在Windows、Mac、Linux和移动设备上运行。

  • 边缘云集成灵活结合边缘和云部署的扩展,平衡隐私、成本和性能。

  • 超越模型限制的灵活性通过简单的拖放编程轻松构建复杂的AI应用程序,集成视听工具,数据库,RAG等。

  • 实时代理状态管理实时管理和调整代理行为以实现动态响应。


3. 集成的模型:
4. TEN 代理:
类似coze的图像界面:

关于作者

做一只爬的最久的乌龟,保持学习保持好奇,即使慢一点,遇到一点困难,只要最后能到达终点,又有什么关系呢。
毕竟人生没有白走的路,每一步都算数。

加入知识星球可添加作者微信随时沟通。

前端程序设计
专注前端最前沿技术,数据可视化,web3d。偶尔插播生活和艺术。
 最新文章