现在的AI助手基本都能发语音来提问，本质上还是要先把语音转换成文字，也就是大家能够看得懂并理解，跟平时大家微信聊天发语音一个道理。
Ichigo的创新点在于砍掉了语音转文本这一步，直接把语音转换成离散令牌，大幅降低了算力消耗，那速度上也会提高非常多。
从抽象的角度讲，这是AI真正的听懂了语音。
这也就是为什么说Ichigo是实时语音AI。
扫码加入AI交流群
获得更多技术支持和交流
（请注明自己的职业）
项目简介
Ichigo 是一个开源的多模态AI语音助手，采用混合模态模型，能够实时处理语音和文本的交织序列。通过将连续的语音信号量化为离散令牌，Ichigo 利用统一的转换器基础架构同时处理语音和文本，无需单独的适配器。这种方法实现了跨模态的联合推理和生成，大幅提高了处理速度，首令牌生成的延迟仅为111毫秒，显著低于现有模型。
交互能力演示
Ichigo在处理复杂交互中的高效和灵活性是非常大的亮点。
1.跨模态指令理解
Ichigo能够无缝处理语音和文字的输入，实现真正的跨模态交互。无论是通过语音指令还是文本输入，Ichigo都能准确理解并作出反应。这种能力使它在需要快速响应的场景中可以发挥很大的作用。
2. 多轮对话处理
在多轮对话测试中，Ichigo展现了出色的语境跟踪能力。它可以理解并记住对话的历史，以此来提供更为准确和个性化的回答。这对于复杂的查询处理和提供连贯的用户体验至关重要。
3. 应对模糊输入
面对语音不清晰或背景噪音干扰的情况，Ichigo不会简单地猜测用户意图，而是会以礼貌的方式请求用户重复指令。这种策略有效防止了误解，保证了交互的准确性和效率。
技术亮点
1.混合模态早期融合技术：
Ichigo采用了一种创新的早期融合技术，能够在输入阶段就将语音和文本数据合并处理。这种方法与传统的级联处理模型（先识别语音，再处理文本）相比，能够更加高效地处理混合数据，减少数据处理时间，提高响应速度。
2.统一的变换器架构：
该模型使用了统一的变换器架构来处理量化后的语音和文本令牌，这种架构允许模型不仅仅是并行处理两种类型的数据，还能在处理过程中进行交叉学习和特征共享。这样不仅提升了模型处理的一致性，也增强了从复杂查询中提取信息的能力。
3.语音到令牌的转换：
Ichigo通过将语音输入转换为离散令牌的方式处理语音数据，这一点类似于文本处理中的字词分割。使用WhisperVQ技术，模型可以将连续的语音信号转换为一系列离散的令牌，这些令牌随后被统一的模型架构处理，实现了高效的语音解析。
4.实时性能与低延迟：
Ichigo展示了出色的实时处理能力，其首令牌生成的平均延迟仅为111毫秒，远低于现有的多模态处理系统。这一点对于需要快速反应的应用场景（如实时通讯和互动游戏）尤为重要。
5.多语言处理：
除了处理英语数据外，Ichigo还被训练支持多种语言，这得益于其在预训练阶段使用了大规模的多语言语音识别数据集。这种多语言能力使Ichigo能够服务于全球用户，具有更广泛的应用前景。
项目链接
https://www.dongaigc.com/p/homebrewltd/ichigo
寻找更多开源项目，就到 懂AI（dongai.ai）
软件开发，AI项目快速落地，专业团队高质量交付。
关注「开源AI项目落地」公众号
与AI时代更靠近一点
关注「AGI光年」公众号
获取每日最新资讯
关注「向量光年」公众号
加速全行业向AI转变
