ICASSP2025丨IMU语音理解与生成实验室3篇论文分享

文摘 2024-12-23 18:02 北京

近日，2025年IEEE声学、语音与信号处理国际会议（2025 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2025）发布录用通知，内蒙古大学语音理解与生成实验室共3篇论文被录用。

实验室此次被录用的3篇论文涉及智能语音交互领域的诸多研究方向，包括对话语音合成、视频配音、大语言模型辅助的视觉语音合成等。

论文一

论文题目：Multi-Source Spatial Knowledge Understanding for Immersive Visual Text-to-Speech

作者：何树伟，刘瑞

工作简介：

视觉文本转语音Visual Text-to-Speech（VTTS）旨在以空间环境图像作为提示，合成对应口语内容的混响语音。先前的研究集中在RGB模态用于全局环境建模，忽视了深度、说话者位置和环境语义等多源空间知识的潜力。为了解决这些问题，我们提出了一种新颖的用于沉浸式VTTS的多源空间知识理解方案，称为MS²KU-VTTS。具体而言，我们首先将RGB图像作为主要知识源，并考虑深度图像、来自目标检测的说话者位置知识，以及来自图像理解LLM的语义标题作为辅助知识源。随后，我们提出了一个串行交互机制，深度融合主要和辅助来源。根据它们的贡献，动态集成产生的多源知识。这种丰富的多源空间知识的交互和集成指导了语音生成模型，增强了沉浸式空间语音体验。实验结果表明，MS²KU-VTTS在生成沉浸式语音方面优于现有基线模型。

代码和Demo：https://github.com/AI-S2-Lab/MS2KU-VTTS

论文二

论文题目：Intra- and Inter-modal Context Interaction Modeling for Conversational Speech Synthesis

作者：贾真琦，刘瑞

工作简介：

对话式语音合成（Conversational Speech Synthesis，CSS）旨在有效地利用多模态对话历史（Multimodal Dialogue History，MDH）生成具有适当会话语境的目标话语。CSS的关键挑战在于对MDH和目标话语之间的交互进行建模。需要注意的是，在MDH中，文本和语音模态具有独特的跨模态影响，同时它们相互补充以对目标话语的表达产生综合影响。先前的研究没有显式建模这种模态内部和模态间的交互。为了解决这个问题，我们提出了一种基于新的模态内部和模态间上下文交互方案的CSS系统，称为I³-CSS。具体来说，在训练阶段，我们将MDH与目标话语中的文本和语音模态相结合，得到四种模态组合，包括“历史文本-下一个文本”，“历史语音-下一个语音”，“历史文本-下一个语音”和“历史语音-下一个文本”。然后，我们设计了两个基于对比学习的模态内部交互和两个模态间交互模块，以深入学习模态内部和模态间上下文交互。在推理阶段，我们使用MDH并采用训练好的交互模块来充分推断目标话语文本内容的语音韵律。
在DailyTalk数据集上进行的主观和客观实验表明，I³-CSS在韵律表达方面优于先进的基线模型。

代码和Demo：https://github.com/AI-S2-Lab/I3CSS

论文三

论文题目：Towards Expressive Video Dubbing with Multiscale Multimodal Context Interaction

作者：赵源，刘瑞，丛高翔（中科院计算所）

工作简介：

自动视频配音（Automatic Video Dubbing，AVD）从脚本中生成与嘴唇运动和面部情绪对齐的语音。最近的研究关注建模多模态上下文以增强韵律表达，但忽略了两个关键问题：1）上下文中的多尺度韵律表达属性影响当前句子的韵律。2）上下文中的韵律线索与当前句子互动，影响最终的韵律表达。为了解决这些挑战，我们提出了M2CI-Dubber，一种用于AVD的多尺度多模态上下文交互方案。该方案包括两个共享的M2CI编码器，用于建模多尺度多模态上下文并促进其与当前句子的深度交互。通过为上下文中的每种模态提取全局和局部特征，利用基于注意力机制的聚合和交互，并采用基于交互的图注意力网络进行融合，所提出的方法增强了合成语音的韵律表达，使其更适合当前句子。对Chem数据集上的实验证明，我们的模型在配音表现方面优于基线模型。

代码和Demo：https://github.com/AI-S2-Lab/M2CI-Dubber

永久福利直投简历

简历投递：join@speechhome.com

扫码关注我们

助力AI语音开发者的社区

语音之家

助力AI语音开发者的社区

天工版o1、4o同时上线！实时语音陪聊太上头

通过流匹配实现高效、高质量的文本转音频生成

语音/音频处理学术速递[1.6]

AI语音招聘岗位合集

OpenAI真的开源了！这波「实时语音」操作，让万物开口说话，我爱了

活动报名丨第五届全国人工智能大赛

复旦等提出「中国版GPT-Zero」！毕业论文AI率自查神器｜AAAI 2025

语音/音频处理学术速递[1.3]

AI教父辛顿力挺马斯克，明确反对 OpenAI 的营利化转型。

分享 10 款免费在线 TTS 工具，开启语音新世界大门

4o-mini只有8B，Claude 3.5 Sonnet有175B，微软论文「透露」了下顶级模型参数

高噪声环境下的语音增强技术，在极低信噪比条件下显著提升目标语音的质量

使用知识图谱增强大语言模型生成问答逻辑形式

Ilya布局末日倒计时？奥特曼与谷歌大佬揭秘2025年ASI降临时间表！

ICASSP2025丨语音国家工程研究中心26篇录用论文分享

国产大模型全球“刷屏”，总训练成本557万美元，性能比肩GPT-4o

语音/音频处理学术速递[12.31]

ICASSP2025丨上交大跨媒体语言智能实验室12篇录用论文分享

2024年人工智能年终总结报告｜Artificial Analysis

语音/音频处理学术速递[12.30]

AI语音招聘岗位合集

听见未来，AI+Audio｜2025中国国际音频产业大会（GAS）

长文本+o1？评估LLM在真实世界长文本多任务中的深度理解与推理能力

国产大模型DeepSeek-V3一夜火爆全球，671B的MoE，训练成本仅558万美元

ICASSP2025丨内蒙古大学语音信号处理组5篇录用论文分享

AI大模型权威评测：豆包中文对话最强，OpenAI o1推理和数学占优

全球首个中文安全领域事实性基准评测集发布

音频版ControlNet来了！Adobe推出Sketch2Sound

AI首次自主发现人工生命！人类窥见上帝造物

INFP：照片+音频让蒙娜丽莎秒变播客主理人

语音/音频处理学术速递[12.25]

CultureLLM 与 CulturePark：增强大语言模型对多元文化的理解

ICASSP2025丨人类语言技术实验室（HLT Lab）10篇录用论文分享

o3曝智商高达157，比肩爱因斯坦碾压99%人类！陶哲轩水平AI或出现

语音/音频处理学术速递[12.24]

ICASSP2025丨IMU语音理解与生成实验室3篇论文分享

开源更新丨通义3D-Speaker多说话人日志功能

李飞飞谢赛宁：多模态LLM「空间大脑」觉醒，惊现世界模型雏形！

语音/音频处理学术速递[12.23]

AI语音招聘岗位合集

GAS"消费电子科创奖” | 展示消费电子行业突破性成果

WavChat：深入探索语音对话模型的前沿

Interspeech 2025丨首届言语健康挑战赛

一键生成万字专利！中科院发布多智能体框架AutoPatent，含1933个「草稿-专利」数据对

内大语音理解与生成实验室最新视觉语音合成工作分享

语音/音频处理学术速递[12.20]

【AI对话系统新挑战】FutureDial-RAG Challenge详解

李飞飞团队统一动作与语言，新的多模态模型不仅超懂指令，还能读懂隐含情绪

语音/音频处理学术速递[12.19]

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉