语音与函数调用：高保真语音超分统一框架，GAN与Transformer-CNN生成器结合；复杂功能调用评估基准
HiFi-SR: A Unified Generative Transformer-Convolutional Adversarial Network for High-Fidelity Speech Super-Resolution
2025-01-17｜Alibaba Group, Alibaba Tongyi Lab｜ICASSP 2025|🔺4
http://arxiv.org/abs/2501.10045v1
https://huggingface.co/papers/2501.10045
研究背景与意义
在音频处理领域，语音超分辨率（Speech Super-Resolution, SR）技术旨在从低采样率的语音信号中重建出高质量的高采样率语音信号。这一技术的应用场景广泛，包括语音质量提升、历史录音恢复及文本到语音合成等。随着人们对语音清晰度和质量要求的提高，开发出能够在各种条件下有效提升语音质量的技术变得尤为重要。然而，现有的SR方法通常依赖于独立训练的网络，导致生成的高分辨率信号可能存在不一致性，尤其是在处理来自不同领域的语音数据时。
本研究提出了一种名为HiFi-SR的统一网络，旨在通过端到端的对抗训练实现高保真语音超分辨率。该方法不仅提升了语音信号的质量，还在处理不同输入采样率时展现出更强的适应性。通过将生成对抗网络（GAN）与Transformer-CNN生成器相结合，HiFi-SR能够在保持高频细节的同时，确保生成信号的连贯性与一致性，从而有效解决了传统方法中存在的挑战。
研究方法与创新
HiFi-SR的核心创新在于其采用了Transformer-CNN生成器的设计，能够同时处理潜在表示的预测和时间域波形的生成。与现有模型（如NVSR和AudioSR）相比，HiFi-SR通过整合多种技术手段，显著提高了语音重建的质量。
Transformer-CNN生成器：该生成器结合了变换器网络与卷积网络，能够有效捕捉输入信号的长时依赖性，并将低分辨率的梅尔谱图转换为高分辨率波形。变换器网络作为强大的编码器，优化了潜在表示的生成过程。
多尺度判别器：为了提高生成音频的保真度，HiFi-SR引入了多尺度判别器，能够在不同频段和尺度上进行判别，从而更好地捕捉语音信号的细节和周期性特征。
对抗训练策略：通过结合生成对抗网络的损失函数与多尺度梅尔谱损失，HiFi-SR在训练过程中能够有效稳定生成过程，提高音频质量。
实验设计与结果分析
为评估HiFi-SR的性能，研究团队在多个数据集上进行了实验，包括VCTK、EXPRESSO和VocalSet等。实验结果表明，HiFi-SR在48kHz的目标采样率下，显著优于现有的语音超分辨率方法。
客观评估指标：使用对数谱距离（LSD）作为评估指标，HiFi-SR在所有测试集上的平均LSD为0.82，明显低于其他基线模型，表明其在音频质量上的显著提升。
主观评估：在ABX听感测试中，参与者普遍偏好HiFi-SR生成的音频，表明该模型在听觉体验上也具有优势。
泛化能力：HiFi-SR在处理未见数据时表现出色，尤其是在EXPRESSO和VocalSet测试集上，展示了其良好的泛化能力。
结论与展望
本研究提出的HiFi-SR模型通过将变换器与卷积网络相结合，成功克服了传统语音超分辨率方法的局限性，显著提高了生成音频的质量与一致性。实验结果验证了该模型在多种数据集上的优越性能，尤其是在面对不同输入采样率时的适应性。未来的研究可以进一步探索HiFi-SR在更复杂场景下的应用潜力，例如在嘈杂环境中的语音重建或实时语音处理等领域。
ComplexFuncBench: Exploring Multi-Step and Constrained Function Calling under Long-Context Scenario
2025-01-17｜Zhipu AI, THU|🔺4
http://arxiv.org/abs/2501.10132v1
https://huggingface.co/papers/2501.10132
https://github.com/THUDM/ComplexFuncBench
研究背景与意义
在当今的人工智能领域，尤其是大型语言模型（LLMs）的发展中，功能调用能力的提升显得尤为重要。现有研究表明，LLMs在处理简单功能调用时表现良好，但在复杂功能调用方面仍然存在显著的不足。本文提出了ComplexFuncBench，一个针对复杂功能调用的基准测试，旨在填补这一研究空白。通过对五个真实世界场景的深入分析，本文不仅为LLMs的功能调用能力提供了新的评估框架，还揭示了当前模型在处理多步骤和约束条件下功能调用时的局限性。
研究动机：
随着LLMs的应用日益广泛，提升其在复杂场景下的功能调用能力成为亟待解决的问题。 现有的基准测试往往只关注简单的功能调用，缺乏对复杂场景的全面评估。
研究目标：
设计并实现一个系统化的基准测试，能够有效评估LLMs在复杂功能调用中的表现。 通过对模型的评估，识别其在参数推理和长上下文处理中的不足之处。
研究方法与创新
在方法论上，本文提出了ComplexEval，一个自动化的评估框架，专门用于复杂功能调用的评估。该框架结合了多维匹配方法，克服了传统评估方法的局限性，提供了更为全面的评估视角。
数据收集与注释：
通过对Booking.com等真实API的功能进行深入分析，手动收集并注释了1000个复杂功能调用样本。 采用分阶段的注释流程，确保每个样本的有效性和准确性。
评估框架的创新：
ComplexEval引入了多维度匹配机制，能够对模型生成的功能调用进行更为精细的评估。 通过与现有基准的对比，展示了ComplexFuncBench在评估复杂功能调用方面的优势。
实验设计与结果分析
实验部分，本文对多种LLMs在ComplexFuncBench上的表现进行了深入分析，特别关注了模型在参数推理和功能调用顺序方面的能力。通过对比不同模型的表现，揭示了它们在处理复杂功能调用时的具体优势与劣势。
实验设置：
选取了12个具有128k上下文长度的模型，涵盖了开放源代码和闭源模型的最新版本。 通过标准化的评估流程，确保实验结果的可比性和可靠性。
结果分析：
结果显示，闭源模型在复杂功能调用方面的表现普遍优于开放源代码模型，尤其是在准确性和完整性方面。 具体而言，Claude-3.5-Sonnet和GPT-4o在任务成功率和调用准确率上均表现突出。
结论与展望
本文通过提出ComplexFuncBench和ComplexEval，为LLMs在复杂功能调用方面的研究提供了新的方向和工具。未来的研究可以在以下几个方面进行深入探索：
模型优化：
基于ComplexFuncBench的评估结果，针对性地优化现有模型的功能调用能力。
跨域应用：
拓展ComplexFuncBench的应用场景，涵盖更多领域的复杂功能调用，以进一步验证其通用性和有效性。
理论研究：
深入探讨功能调用中的参数推理和长上下文处理的理论基础，为模型的改进提供理论支持。
通过这些努力，期望能推动LLMs在实际应用中的功能调用能力，提升其在复杂任务中的表现。
