对话语音合成大模型GPT-Talker: Generative Expressive CSS

对话语音合成（CSS）（或对话式文本转语音（TTS），CTTS）旨在在用户代理对话场景中生成具有适当风格的语音。在这样的场景中，用户通常发起对话，然后代理和用户轮流发言。在交互过程中，代理应该理解用户的需求，并提供帮助和情感支持。目前，随着智能设备的日益普及，在各种应用场景中对人类与机器交互的需求不断增长，例如智能手机助手[47]、智能家居控制[21]、智能车辆系统[15]以及虚拟现实/增强现实交互[13]。

先前的工作从上下文建模的角度出发，为增强合成对话语音的自然性和表现力进行了许多尝试。郭等人[17]提出了一种基于GRU的上下文编码器，用于从对话上下文中为代理提取全局韵律信息。FCTalker [19]进一步结合了单词和句子级别的上下文知识，代表了细粒度和粗粒度的上下文，以增强代理的上下文理解能力。然而，这些工作只考虑了文本信息，忽略了对话中的语音和多模态依赖关系。为此，研究人员为多模态上下文建模的研究做出了贡献[10, 35, 39, 40]。然而，他们越来越倾向于设计复杂的网络架构，并精心优化其中的模块。例如，多尺度多模态 CTTS（M2-CTTS）系统[53]包含一个文本上下文模块和一个声学上下文模块，同时进行粗粒度和细粒度的建模。李等人[28, 29]和刘等人[34]提出了基于图神经网络的上下文学习方案。

随着大型语言模型（LLM）的进步，一些研究旨在构建适用于语音领域的语言模型[23]。我们注意到，生成式预训练Transformer（GPT）具有简洁而强大的上下文建模能力[14]，并且在诸如对话生成[58]和理解[32, 33, 56]等任务中，在捕捉细粒度和粗粒度的依赖关系方面表现出色。尽管取得了成功，但上述所有工作都不适用于CSS，因为CSS使用多模态上下文作为输入来生成响应语音。我们注意到，GPT的上下文建模与CSS的要求非常契合，但这一方面在很大程度上之前被忽视了。因此，如何利用GPT为人类与机器的交互构建简洁而强大的上下文理解解决方案，将是本研究的重点。

此外，现有的口语对话数据集在规模和质量方面都难以满足基于GPT的生成式情感 CSS 模型的训练要求。具体而言，M2-CTTS [53]、EmoSit-TTS [35] 和 ECSS [34] 等都使用了小规模的DailyTalk数据集[27]，该数据集总共包含约 20 小时内的 2541 段对话语音。更重要的是，它只包含阅读风格的录音，缺乏足够的表现力。一些工作[10, 29]曾尝试使用诸如 IEMO-CAP [4]和ECC [28]等数据集。然而，这些数据集是为诸如对话情感识别[4, 41]和对话教育等目的而设计的，它们可能包含背景噪声问题，这会影响合成结果。因此，有必要构建一个大规模且高质量的情感CSS数据集，以支持基于GPT的CSS模型实现真正的自然对话风格。

在本文中，我们提出了一种新颖的生成式情感CSS系统，称为GPT-Talker。我们将对话历史的多模态信息转换为离散token序列，并将它们无缝集成，以形成一个全面的用户代理对话上下文。利用GPT的力量，我们为代理预测响应Token序列，其中包含语义和风格知识。之后，通过对话增强的VITS合成情感对话语音，向用户提供反馈。此外，我们提出了一个大规模的自然CSS数据集，称为NCSSD，其中包括自然录制的即兴风格对话语音以及从电视节目中提取的对白。它涵盖了中文和英语，总时长为236小时。NCSSD数据集及相关标注将免费公开。我们对NCSSD的可靠性和我们的GPT-Talker的有效性进行了全面的实验。主观和客观评估均表明，我们的模型在自然性和情感表达方面明显优于其他最先进的CSS系统。

总之，我们的主要贡献如下：

1) 据我们所知，我们是最早将GPT引入对话语音合成并为用户代理对话构建简洁而强大的上下文建模方案的团队之一。

2) 我们提出了一种新的大规模自然CSS数据集，称为NCSSD，它能够支持我们的GPT-Talker训练，甚至未来的GPT式CSS模型实现真正的自然对话语音风格。

3) 我们对模型的有效性和数据集的可靠性进行了全面的验证。我们的模型在自然性和表现力方面明显优于基准模型。

文本和语音是人类交流的两种重要形式。基于文本的大型语言模型（LLMs）在包括对话聊天机器人[2]、代码生成[6]、创意写作[46]和机器翻译[36]等各个领域都取得了显著的成就。

受上述工作的启发，最近许多研究探索了对话语言建模来解决涉及语音和文本的各种任务[48, 49]，如自动语音识别[12]、口语问答[1]和语音到文本翻译[51]等。例如，SpeechGPT[57]通过采用离散单元表示来转换连续语音信号，并将大型语言模型与单元解码器集成，展示了跨模态对话能力。这使得模型能够有效地处理多模态输入并生成相应的输出。dGSLM[38]提出了一种基于离散语音单元的双塔口语大型语言模型，用于对双通道口语对话进行建模，但生成的口语句子缺乏语义信息。USDM[24]提出了一种通用的语音-文本预训练方案，利用大型语言模型的推理能力基于对话语音生成连贯的口语响应。在人类对话中，虽然对话主要依赖词汇方面，但说话风格传递的信息远不止文本，甚至可以改变口语句子的语义[5]。为此，E-Chat [52] 提出了一种新颖的基于LLM的口语对话系统，该系统利用由语音编码器提取的情感嵌入，使其能够根据不同的情感情境做出响应。ParalinGPT [31] 将文本的对话情境、语音嵌入和副语言属性作为输入提示，供LLM改进当前和响应情感预测以及响应文本生成，以实现自然的口语对话。此外，Spoken-LLM [32]提议将LLM与一个自监督的语音情感表示模型相融合，以帮助LLM预测响应说话风格和文本，从而使后续的情感TTS模型能够生成自然和多样化的语音响应。

我们的工作与上述研究有显著的不同。具体来说，我们的工作专注于CSS任务，即把多轮多模态对话上下文整合为一个统一的序列，并预测当前话语的语音的语义和风格表示，然后我们利用这种表示来生成最终的富有表现力的对话语音。然而，上述工作，如dGSLM、SpeechGPT和USDM等，忽略了对多轮对话历史的有效建模机制，而E-chat、ParalinGPT和Spoken-LLM等只根据对话历史生成文本响应，而不是语音表示。尽管MQTTS[7]和Pheme[3]也声称是对话语音生成系统，但它们不建模对话上下文，而只关注合成语音的自然性。我们的GPT-Talker类似于近期的风格迁移TTS模型GPT-SoVITS[16]，但一个明显的区别在于 GPT-SoVITS并未关注对话上下文信息。

表1展示了我们已知的相关现有数据集。第6-11行提供了一些专门为CSS任务设计的对话语音数据集的信息。可以观察到，这些数据集的规模相对较小。例如，ECC[28]从YouTube的英语对话频道收集了66组公共视频，总共24小时的内容。这些对话涉及两个、三个或多个参与者。DailyTalk[27]源自DailyDialog数据集[30]，展示了2541个高质量的男女对话，总共20小时。用于情感对话研究的日语语料库STUDIES[44]和CALLS[43]涵盖了两种场景，即学校中师生之间的交流和电话客服，分别包含8.2小时和6.5小时的语音。RyanSpeech[54]是一个高质量的男性TTS语料库，用于对话领域，包含9.84小时的语音样本。请注意，CALLS和RyanSpeech声称是对话数据集，但它们只包含一个说话者，不适合CSS任务。郭等人[17]记录了一个内部数据集（我们在此称为“ASLP-CH”），其中包含了2位中国女性之间的对话，时长3小时，她们分别扮演了客户和客服代表的角色。

总之，这些数据集的规模不足以保证基于GPT模型训练高质量的CSS模型。这需要创建一个大规模、公开可用的CSS数据集。此外，与现有数据集相比，我们的数据集在语言多样性和数据来源多样性方面具有优势。具体来说，它包括中英文双语数据，以及录制数据和收集数据的子集。此外，我们还开发了一个自动化处理流程，大大提高了创建自然CSS数据集的效率。我们希望这一举措能够为社区的发展做出贡献。此外，在表1中，我们列出了一些最新的对话语音数据集，这些数据集是为诸如对话情感理解等任务而设计的。可以看出，与这些数据集相比，我们的数据集在语言多样性、数据来源多样性和数据集规模方面仍然具有显著的优势。

如图1左侧所示，ConGPT 包括 1) 多轮多模态上下文离散化, 2) 基于ConGPT的语义和风格推理。前面模块将多模态上下文转换为统一的离散化Token，然后构建多轮对话上下文的离散表示。基于此表示，后面模块推断响应话语的语义和风格。 

使用自回归方法对离散Token序列中的子Token进行解码，直到解码到序列结束（EOS）标签。请注意，与[33]类似，我们不会为序列化上下文的Token序列分配明确的说话者身份。

首先，我们使用由6层Transformer编码器组成的文本编码器 来处理响应内容，提取其固有的文本信息以确保合成语音的可理解性。之后，使用由3层Transformer编码器组成的Token编码器将预测的上下文感知语义和风格标记转换为高维风格表示。

最后，为了实现富有表现力的CSS在内容、语义和风格渲染方面的统一，将文本信息和高维风格表示通过交叉注意力层集成到最终代理的样式嵌入中。我们在交叉注意力层中使用多头注意力模块，以适应不同的输入长度。

为了实现灵活多样的表现风格，我们不依赖固定的说话者ID来进行说话者控制。相反，我们使用一个音色编码器和一个参考编码器来对任何参考语音进行音色迁移，从而实现基于内容、语义和风格渲染的灵活说话者音色渲染。如图1所示，音色编码器由6个卷积层、一个门控循环单元（GRU）层和一个线性层组成，它针对特定说话者获取参考语音并提取音色嵌入。

在训练期间，选择上一次对话中代理的语音作为参考语音。在推理阶段，我们可以为任何说话者分配一个参考，以实现零样本音色渲染性能。

我们提出了一种三阶段训练策略，以确保我们的GPT-Talker的性能：

1）在第一阶段，我们专注于ConGPT和ConVITS在单句语音场景中的建模能力。我们使用包括 LibriTTS [55]、LJSpeech [20]、AISHELL-3 [45]等在内的单句语音数据集对ConGPT和ConVITS进行训练，总时长约为2.5千小时。通过这种方式，ConGPT可以根据文本Token序列预测语音Token。ConVITS在输入提供的文本后能够稳定地生成语音。

2）在第二阶段，我们使用 NCSSD的收集子集继续训练ConGPT。这使其能够利用提供的对话上下文和多模态信息准确预测当前句子的语义和风格知识。

3）在第三阶段，我们使用NCSSD的录制子集对ConGPT和ConVITS进行微调，以进一步增强合成语音的自然性和表现力。

关于模型总损失的计算。GPT-Talker 的损失由两部分组成。LConGPT计算预测声学单元与真实单元之间的交叉熵损失。LConVITS包括梅尔重建损失、来自于VAE的KL散度损失、特征匹配损失、对抗训练损失，以及来自向量量化的损失。

用于收集子集的自动数据构建流程包括 1）视频选择，2）对话场景提取，3）对话片段提取，4）对话脚本识别。

准备录制语音数据的第一步是创建对话脚本。手动准备脚本可能既耗时又费力，而且在对话主题方面可能缺乏多样性。因此，我们利用ChatGPT强大的文本生成能力，通过使用基于提示的方法来生成符合我们期望的多样化对话脚本。

具体来说，我们使用ChatGPT的GPT-3.5 Turbo版本来生成两个人之间的对话脚本。如附录中图3所示，我们设计了一个两步提示模板，以提示ChatGPT输出大规模的对话脚本，以反映现实世界中自发的对话行为。在第一步中，我们的目标是提示ChatGPT生成人类对话的各种话题词，以确保交流内容的丰富性。在第二步中，我们选择一个特定的对话主题，并设置起始说话者的情绪状态。我们提示ChatGPT生成4到15个回合的多回合对话。此外，我们还要求GPT在生成的脚本中添加情感和意图标签，以增强其可解释性，并为后续的语音录制提供更多的参考信息。详细的提示模板见附录。

由于在录制过程中存在演员的即兴话语，我们使用语音识别接口重新转录录制的语音，并将识别出的文本作为最终的对话脚本。与录制的语音和上半身图像一起，构成了我们最终的录制子集。

在实验部分，我们将首先在单句语音合成场景中评估NCSSD的质量。随后，我们将通过与各种CSS任务的先进基准进行比较来验证GPT-Talker。我们将在下一节中介绍基准和评估指标，并在下一节中报告结果。请注意，实验设置可在附录中查看。

为了验证NCSSD的可靠性，我们在单句语音合成任务上对其进行了评估，并选择先进的端到端TTS模型 VITS [25] 作为基准。请注意，VITS也被许多CSS模型[9, 11]选为骨干网络，我们认为它作为基准是合适的。

为了评估GPT-Talker在上下文理解和建模方面的有效性，我们开发了三个先进的CSS系统，它们代表了各种上下文学习方法，分为以下三类：

（1）基于GRU的上下文学习：[17]中提出的对话上下文感知 TTS（我们在此称为“CCATTS”）模型采用基于GRU的网络来对对话上下文中的句子级依赖关系进行建模；

（2）多尺度上下文学习：FCTalker [19]是一个具有代表性的工作，它同时考虑对话上下文中的句子级和单词级上下文；

（3）基于异构图的上下文学习：ECSS [34]是一个先进的、富有表现力和情感的 CSS 模型，它采用异构图来对多模态上下文之间的复杂关系进行建模。