论文链接：https://arxiv.org/abs/2410.03751
整个流程是基于文本语言模型的，所以首先需要将音频转换为文本再进行处理。这种方式会丢失掉很多包含在音频中但不包含在文本中的信息，导致了音频信息的部分丢失。
整个流程是将三个独立的模块拼接在一起的，因此三个阶段在处理时候的错误会进行累积。
语音分词器(Speech Tokenizer)：将连续的音频信号编码为离散的token。
语言模型(Language Model)：对语音token进行自回归建模。
Token到语音合成器(Vocoder)：将生成的token合成为语音波形。
语音分词器：语音分词器的核心目标是如何有效的将语音信号通过离散的token进行表示。这些token需要包含语音里面的多种信息。语音分词器的设计遵循有三类目标 - 语义理解、声学生成和混合目标。
语义理解型分词器，如HuBERT，专注于捕捉语音内容和含义。
声学生成型分词器，如SoundStream，侧重保留生成高质量语音所需的声学特征。
混合型分词器，如SpeechTokenizer，则平衡了语义理解和声学生成。
语言模型：大多采用Transformer或Decoder-Only架构，如OPT、LLaMA等。它们以自回归方式生成语音。SpeechLM中的语言模型通常可以将语音和文本的词表进行拼接，从而联合建模文本和语音模态。
语音合成器：主要有GAN-based、Flow-based等多种类型。GAN-based如HiFi-GAN，是在SpeechLM中最为广泛使用的一类vocoder，因为其以快速且高保真的生成而著称。
离散特征：这是最主要的SpeechLM所建模的特征，一般以token形式存在。这里一般主要包含语义token，副语言学（paralinguistic）token，和声学token。
语义token：主要包含了语音里面语义信息。
副语言学token：主要包含了语音里面出语义信息以外的信息，如音高，韵律等。
声学token：主要包含语音信号中的声学信息。这些信息有助于将token恢复出高质量高保真语音。
连续特征：当然也有极少部分SpeechLM选择对连续信号进行建模，如梅尔谱（mel-spectrogram）
训练阶段：包括语言模型预训练和指令微调两个主要阶段。
语言模型预训练：此阶段主要关注如何让SpeechLM中的语言模型有效学习到语音token之间的上下文关系，从而让模型能够输出上下文相关的且连贯的语音。此阶段可以选择使用随机初始化的参数开始训练，但研究人员一般会更愿意选择基于文本训练好的LLM checkpoint进行继续预训练。研究人员发现采用文本预训练的checkpoint继续预训练使得SpeechLM效果更好，且能够更快拟合。
语言模型指令微调：此阶段主要关注让SpeechLM中的语音模型能够有效的进行指令跟随，从而更好的与人类对话或回答人类提出的问题。
语音生成范式：除传统生成方式外,还包括实时交互和静默模式等高级语音交互技能。
实时交互：一般的语言模型在交互时遵循回合制（turn-based），即每一轮的输入输出需要等上一轮的输入输出结束后才能进行。然而，这并不符合人类说话（语音交互）的范式。人类语音交互时，通常可以不等待上一个人说话结束后就会说话，或者在他人说话时自己同时开始说。这催生了SpeechLM的实时交互模式的探索。
静默模式：静默模式指的是当模型识别到，当人类没有与其对话的时候（如在和其他人对话时），选择不进行回应的能力。
语义相关应用：如口语对话、语音翻译、自动语音识别等；
说话人相关应用：如说话人识别、验证、分离等。此能力可以让SpeechLM分辨出多个说话人，从而可以处理更加复杂的场景，如在参与会议并与多人同时进行讨论；
语音学应用：如情感识别、语音分离、增强语音学生成等。此能力能使得SpeechLM识别并生成带有特定风格的语音，如使用不同情感说话，甚至是唱歌。
自动（客观）评估：通过自动化指标来评判SpeechLM的好坏。自动评估通常从多个角度去衡量SpeechLM的性能：
特征评估：衡量SpeechLM所输出的特征；
语言学评估：衡量SpeechLM对于词法，句法，语义的理解与生成；
副语言学评估：衡量SpeechLM对于副语言学特征的理解与生成质量。
人工（主观）评估：通过人工评估来评判SpeechLM的好坏。人工评估主要依赖平均意见得分(MOS)。
深入理解不同组件（语音分词器，语言模型，语音合成器）选择的优劣； 探索端到端训练方法：当前的SpeechLM在训练时通常会选择分开对三个组件训练，而将三个组件合在一起进行端到端训练的策略值得研究； 继续增强SpeechLM的实时语音生成能力； 解决SpeechLMs中的安全风险：语音生成模型中同时有与文本生成模型相似的和独立的安全风险。例如，SpeechLM可能会生成有毒性的文本（制作炸弹的教学），不合规的语音（如色情语音），和对说话人的偏见（对不同口音的语音输入产生不同的输出）。因此，解决SpeechLM中的安全风险至关重要； 提升在稀有语言上的表现：对于稀有语言（小语种）来说，通常在互联网上能够获取到的文本资料很少，但语音数据却相对较多。因此，研究者可以关注如何提升SpeechLM在稀有语言上的表现。
