语义通信和知识学习的相互作用
文摘
科学
2024-10-11 10:52
上海
在飞速发展的通信技术领域，强调知识理解和处理的语义通信(SemCom)已成为一个热门话题。SemCom通过整合人工智能技术，促进对通信内容的深刻理解、分析和传输。浙江大学的李荣鹏教授团队，阐明了语义通信中知识学习的方法，特别关注知识图谱(knowledge Graphs, KGs)的使用。回顾了将语义通信与知识学习相结合的现有进展。介绍了一个知识图谱驱动的语义通信系统，其中接收器经过仔细校准，以利用其静态知识库中的知识来改善解码性能。在此框架的基础上，进一步探索了能够使系统在不断发展的知识库中更有效地运行的潜在方法。此外，还研究了与大型语言模型(LLMs)集成以增强数据的可能性，为语义通信的潜在实现手段提供了额外的视角。大量的数值结果表明，该框架在知识图谱驱动解码的基础上取得了优异的性能，并显示了其在不同场景下的通用性。(本推文内容由论文作者提供）Interplay of Semantic Communication and Knowledge Learning
Fei Ni1, Bingyan Wang1, Rongpeng Li1, Zhifeng Zhao1,2, and Honggang Zhang1,2
1College of Information Science and Electronic Engineering, Zhejiang University, China
2Zhejiang Lab, Hangzhou, China
https://onlinelibrary.wiley.com/doi/abs/10.1002/9781394223336.ch5
本文分享仅用于技术交流，未经许可禁止用于商业用途。作为一种面向未来的全新通信方式，语义通信可以提高信息传输的效率和质量，减少通信资源的浪费，增强用户体验，还支持多种智能体之间的交互，实现跨模态之间的无缝沟通，丰富信息表达的方式。语义通信在各个领域中展现出了巨大的应用潜力，如智能医疗、智能教育、智能交通等。语义通信可以使这些领域中的信息传递更加高效、准确、安全，从而提升人类的生活质量。因此语义通信是面向未来的通信方式，具有革命性的意义。然而，语义通信也面临着一些挑战，其中较为关键的一个是语义通信过程中知识的理解与处理问题。语义通信的成立建立在一个隐含假设之上，即发送方与接收方之间共享某种固定的先验知识体系。在现有语义通信的研究中，通常将收发双方共享的先验知识抽象成一个知识库，并通过知识库进行语义交流。知识库可以是显式构造的，也可以是隐式的。然而，现有的语义通信研究还处于早期阶段，研究往往假设一个较为理想的场景，对于知识处理的重视程度还比较有限。为了实现有效的语义通信，需要一种能够动态地获取、表示、更新、推理和适应的知识处理机制。尽管一些研究提出了基于结构化知识图谱的语义通信系统，但仍存在一些值得关注的问题。在先前的研究中，有一种将知识图谱，特别是其中的事实三元组等同于“语义”本身的倾向，将其作为语义通信的载体。然而，这一策略存在一系列缺陷：- 不是所有的“语义”都属于知识的范畴。例如，“今天吃饭了吗？”这样的疑问句本身并不包含任何特定知识，但却是语义的重要组成部分。知识图谱无法有效描述这类内容，因为其主要用于描述陈述事实的语义。
- 即便是属于知识范畴的内容，也不一定能够被知识库中的信息所完全描述。目前的知识库主要基于全球范围的常识，而通信涉及的知识包括领域特定的知识和双方私有的信息，这些知识通常不包含在传统知识库中。同时，通信场景中所涉及的常识部分也难以被知识库完全覆盖。
- 发送端和接收端的知识库并不一定完全匹配，可能存在一定的差异。
在出现以上任何一种情形时，基于知识图谱编码的方案不仅无法发挥作用，反而可能引起额外的语义损失。为了应对这些问题，本文提出了一种新的思路——使用知识图谱来增强语义通信系统。如图1所示，在JSCC语义通信系统的基础上，引入了一个知识处理模块。在涉及到知识的情境中，该模块能够提升语义通信系统的性能；而在不涉及知识的情境下，知识处理模块至少不会导致人为的语义损失。因此，立足于语义通信的关键问题，本研究的意义在于寻求一种合理的知识表示方式，以提升语义通信系统对于知识的理解和处理能力。本文的主要贡献如下：图2呈现了知识提取器结合语义解码任务的具体实现，整个知识提取过程具体可以分为2个阶段。第一阶段是一个语义表示学习，其目的是获取信道解码内容的一个语义表示；收发双端采用基于Transformer的对称模型来尝试获得向量原本的语义表示。经过L层编码，可以得到信道解码向量h^的语义表示z^(L)。第二阶段是通过多标签分类找到向量相应的三元组，并将提取的三元组嵌入为知识向量形式。在知识库中，每一条事实被编码了从1开始的一个索引（index）。在知识提取任务中，采用一个多标签分类模型来计算与向量语义相关的知识三元组的索引向量t。由模型预测得到的相关事实三元组m_i被嵌入向量k中。不同于TransE等预训练的嵌入方式，本文将事实三元组视为一个整体，利用神经网络学习事实三元组的嵌入。随后知识向量与解码向量拼接，并送入语义解码器。值得注意的是，这一方案仅限于接收端，对于发送端的结构和知识库没有额外的假设，从而避免了发送端和接收端知识库不同步的问题。![]()
图 2 知识图谱增强的语义接收端流程图
图2所示的语义接收端使用了基于分类的知识提取方案，这种方案限制了知识库的容量为一个定值，如果知识库发生更新，则需要重新训练分类器。而在实际应用场景中，语义通信所涉及的知识处理往往更加复杂，例如通信过程中涉及的知识可能是是多变的；不同时间、不同情境下这些知识可能会发生显著的变化。通信系统需要具备更强的灵活性和适应性，以便在不同情境下仍能保持优异的通信性能。因此，如何在这种知识动态变化的场景下，依然实现准确的语义信息传递，是语义通信领域亟需解决的重要问题。为了解决以上问题，如图3所示，本文进一步提出了一种基于动态知识库的语义通信接收端，旨在能够智能地根据发送端的信号实时更新自身的知识库。语义通信系统在接收端维护一个知识库，其中的知识被以三元组形式进行组织和存储。在此基础上，定义了一个统一语义表示空间 U∈R^d。知识库中记录的每一个实体 e_i 在空间U中都有一个对应的嵌入向量 v_e，整个嵌入过程基于神经网络实现。如果两个实体之间存在较近的关联，则它们在某种距离度量下处于也处于距离较近的状态。为了更好地将知识表示与任务目标关联起来，本文对统一语义空间的初始化采用了基于对比学习的训练机制，使得统一语义空间的表示能够充分利用接收信号和实体之间的关联。在接收到语义表示向量 h^ 后，接收端将映射到统一语义表示空间中，在完成映射后，接收端利用基于距离的算法寻找与接收信号相关联的实体，随后通过推理和预测来揭示这些实体之间的关系，从而为解码过程提供有力的辅助信息。同时，新的知识会持续地被补充到知识库中，这一自适应机制进一步增强了接收端在知识更新方面的灵活性和适应性，使其能够持续提升在多样知识场景下的语义信息处理水平。![]()
图 3 基于动态知识库的语义接收端架构
LLM在赋能语义通信系统方面具有显著的潜力。在语义通信的过程中，通常会遇到一些未标注的通信内容，这些内容难以直接与已有的知识库相联系。在这一情景下，利用大语言模型进行知识提取能够成为一种有效的数据增强策略。图4提供了将大模型用于增强本节所提语义通信系统的两种思路。首先，本文所提的动态知识库方案能够自适应地更新知识库中记录的事实，但当通信内容中出现从未被记录过的实体和关系时，知识提取模块无法自动识别。此时，可以利用提示词为大模型指派知识提取的任务，从相关的样本中提取实体和关系，用于补充知识库，从而进一步地提升了系统对于动态知识的处理能力。作为一种零样本学习方案，该方案的优势在于无需对相关的数据样本进行人工标注与重新训练，使得系统更具有灵活性。同时，也可以利用大模型为知识库中已有的三元组生成相应的文本描述，从而起到数据增强的效果。如图4所示，对于同样的一组知识，可能存在多种不同的文本描述方式。通过利用大模型来生成知识相关的描述，能够在相同的数据集上提供更多的训练数据作为参考，从而使得知识与文本的关联更加紧密，提升训练质量图5展示了系统在AWGN信道和Rayleigh衰落信道上的性能，用于对比的基准是未经知识增强的基线语义通信模型。可以看出，知识提取器的引入起到了明显的增强效果，能够提高接收端的性能。具体地，对于BLEU指标，在低信噪比的情况下，无论是AWGN信道还是衰落信道，知识提取器的引入均能够带来超过5%的性能提升。而在信噪比较高的情况下，由于误码较少，其中涉及知识的错误也相对较少，解码器自身已经足以将接收内容还原，因此性能提升相对较小。对于Sentence-BERT相似度，低信噪比下的增强效果也能够达到0.05左右。上述结果证明了所提能够增强语义通信系统的性能表现。图6展示了基于动态知识库的语义通信系统在不同信噪比下的性能，以提取过程的精确率（precision）和召回率（recall）表示，距离阈值参数固定为3。同时，和基于分类的知识提取方案进行了对比。从这一结果中可以看出，本文所提方案的召回率稳定维持在80%，同时精确率随信噪比提升的幅度较为明显。相比于基于分类的知识提取方案，精确率在0dB的情况下能够提升至约70%，在更高信噪比下则接近80%，与召回率相当。这一结果有着明显的积极意义，因为精确率的大幅提高可以避免错误的知识对于解码器产生误导效果。图7展示了系统在 LLM 生成的测试数据集上的表现。从图7可以看出，LLM 具有相当程度的弥补缺失知识的能力，因此有望提高系统的整体性能。特别是在 SNR 较低的场景中，LLM 生成的知识对 BLEU 分数的贡献约为0.05，而 Sentence-BERT 分数也观察到了类似的现象。因此，它验证了 LLM 赋能方案的有效性，并可以进一步增强语义通信系统处理和理解知识的能力。本文旨在研究知识图谱和语义通信相互作用的可行且有效的方法。首先，我们介绍语义通信中的知识处理挑战，然后深入研究现有相关研究的局限性。随后，提出了一个知识图谱增强的语义通信系统，该系统利用知识提取器有效地利用知识图谱中的知识并促进接收端的语义推理和解码。在此基础上，描述了一种基于对比学习的动态知识库优化策略。此外，本文还讨论了通过使用 LLM 进行数据增强的方法。大量的实验结果表明，所提出的知识图谱增强的语义通信系统可以从知识库中的先验知识中受益，从而显著提高性能。未来的研究可以集中于进一步利用LLM的语义理解和生成能力来管理复杂的上下文和语义信息。GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立，由GenAINet公众号运营团队负责维护并运行。
GenAINet公众号运营团队：
孙黎，彭程晖 （华为技术有限公司）
杜清河，肖玉权，张朝阳 （西安交通大学）
王锦光，俸萍 （鹏城实验室）
编辑：张朝阳
校对：肖玉权
