.01
.02
局限于词语级别的处理：难以捕捉句子或段落等更高层次的语义结构，与人类沟通注重整体语义传递的特性不符。 长上下文理解能力不足：在处理需要长篇语境的任务时，模型可能输出不连贯或前后矛盾的内容。 扩展成本高：面对多语言、多模态的需求，模型的扩展需要大量计算资源和数据支持，难以高效适配。
.03
编码器：将输入句子映射到 SONAR 的嵌入空间。 解码器：将嵌入向量还原为自然语言或其他模态内容。
.04
.05
多语言摘要生成在多语言零样本摘要生成任务中，LCMs 显著优于基线模型，展现了出色的跨语言适应能力。 摘要扩展任务Meta AI 设计了一种新的评估任务：在给定摘要基础上生成扩展版总结。实验表明，LCMs 生成的扩展总结在连贯性和一致性方面远超传统模型。 效率与准确性的平衡LCMs 在处理较短序列时保持了较高准确性，且处理速度快于基于词元的模型。在互信息（Mutual Information）和对比准确率（Contrastive Accuracy）等关键指标上也有明显提升。
.06
高维语义空间与模态无关建模大幅增强了模型的适应能力。 层次化结构和扩散模型生成方式提升了生成内容的连贯性和效率。
参考：
https://arxiv.org/abs/2412.08821 https://github.com/facebookresearch/large_concept_model
