今天的论文分享了位置编码BiPE方法、基准指令数据集FOLLOWIR和处理时间序列的AutoTimes方法。
快来和小编一起学习吧！
Two Stones Hit One Bird: Bilevel Positional Encoding
for Better Length Extrapolation
arXiv2024
这篇文章利用语言序列的内在分段特性，设计了一种新的位置编码方法，称为双层位置编码（Bilevel Positional Encoding，简称BiPE）。对于每个位置，BiPE融合了段内编码和段间编码。段内编码通过绝对位置编码识别段内位置，帮助模型捕捉其中的语义信息。段间编码通过相对位置编码指定段的索引，建模段与段之间的关系，旨在提高外推能力。理论分析表明，这种位置信息的解耦使学习更加有效。实验证明，BiPE在各种文本模态的广泛任务中，具有优越的长度外推能力。
论文链接
https://arxiv.org/pdf/2401.16421v1
Pipeline
与标准位置编码相比，BiPE（双层编码器）使用段内和段间编码来区分位置。绝对位置编码作为段内编码添加到输入嵌入，相对位置编码（RoPE 和 ALiBi等）在Transformer 注意力模块中作为段间编码。
Experiments
实验结果显示，BiPE-RoPE 和 BiPE-ALiBi 表现出优于 RoPE 和 ALiBi 的性能，证明了 BiPE 在长上下文建模中的有效性。
FOLLOWIR: Evaluating and Teaching Information
Retrieval Models to Follow Instructions
arXiv2024
大型语言模型（LLMs）在理解复杂指令方面表现出色，并推动了信息检索（IR）领域的进展。传统的信息检索多依赖于简单的查询，而忽略了复杂信息需求的灵活处理。本文提出了FOLLOWIR，一个用于评估和教学信息检索中指令跟随能力的基准数据集。微调了Mistral-7B-Instructv0.2，在指令跟随能力上得到了显著的提高。本文详细对比了现有的相关工作，如MSMarco数据集，强调了FOLLOWIR在使用高评估率语料库、真实世界人类生成指令以及人类验证的相关性判断方面的优势。
论文链接
https://arxiv.org/pdf/2403.15246v1
Framework
论文从三个现有的 TREC 集合中构建 FOLLOWIR。在成对评估框架中，模型在原始查询和指令以及更改后的指令上进行评估。如果模型正确理解指令，它将改变与更改相关的文档。提供给 TREC 注释器的真实世界指令（左）包括有关相关性的细粒度细节，以及包含否定的指令（粗体）。
Experiments
p-MRR 是一种新的成对评估指标，用于测量指令变化时的指令跟随能力，范围从 -100 到 100（越高越好）。实验发现，唯一能够成功遵循指令的模型是大型模型（3B 参数）或未接受过检索任务训练的指令调整的 LLM，但利用FOLLOWIR数据集可以有效改善上述问题。
AutoTimes: Autoregressive Time Series Forecasters
via Large Language Models
arXiv2024
基于时间序列与自然语言相似的序列结构，越来越多的研究证明了利用大语言模型进行时间序列分析的可行性。然而，先前的方法可能忽略了时间序列和自然语言对齐的一致性，导致LLM潜力的利用不足。为了充分利用从语言建模中学习到的通用令牌转换，AutoTimes将LLM重新用作自回归时间序列预测器。分析表明，AutoTimes继承了LLM的零样本和上下文学习能力。AutoTimes具有显著的方法通用性，并通过基于更大的LLM、附加文本或时间序列作为指令来实现更好的性能。
论文链接
https://arxiv.org/pdf/2402.02370v1
Framework
AutoTimes可以在不改变任何参数的情况下重新利用 LLM，它将时间序列标记为 LLM 的嵌入空间，并有效地利用固有的标记转换来自回归预测时间序列。AutoTimes 建立了时间序列的标记化并利用了分段中的文本协变量，通过下一个标记预测的一致训练任务来完成。
Experiment
实验结果表明，AutoTimes 在 M4 → M3 和 M3 → M4 场景中零样本预测结果都表现出比之前的深度预测器和 FPT 更优异的性能。得益于目标域的时间序列提示，AutoTimes还增强了LLM 的上下文学习能力。
The End
VLRLab
分享者：曹振彪 郑元雷 王资洋
编辑：罗琪頔
审核：伏凌
免责声明：
（1）本文仅代表论文分享者观点，分享者不是原文作者，其个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。
（2）本文观点不代表本公众号立场
