（本文阅读时间：8分钟）
人工智能国际顶级学术会议 ICML 2024 正在奥地利维也纳举办，作为大会的荣誉合作伙伴，微软将协力打造这场机器学习领域的盛大聚会。其中，微软亚洲研究院共有25篇论文被 ICML 2024 接收，并在大会的展台、Oral Presentation、Poster和Workshop中有一系列展示。
此外，我们还为不能现场参会的小伙伴安排了四篇精选论文的在线分享！7月24日（周三）13:30，微软亚洲研究院将邀请四位论文作者做客微信视频号“微软亚洲研究院”直播间，为大家分享这次入选本届大会的精选论文！
本次论文分享内容涉及大语言模型的数学推理、多维度评测、长文本处理以及时间序列预测模型。如果你对人工智能、大语言模型等领域充满兴趣，不妨来看看这场直播，你将可以与研究员们对话交流，深刻了解相关技术的原理与思路，以及人工智能和机器学习等领域的最新趋势和未来发展。
在每篇论文的分享过程中，也欢迎大家参与弹幕或评论区互动、提问，讲者将在分享结束后亲自为你答疑解惑。期待和你一起共赴这场人工智能的技术探讨。
直播时间：
2024年7月24日13:30-15:30
直播地址：
微信视频号“微软亚洲研究院”
张星星
微软亚洲研究院
高级研究员
张星星，微软亚洲研究院高级研究员，研究方向包括大规模合成数据（Synthetic Data）、复杂推理（Complex Reasoning）、大型语言模型的后训练（Post-training）及可扩展监督（Scalable Oversight）。担任过ACL 2021-2023、NAACL 2022及EMNLP 2024的领域主席。在加入微软亚洲研究院之前，于爱丁堡大学获得自然语言生成领域的博士学位。对于在相关研究方向寻求实习机会的同学，欢迎通过xingxing.zhang@microsoft.com与张星星研究员联系。
论文题目：
MathScale：用于数学推理的缩放指令调优
MathScale: Scaling Instruction Tuning for Mathematical Reasoning
论文摘要：
大型语言模型（LLMs）在问题解决方面展示了卓越的能力，但在解决数学问题方面仍显不足。本文提出了MathScale，一种简单且可扩展的生成高质量的数学推理数据方法。受人类数学学习认知机制的启发，MathScale从种子数学问题中提取高等次概念，然后构建概念图，并据此生成新的数学问题。本文利用GPT-3.5创建了一个包含两百万道数学问答对的数学推理数据集MathScaleQA并显著提升了LLM的数学推理能力。在MWPBench上的评估结果显示，MathScale-7B相较于同等大小规模的最佳模型，在微平均和宏平均准确率上分别提升了42.9%和43.7%。
论文链接：
https://arxiv.org/abs/2403.02884
朱凯捷
微软亚洲研究院社会计算组
实习生
朱凯捷，中国科学院自动化研究所硕士三年级，微软亚洲研究院实习生，实习导师为微软亚洲高级研究员王晋东，实习主要研究方向为大模型的动态评测，相关论文发表至ICLR 2024、ICML 2024中。
论文题目：
通过元探测代理对大型语言模型进行动态评估
Dynamic Evaluation of Large Language Models by Meta Probing Agents
论文摘要：
大语言模型的评测因数据污染问题引发了广泛关注。现有评测协议（如DyVal）难以扩展至多样化场景，且仅提供整体结果，缺乏细粒度和多维度分析。本文提出了一种基于心理测量学的通用动态评估协议——元探测代理（Meta Probing Agents, MPA）。MPA设计了探测和判断代理，依据语言理解、问题解决和领域知识三种基本认知能力，动态生成测试样本，并根据LLM在不同认知能力的测试样本表现进行多维度分析。
论文链接：
https://arxiv.org/abs/2402.14865
张丽
微软亚洲研究院
高级研究员
张丽，微软亚洲研究院高级研究员，现阶段研究兴趣为大模型长文本以及大模型的自我进化等，此前研究兴趣为轻量化模型设计及压缩研究，期间多项技术已转化为微软产品。其中，她主导开发的LongRoPE技术成功整合到微软的大模型Phi3中，使Phi3能够支持长达128k的文本上下文窗口。她曾获得2021年Mobisys最佳论文奖，2021年sigmobile research highlight, 在NSDI, Mobisys, Mobicom, MLsys, KDD, ICCV等顶级会议发表多篇论文，并拥有多项专利。
论文题目：
LongRoPE：将 LLM 上下文窗口扩展到 200 万个令牌以上
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
论文摘要：
大模型的飞速发展给人们的生活带来了前所未有的便利。我们是否能够设想利用大模型的潜力，快速扫描整部百科全书、解析繁琐复杂的法律条款，甚至对文章进行精准引用呢？在未来，这些将统统可以实现。然而，目前传统的大模型的上下文窗口限制与昂贵的微调成本使得它们难以处理超长文本，从而限制了其应用潜力。为解决这一问题，本文提出了 LongRoPE。通过精细化非均匀位置插值和渐进式扩展策略，LongRoPE 成功将大模型的上下文窗口扩展至2048k，不仅保持了原始短上下文窗口的性能，还大幅提升了长文本处理的效果。LongRoPE 的应用前景广阔，将为大模型的发展带来更多可能。
论文链接：
https://arxiv.org/abs/2402.13753
王延森
微软亚洲研究院
研究员
王延森，微软亚洲研究院人工智能与机器学习组（上海）研究员，硕士毕业于卡耐基梅隆大学（Carnegie Mellon University），师从Carolyn P. Rosé教授。研究方向为神经学启发的人工智能，脑电/时序信号分析，以及其它人工智能与神经科学的跨学科研究。
论文题目：
使用脉冲神经网络进行高效且有效的时间序列预测
Efficient and Effective Time-Series Forecasting with Spiking Neural Networks
论文摘要：
本文提出了一个用于时间序列预测任务的SNN框架，其利用了脉冲神经元在处理时间信息方面的效率。通过一系列实验，我们发现基于SNN的方法在各种基准测试上取得了与传统时间序列预测方法相当或更好的结果，同时能耗大大减少。
论文链接：
https://arxiv.org/abs/2402.01533
欢迎锁定直播间，与你不见不散！
你也许还想看：
