//
2024 年 7 月 21 日至 7 月 27 日（维也纳时间），由国际机器学习协会主办的第四十一届国际机器学习大会（ICML 2024）将在奥地利维也纳举办。作为机器学习领域最权威的会议之一，ICML 2024展示和发表了机器学习各个方面的前沿研究成果，这些研究应用于人工智能、统计学和数据科学等学科，以及机器视觉、计算生物学、语音识别和机器人等重要应用领域。
今年，作为ICML 2024的荣誉合作伙伴，微软将协力打造这场机器学习领域的盛大聚会。其中，微软亚洲研究院共有25篇论文被ICML 2024接收，并将在大会的展台、Oral Presentation、Poster和Workshop中有一系列展示。期待与您在维也纳相聚与研讨！
此外，我们还为不能现场参会的小伙伴安排了四篇精选论文的在线分享！论文作者将于7月24日13:30（北京时间）在微信视频号“微软亚洲研究院”与“微软科技”的 B 站直播间带来精彩的分享，与大家共话机器学习研究的最前沿！
MSRA Session
7月22-24日，微软亚洲研究院将在ICML 2024的微软展台，推出总共四场的特别环节，每场包含微软亚洲研究院介绍与机会分享、技术报告及现场答疑，详细日程安排如下：
Oral Presentation
CompeteAl: Understanding the Competition Dynamics of Large LanguageModel-based AgentsThu
25 Jul 5 p.m.-5:15 p.m. CEST, Hall C 1-3
Jindong Wang
Poster
Using Left and Right Brains Together: Towards Vision and Language Planning
23 Jul 11:30 a.m. -1 p.m. CEST, Hall C 4-9, Poster #900
Xiao Liu
Dynamic Evaluation of Large Language Models by Meta Probing Agents
23 Jul 1:30 p.m. - 3 p.m. CEST, Hall C 4-9, Poster #2612
Jindong Wang
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
23 Jul 1:30 p.m. - 3 p.m. CEST, Hall C, 4-9, Poster #715
Li Lyna Zhang
MathScale: Scaling Instruction Tuning for Mathematical Reasoning
24 Jul 11:30 a.m. -1 p.m. CEST, Hall C 4-9, Poster #404
Xingxing Zhang
A General Framework for Learning from Weak Supervision
25 Jul 11:30 a.m. -1 p.m. CEST, Hall C 4-9, Poster #401
Jindong Wang
The Good, The Bad, and Why: Unveiling Emotions in Generative AI
25 Jul 5:30 p.m. -7 p.m. CEST, Hall C 4-9, Poster #307
Jindong Wang
Workshop
ES-FoMo II: 2nd Workshop on Efficient Systems for Foundation Models
Poster: MInference: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention
26 Jul, 1 p.m. - 2:30 pm CEST, Lehar 2
Huiqiang Jiang
Long-Context Foundation Models Workshop
Oral: Mitigate Position Bias in Large Language Models via Scaling a Single Dimension
26 Jul, 9 a.m. CEST, Hall A2
Huiqiang Jiang
现场讲者介绍
姜慧强
姜慧强，微软亚洲研究院上海实验室研究型软件开发工程师。他的研究主要集中在高效推理和训练方法上，包括动态稀疏注意力（MInference）、提示压缩（LLMLingua）、KV缓存压缩、推测性解码、模型压缩、稀疏推理（PIT）、神经架构搜索和高效调优，特别是在大型语言模型上。此外，他还对解决自然语言处理中的典型问题感兴趣。
刘啸
刘啸博士，微软亚洲研究院人工智能推理组研究员。他目前的研究兴趣包括自然语言处理、大型语言模型和推理。他于2016年6月获得北京理工大学的学士学位，并于2022年6月获得博士学位，并于2023年获得中国中文信息学会授予的“优秀博士学位论文”（现称为“博士学位论文激励计划”）以及2022年获得北京理工大学的“优秀博士学位论文”称号。
王晋东
王晋东博士，微软亚洲研究院高级研究员。他于2019年在中国科学院计算技术研究所获得博士学位，并获得优秀博士论文奖。他的研究兴趣包括机器学习、大语言模型以及社会科学领域的人工智能。他在ICML、ICLR、NeurIPS、TPAMI、IJCV等顶级会议和期刊上发表了50多篇论文，引用次数超过10000次。2023年，他被斯坦福大学评选为世界前2%顶尖科学家之一，并被AMiner评为最具影响力的AI学者之一。他的研究被福布斯等国际媒体报道。他拥有多篇谷歌学术高被引论文、Huggingface特色论文以及Paperdigest最具影响力论文。他在ICCSE'18和IJCAI'19研讨会上获得了最佳论文奖。他是IEEE TNNLS的副编辑，ACM TIST的客座编辑，NeurIPS、KDD、ACMMM和ACML的领域主席，IJCAI和AAAI的高级程序委员会成员。
王婧雯
王婧雯，现任微软亚洲研究院学术合作经理，负责微软亚洲研究院所有学术合作项目的海内外宣传推广战略制定与内容统筹。她也负责微软亚洲研究院与上海交通大学、复旦大学等上海地区高校，以及新加坡地区高校的学术科研合作。她同时负责微软 Ada Workshop、微软亚洲研究院院友会项目、多个科研主题以及与投资、创业孵化机构的合作。王婧雯于中国人民大学新闻学院获传播学硕士学位后加入微软亚洲研究院。
张星星
张星星，微软亚洲研究院高级研究员，研究方向包括大规模合成数据（Synthetic Data）、复杂推理(Complex Reasoning）、大型语言模型的后训练（Post-training）及可扩展监督（Scalable Oversight）。担任过ACL 2021-2023、NAACL 2022及EMNLP 2024的领域主席。在加入微软亚洲研究院之前，于爱丁堡大学获得自然语言生成领域的博士学位。
张丽
张丽，微软亚洲研究院高级研究员，现阶段研究兴趣为大模型长文本以及大模型的自我进化等，此前研究兴趣为轻量化模型设计及压缩研究，期间多项技术已转化为微软产品。其中，她主导开发的LongRoPE技术成功整合到微软的大模型Phi3中，使Phi3能够支持长达128k的文本上下文窗口。她曾获得2021年Mobisys最佳论文奖，2021年sigmobile research highlight, 在NSDI, Mobisys, Mobicom, MLsys, KDD, ICCV等顶级会议发表多篇论文，并拥有多项专利。
在线论文分享
7月24日（周三）13:30，微软亚洲研究院将邀请四位论文作者做客微信视频号“微软亚洲研究院”，以及B站 “微软科技”直播间，为大家分享这次入选本届大会的精选论文！
本次论文分享内容涉及大语言模型的数学推理、多维度评测、长文本处理以及时间序列预测模型。如果你对人工智能、大语言模型等领域充满兴趣，不妨来看看这场直播，你将可以与研究员们对话交流，深刻了解相关技术的原理与思路，以及人工智能和机器学习等领域的最新趋势和未来发展。
在每篇论文的分享过程中，也欢迎大家参与弹幕或评论区互动、提问，讲者将在分享结束后亲自为你答疑解惑。期待和你一起共赴这场人工智能的技术探讨。
直播时间：
2024年7月24日13:30-15:30
直播地址：
B 站账号“微软科技”直播间
微信视频号“微软亚洲研究院”
论文及讲者介绍
张星星
微软亚洲研究院
高级研究员
张星星，微软亚洲研究院高级研究员，研究方向包括大规模合成数据（Synthetic Data）、复杂推理（Complex Reasoning）、大型语言模型的后训练（Post-training）及可扩展监督（Scalable Oversight）。担任过ACL 2021-2023、NAACL 2022及EMNLP 2024的领域主席。在加入微软亚洲研究院之前，于爱丁堡大学获得自然语言生成领域的博士学位。对于在相关研究方向寻求实习机会的同学，欢迎通过xingxing.zhang@microsoft.com与张星星研究员联系。
论文题目：
MathScale：用于数学推理的缩放指令调优
MathScale: Scaling Instruction Tuning for Mathematical Reasoning
论文摘要：
大型语言模型（LLMs）在问题解决方面展示了卓越的能力，但在解决数学问题方面仍显不足。本文提出了MathScale，一种简单且可扩展的生成高质量的数学推理数据方法。受人类数学学习认知机制的启发，MathScale从种子数学问题中提取高等次概念，然后构建概念图，并据此生成新的数学问题。本文利用GPT-3.5创建了一个包含两百万道数学问答对的数学推理数据集MathScaleQA并显著提升了LLM的数学推理能力。在MWPBench上的评估结果显示，MathScale-7B相较于同等大小规模的最佳模型，在微平均和宏平均准确率上分别提升了42.9%和43.7%。
论文链接：
https://arxiv.org/abs/2403.02884
朱凯捷
微软亚洲研究院社会计算组
实习生
朱凯捷，中国科学院自动化研究所硕士三年级，微软亚洲研究院实习生，实习导师为微软亚洲高级研究员王晋东，实习主要研究方向为大模型的动态评测，相关论文发表至ICLR 2024、ICML 2024中。
论文题目：
通过元探测代理对大型语言模型进行动态评估
Dynamic Evaluation of Large Language Models by Meta Probing Agents
论文摘要：
大语言模型的评测因数据污染问题引发了广泛关注。现有评测协议（如DyVal）难以扩展至多样化场景，且仅提供整体结果，缺乏细粒度和多维度分析。本文提出了一种基于心理测量学的通用动态评估协议——元探测代理（Meta Probing Agents, MPA）。MPA设计了探测和判断代理，依据语言理解、问题解决和领域知识三种基本认知能力，动态生成测试样本，并根据LLM在不同认知能力的测试样本表现进行多维度分析。
论文链接：
https://arxiv.org/abs/2402.14865
张丽
微软亚洲研究院
高级研究员
张丽，微软亚洲研究院高级研究员，现阶段研究兴趣为大模型长文本以及大模型的自我进化等，此前研究兴趣为轻量化模型设计及压缩研究，期间多项技术已转化为微软产品。其中，她主导开发的LongRoPE技术成功整合到微软的大模型Phi3中，使Phi3能够支持长达128k的文本上下文窗口。她曾获得2021年Mobisys最佳论文奖，2021年sigmobile research highlight, 在NSDI, Mobisys, Mobicom, MLsys, KDD, ICCV等顶级会议发表多篇论文，并拥有多项专利。
论文题目：
LongRoPE：将 LLM 上下文窗口扩展到 200 万个令牌以上
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
论文摘要：
大模型的飞速发展给人们的生活带来了前所未有的便利。我们是否能够设想利用大模型的潜力，快速扫描整部百科全书、解析繁琐复杂的法律条款，甚至对文章进行精准引用呢？在未来，这些将统统可以实现。然而，目前传统的大模型的上下文窗口限制与昂贵的微调成本使得它们难以处理超长文本，从而限制了其应用潜力。为解决这一问题，本文提出了 LongRoPE。通过精细化非均匀位置插值和渐进式扩展策略，LongRoPE 成功将大模型的上下文窗口扩展至2048k，不仅保持了原始短上下文窗口的性能，还大幅提升了长文本处理的效果。LongRoPE 的应用前景广阔，将为大模型的发展带来更多可能。
论文链接：
https://arxiv.org/abs/2402.13753
王延森
微软亚洲研究院
研究员
王延森，微软亚洲研究院人工智能与机器学习组（上海）研究员，硕士毕业于卡耐基梅隆大学（Carnegie Mellon University），师从Carolyn P. Rosé教授。研究方向为神经学启发的人工智能，脑电/时序信号分析，以及其它人工智能与神经科学的跨学科研究。
论文题目：
使用脉冲神经网络进行高效且有效的时间序列预测
Efficient and Effective Time-Series Forecasting with Spiking Neural Networks
论文摘要：
本文提出了一个用于时间序列预测任务的SNN框架，其利用了脉冲神经元在处理时间信息方面的效率。通过一系列实验，我们发现基于SNN的方法在各种基准测试上取得了与传统时间序列预测方法相当或更好的结果，同时能耗大大减少。
论文链接：
https://arxiv.org/abs/2402.01533
欢迎锁定微信视频号与 B 站直播间，与你不见不散！
