【他山之石】NeurIPS 2024最佳论文开奖！北大字节NUS夺冠，Ilya连续三年获奖

科技 2024-12-13 18:05 北京

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注！

刚刚，NeurIPS 2024最佳论文放榜了！

不出所料，今年两篇最佳论文分别颁给了北大字节团队，和新加坡国立大学Sea AI Lab团队。

除此之外，大会还公布了「数据集与基准」赛道的最佳论文，以及主赛道最佳论文奖委员会，数据集和基准赛道最佳论文奖委员会。

今年，是NeurIPS第38届年会，于12月9日-15日在加拿大温哥华正式拉开帷幕。

前段时间，NeurIPS 2024刚刚公布的时间检验奖，分别颁给了Ilya Sutskever的Seq2Seq，和Ian Goodfellow的GAN。

有网友发现，Ilya已经连续三年拿下该奖，可以创历史了。

2022年AlexNet，2023年Word2Vec，2024年Seq2Seq

今年，NeurIPS 2024的总投稿数量再创新高，共有15000多篇论文提交，录用率为25.8%。

从研究内容主题的整体分布来看，主要集中在大模型、文生图/文生视频、强化学习、优化这四大块。

再细分来看，机器视觉、自然语言处理、强化学习、学习理论、基于扩散的模型是最热的5个话题。

共计165000名参会者，也创下历年新高。

获奖论文一：超越扩散，VAR开启视觉自回归模型新范式

拿下最佳论文的第一篇，是由北大字节团队共同提出的一种全新范式——视觉自回归建模（Visual Autoregressive Modeling，VAR）。

（论文详解请点此处）

论文地址：https://arxiv.org/abs/2404.02905

与传统的光栅扫描「下一个token预测」方法有所不同，VAR重新定义了图像上的自回归学习，采用粗到细的「下一个尺度预测」或「下一个分辨率预测」。

这种简单直观的方法使得自回归（AR）Transformer能够快速学习视觉分布，并且具有较好的泛化能力：VAR首次使得类似GPT的AR模型在图像生成中超越了扩散Transformer。

首先，将图像编码为多尺度的token映射，然后，自回归过程从1×1token映射开始，并逐步扩展分辨率。

在每一步中，Transformer会基于之前所有的token映射去预测下一个更高分辨率的token映射。

VAR包括两个独立的训练阶段：在图像上训练多尺度VQVAE，在token上训练VAR Transformer。

第一阶段，多尺度VQ自动编码器将图像编码为K个token映射R=(r₁,r₂,…,r_K)，并通过复合损失函数进行训练。

第二阶段，通过下一尺度预测对VAR Transformer进行训练：它以低分辨率token映射 ([s],r₁,r₂,…,r_K−1)作为输入，预测更高分辨率的token映射 (r₁,r₂,r₃,…,r_K)。训练过程中，使用注意力掩码确保每个r_k仅能关注 r_≤k。训练目标采用标准的交叉熵损失函数，用于优化预测精度。

实验证明，VAR在多个维度上超越了扩散Transformer（DiT），包括图像质量、推理速度、数据效率和可扩展性。

其中，VAR初步模仿了大语言模型的两个重要特性：Scaling Law和零样本泛化能力。

获奖论文二：STDE，破解高维高阶微分算子的计算难题

第二篇获奖论文，是由新加坡国立大学和Sea AI Lab提出的一种可通过高阶自动微分（AD）高效评估的分摊方案，称为随机泰勒导数估计器（STDE）。

论文地址：https://openreview.net/pdf?id=J2wI2rCG2u

这项工作讨论了优化神经网络在处理高维 (d) 和高阶 (k) 微分算子时的计算复杂度问题。

当使用自动微分计算高阶导数时，导数张量的大小随着O(d^k)扩展，计算图的复杂度随着 O(2^k-1L)增长。其中，d是输入的维度（域的维度），k是导数的阶数，L是前向计算图中的操作数量。

在之前的研究中，对于多维扩展d^k，使用的是随机化技术，将高维的多项式增长变为线性增长；对于高阶扩展 2^k-1，则通过高阶自动微分处理了一元函数（即d=1）的指数增长问题。

通过反向模式自动微分（AD）的重复应用，计算函数F(⋅)的二阶梯度的计算图。该函数包含4个基本操作（L=4），用于计算Hessian矩阵与向量的乘积。红色节点表示在第二次反向传播过程中出现的余切节点。随着向量-雅可比积（VJP）的每次重复应用，顺序计算的长度会加倍

在研究中，团队展示了如何通过适当构造输入切向量，利用一元高阶自动微分，有效执行多元函数导数张量的任意阶收缩，从而高效随机化任何微分算子。

该方法的核心思想是「输入切向量构造」。通过构造特定的「输入切向量」（方向导数），可以将多维函数的高阶导数计算转化为一元高阶自动微分问题。这意味着将复杂的多元导数运算转化为多个一元导数运算，从而减小了计算复杂度。

该计算图显示了函数F的二阶导数d²F，其中F包含4个基本操作，参数θ_i被省略。最左侧的第一列表示输入的二阶射流（2-jet），并通过d²F₁将其推向下一列中的二阶射流。每一行都可以并行计算，且不需要缓存评估轨迹

将该方法应用于物理信息神经网络（PINNs）时，相较于使用一阶自动微分的随机化方法，该方案在计算速度上提高了1000倍以上，内存占用减少了30倍以上。

借助该方法，研究团队能够在一块NVIDIA A100 GPU上，在8分钟内求解具有百万维度的偏微分方程（PDEs）。

这项工作为在大规模问题中使用高阶微分算子开辟了新的可能性，特别是在科学计算和物理模拟中具有重要意义。

「数据集与基准」最佳论文

这篇由牛津、宾大等12家机构联手提出的数据集PRISM，荣获了「数据集与基准」赛道的最佳论文。

论文地址：https://openreview.net/pdf?id=DFr5hteojx

这篇论文通过收集来自75个国家、1500多名参与者的详细反馈，科学家们首次全面绘制了AI模型与人类交互的复杂图景。

它就像是为AI「验血」：不仅仅是检查技术指标，更是深入了解AI与不同文化、不同背景人群的交互细节。

具体来说，研究人员收集了人们与21个大模型交互的8,011次真实数据。

而且，他们还详细记录了参与者的社会人口学特征和个人偏好。

最关键的是，这项研究聚焦了主观和多文化视角中，最具挑战性领域，尤其是关注价值观相关和有争议问题上的主观和多元文化视角。

通过PRISM数据集，为未来研究提供了新的视角：

- 扩大地理和人口统计学的参与度

- 为英国、美国提供具有人口普查代表性的样本

- 建立了个性化评级系统，可追溯参与者详细背景

总的来说，这项研究具有重要的社会价值，并推动了关于RLHF中多元化和分歧的研究。

NeurIPS 2024实验：LLM作为科学论文作者清单助手的效果评估

随着大奖出炉后，NeurIPS 2024终于公布了将大模型作为清单助手的效果评估报告。

如今，虽然存在着不准确性和偏见等风险，但LLM已经开始被用于科学论文的审查工作。

而这也引发了一个紧迫的问题：「我们如何在会议同行评审的应用中负责任且有效地利用LLM？」

今年的NeurIPS会议，迈出了回答这一问题的第一步。

论文地址：https://arxiv.org/abs/2411.03417

具体来说，大会评估了一个相对明确且低风险的使用场景：根据提交标准对论文进行核查，且结果仅显示给论文作者。

其中，投稿人会收到一种可选择使用的基于LLM的「清单助手」，协助检查论文是否符合NeurIPS清单的要求。

随后，研究人员会系统地评估这一LLM清单助手的益处与风险，并聚焦于两个核心问题：

1. 作者是否认为LLM作者清单助手是对论文提交过程的一种有价值的增强？

2. 使用作者清单助手是否能显著帮助作者改进其论文提交？

最终结论如下：

「LLM清单助手可以有效地帮助作者确保科学研究的严谨性，但可能不应作为一种完全自动化的审查工具来取代人工审查。」

1. 清单助手有用吗？

研究人员对作者们进行了问卷调查，以便了解他们对使用清单助手前后的期望和感受。

调查共收到539份使用前问卷回复，清单助手共处理了234份提交，同时收到了78份使用后问卷回复。

结果显示，作者普遍认为清单助手是对论文提交过程的一项有价值的改进——

大多数接受调查的作者表示，使用LLM清单助手的体验是积极的。其中，超过70%的作者认为工具有用，超过70%的作者表示会根据反馈修改论文。

值得注意的是，作者在实际使用之前对助手有效性的期望比实际使用后的评价更为积极。比较使用前后的反馈可以发现，在「有用性」和「期待使用」方面的正面评价出现了具有统计学意义的显著下降。

2. 清单助手的主要问题是什么？

作者使用清单助手时遇到的问题，按类别归纳如下。

主要问题包括：不准确性（52名回复者中有20人提到），以及LLM对要求过于苛刻（52名回复者中有14人提到）。

3. 清单助手提供了哪些类型的反馈？

研究者使用了另一个LLM，从清单助手对每个清单问题的回复中提炼关键点，将其归类。

以下展示了作者清单助手在清单的四个问题上提供的常见反馈类别：

LLM 能够结合论文内容和清单要求，为作者提供具体的反馈。对于清单中的15个问题，LLM通常会针对每个问题提供4-6个不同且具体的反馈点。

尽管其回复中有时包含一些模板化内容，并可能扩展问题的范围，但它也能够针对许多问题提供具体且明确的反馈。

4. 作者是否真的修改了提交的内容？

根据反馈，很多作者表示计划对他们的提交内容做出实质性的修改。

在78名回复者中，有35人具体说明了他们会根据清单助手的反馈对提交内容进行的修改。其中包括，改进清单答案的说明，以及在论文中添加更多关于实验、数据集或计算资源的细节。

在40个实例中，作者将他们的论文提交到清单验证工具两次（总共提交了80篇论文）。

结果显示，在这40对（两次提交的）论文中，有22个实例中作者在第一次和第二次提交之间至少更改了清单中的一个答案（例如，从「NA」改为「是」），并且在39个实例中更改了至少一个清单答案的说明。

在更改了清单说明的作者中，许多作者进行了大量修改，其中35/39在清单的15个问题中更改了超过6个说明。

虽然并不能将这些修改因果归因于清单助手，但这些修改表明作者可能在提交之间采纳了助手的反馈。

以下是在作者更改说明的问题中，从初次提交到最终提交的字数增长情况（值为2表示答案长度增加了一倍）。

可以看到，当作者更改清单答案时，超过一半的情况下，他们将答案说明的长度增加了一倍以上。

总结来说，当作者多次向清单助手提交时，他们几乎都会在提交之间对清单进行修改，并显著延长了答案的长度，这表明他们可能根据LLM的反馈添加了内容。

5. 清单助手是否可以被操控？

清单助手的设计初衷，是帮助作者改进论文，而不是作为审稿人验证作者回答准确性的工具。

如果该系统被用作审稿流程中的自动验证步骤，这可能会激励作者「操控」系统，从而引发以下问题：作者是否可以借助AI，在无需对论文做出实际修改的情况下，自动提升清单回答的评价？

如果这种操控是可能的，作者可能会在没有（太多）额外努力且不实际改进论文的情况下，向会议提供虚假的合规印象。

为了评估系统是否容易受到这种操控，研究者使用另一个LLM作为攻击智能体，迭代性地修改清单说明，试图误导清单助手。

在这一迭代过程中，攻击智能体在每轮之后从系统接收反馈，并利用反馈优化其说明。

研究者向GPT-4提供了初始的清单回答，并指示其仅根据反馈修订说明，而不改变论文的基础内容。允许攻击智能体进行三次迭代（与部署助手的提交限制一致），智能体在每次迭代中选择得分最高的清单问题回答。

为了以统计方式量化这种攻击的成功率，研究者将选定的说明提交给清单助手进行评估，获取「评分」（当清单助手表示清单问题「无问题」时得分为1，当助手识别出问题时得分为0）。

以下展示了该攻击的结果：

结论

通过在NeurIPS 2024部署了一个基于LLM的论文清单助手，证明了LLM在提升科学投稿质量方面的潜力，特别是通过帮助作者验证其论文是否符合提交标准。

然而，研究指出了在科学同行评审过程中部署LLM时需要解决的一些显著局限性，尤其是准确性和契合度问题。

此外，系统在应对作者的操控时缺乏抵抗力，这表明尽管清单助手可以作为作者的辅助工具，但可能无法有效取代人工评审。

NeurIPS将在2025年继续改进基于LLM的政策评审。

参考资料：

https://blog.neurips.cc/2024/12/10/announcing-the-neurips-2024-best-paper-awards/

https://blog.neurips.cc/2024/12/10/results-of-the-neurips-2024-experiment-on-the-usefulness-of-llms-as-an-author-checklist-assistant-for-scientific-papers/

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

收藏，分享、在看，给个三连击呗！

人工智能前沿讲习

领先的人工智能知识平台

注意力计算减少99.5%，端侧文生图扩散模型成功范式！CLEAR：类卷积线性扩散Transformer

【源头活水】英伟达「世界基础模型」诞生，引爆物理AI革命！75页报告出炉，GitHub狂飙2k星

中科院/中科大/芝加哥大学创新动态Token合并框架，无需微调，依然强大，零样本视频理解的突破性进展！

【他山之石】AAAI 2025 | IML领域首个稀疏化视觉Transformer，代码已开源

【源头活水】人工智能是不是走错了方向？

【源头活水】OpenAI奥特曼发长文「反思」：十年艰难创业路，如今已掌握AGI秘诀

【他山之石】AAAI 2025 | 基于真实世界雾霾驾驶视频的视频去雾和深度估计

【源头活水】DeepSeek V3获竞技场最强开源认证！与Claude 3.5 Sonnet对比实测来了

1.4s 即可生成1024px图像！SnapGen：轻量化架构和训练策略实现端侧文生图

【他山之石】ACCV 2024 | ViT涨点神器！DeBiFormer：双层路由注意力新框架

【源头活水】数据不够致Scaling Law撞墙？CMU和DeepMind新方法可让VLM自己生成记忆

【他山之石】AAAI 2025｜腾讯优图实验室10篇论文入选，含大型语言模型、深度伪造检测等研究方向

【源头活水】聊一聊大模型六小虎和四大厂的2024！

【源头活水】NeurIPS 2024｜让模型预见分布漂移：动态系统颠覆性设计引领时域泛化新革命

【他山之石】AAAI 2025 | 港大提出SparX：强化Vision Mamba和Transformer的稀疏跳跃连接机制

【综述专栏】2024->2025必看的十大「人工智能领域综述」论文

【他山之石】国产之光DeepSeek把AI大佬全炸出来了！671B大模型训练只需此前算力1/10，细节全公开

【源头活水】AAAI 2025 | SparseViT：参数高效的稀疏化视觉Transformer

【源头活水】首次！大模型自动搜索人工生命，做出AI科学家的Sakana AI又放大招

【他山之石】Meta、斯坦福等：AI的下一个前沿，正是陶哲轩说的形式化数学推理

【源头活水】NeurIPS 2024｜让模型预见分布漂移：动态系统颠覆性设计引领时域泛化新革命

【他山之石】深度学习工作：从追求 SoTA 到揭示新现象

【源头活水】华人学子闪耀NeurIPS顶会，背后最大赢家竟是它

【源头活水】我在 NeurIPS’24 上感受到了焦虑和挫败

【他山之石】MIT、OpenAI等震撼力作：AI首次自主发现人工生命！人类窥见上帝造物

【他山之石】复旦&微软提出StableAnimator: 首个端到端的高质量ID一致性人类视频生成新框架！

【源头活水】刚刚，OpenAI元老级研究员Alec Radford离职，他主导了GPT-1、GPT-2的研发

【他山之石】全面超越CoT！Meta田渊栋团队新作：连续思维链

【综述专栏】低空经济万字综述｜基于深度学习的无人机检测和识别研究

【他山之石】统一视觉理解与生成，MetaMorph模型问世，LeCun、谢赛宁、刘壮等参与

Scaling laws在视觉自回归模型上失效了？谷歌联合MIT发布Fluid：文生图质量刷新纪录！

【他山之石】谷歌逆风翻盘暴击OpenAI，90天王者归来！44页报告押注25年三大技术前沿

【他山之石】历时2年，华人团队力作，震撼开源生成式物理引擎Genesis，可模拟世界万物

【源头活水】Tokenization不存在了？Meta最新研究，无需Tokenizer的架构来了

【他山之石】大模型助力分割，刷新10项SOTA！清华和美团提出HyperSeg：通用分割框架

【源头活水】北交大团队开源代码生成框架o1-Coder，并将推出强化微调RFT版本

【源头活水】Ilya错了，预训练没结束！LeCun等反击，「小模型时代」让奥特曼预言成真

【他山之石】LLM最大能力密度100天翻一倍！清华刘知远团队提出Densing Law

【他山之石】田渊栋团队论文火了！连续思维链优于CoT，打开LLM推理新范式

【源头活水】工业界主流大语言模型后训练(Post-Training)技术总结

【他山之石】AAAI2025｜只根据题目和摘要就能预测论文影响力？！

【源头活水】白话版Scaling Laws for Precision 解读

【他山之石】NeurIPS神仙打架：李飞飞180页PPT谈视觉智能，Bengio同OpenAI员工吵架，何恺明谈AI宿命论

【源头活水】Sora火爆上线系统秒瘫，奥特曼直播第三更网友震翻！20秒1080p拍大片再近AGI

【他山之石】超图计算+目标检测，性能新SOTA！清华发布Hyper-YOLO：用超图捕捉高阶视觉关联

【他山之石】NeurIPS 2024最佳论文开奖！北大字节NUS夺冠，Ilya连续三年获奖

【源头活水】2024 ACL Fellow名单出炉！微软高剑峰等4位华人科学家入选

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉