科研大佬投稿顶会的经验分享：时间安排、idea灵感、科研习惯
科技
2024-09-30 16:01
山西
![]()
大数据文摘受权转载自AI TIMER
整理：陈研
概述：大模型时代，科研的挑战和机遇并存。随着数据规模的激增和技术的迅猛发展，如何有效地准备顶会投稿、应对评审反馈，以及分享科研经历，成为了每位研究者必须面对的重要课题。2024年9月，在AI TIME举办的ECCV预讲会上，来自清华大学博士诸子钰，清华大学博士生刘芳甫，《深度学习详解》作者王琦，北京航空航天大学博士生李睿楷深入探讨了这些内容，并分享一些成功的经验和实用的技巧，为大家的科研之路提供了指引和帮助。王琦：关于投稿时间，我身边的人经验各不相同，但一般建议在投稿前的一个月或至少两周内，确保有实验结果出来。这样可以在这段时间集中写作和调整。虽然有时会非常紧张，但最好还是留一个月来处理，这样会更从容。诸子钰：理想的时间线可分为四个阶段：6个月、3个月、1个月和1周。6个月前，应有初步的论文构思，不要求明确的实验结果。到3个月时，应该对想法的可行性有清晰认识。接下来从3个月到1个月，专注进行实验，完善研究。1个月时，开始整理论文结构，调整卖点、动机和结论。最后1周，专注打磨文字和图表。当然，有些人可能在最后1个月集中冲刺，这也因人而异。李睿楷：理想的论文写作时间安排是“6321”。但实验结果有时会随机出现，进度可能突然加快。如果匆忙投稿，可能会在故事结构和图文细节上欠缺打磨。因此，按“6321”的时间线进行是较为理想的。刘芳甫：时间规划“6321”是可行的，但除了时间安排外，还要考虑到论文发布时这个研究方向是否依然受关注。6个月前的想法，在投稿时可能会遇到很多类似的工作，因此要注意是否会有同期竞争的研究。如果在发布时有很多相似的研究，可能说明时间点没有卡好，最理想的情况是你的工作发布后，其他人跟进研究，这样能获得更多关注。同时，如果发现同期工作已经发布，可能需要调整自己的侧重点，看看是否能提出更深层次的问题，或者换个研究方向，避免在被抢占的领域内竞争。王琦：关于如何产生一个好的idea，首先要确定一个研究方向。接下来，全面阅读该方向近几年的论文，尤其是经典的工作，获取初步的想法。然后可以通过写proposal或画出方法的pipeline图，向导师汇报并获得反馈。如果你所在的领域有一些做得比较好的或者有影响力的组，我建议可以先去follow一下这些组的大佬，看看他们最近在做什么，特别是他们开辟的新方向。这些大组通常会选择一些比较有前景或者热点的方向，你可以从他们的研究中找到启发和指引，尤其是那些刚开始做的方向，可能为你提供很多灵感。跟着这样的趋势去选择自己的研究方向，确实是一个不错的策略。在讨论过程中，理论讨论虽然重要，但AI领域更需要通过实验验证。因此，在设计思路的同时，最好进行实验，并根据结果调整方法。通常，需要多次迭代实验和调整，才能逐渐形成一个成熟的idea。诸子钰：在研究的早期阶段，尤其是本科或博士初期，多与经验丰富的学长或研究生讨论非常重要。因为这个阶段自己想出的想法可能还不够成熟，或者已经被别人做过了。到了研究后期，多读跨领域的论文也非常有帮助。仅仅在自己的领域内创新空间可能有限，而将自己的领域与其他领域结合，往往能带来新的idea。李睿楷：我的idea主要来自三个方面。首先，通过阅读论文，深入理解某个领域的优秀工作，分析每篇论文的改进点和解决的问题。其次，和学长、老师以及跨领域的同学交流，能够纠正一些理解偏差，并激发新的想法。最后，通过实验验证，AI学科依赖实验来检验想法的可行性，并不断推进研究。这三方面帮助我在研究初期逐渐形成和完善自己的idea。刘芳甫：好的idea有两种常见的方式：自上而下和自下而上。自上而下是指先有一个整体的story，然后通过实验来验证和完善这个故事；而自下而上是通过大量实验，找到哪些case失败，再尝试不同的方法解决这些问题，最后去思考背后的原理。最理想的状态是自上而下和自下而上结合，形成更好的研究路径。此外，好的idea也分为两种类型：一种是偏研究导向的，比如DDIM这样的有强数学逻辑支撑的insight，这需要在领域内有深厚积累。另一种是应用导向的，比如自动驾驶领域的OCCUPANCY network，这类idea往往从大厂的workshop或社交媒体热点中产生。03 如何进行论文自我评审和有效地rebuttal？王琦：关于如何进行自我评审，我觉得有个比较直接的方法，就是参考一些顶级会议的评审标准。比如，你可以去看NeurIPS或其他openreview平台上的评审要求，看看审稿人通常是如何评价论文的。通过这些评审意见，可以总结出一些关键点，比如baseline是否够强、motivation是否明确等。你可以给自己做一个清单，对照这些标准逐条进行自我评估，确保每个方面都符合要求。这种方式可以帮助自己发现论文中的不足并进行改进。诸子钰：我之前看过一个叫“论文十问”的帖子，它总结了写paper时需要注意的关键点。我在写作时会对照这些点进行检查，比如文章的motivation是否清晰，idea是否突出，teaser是否通俗易懂，方法图和公式是否匹配，以及实验结果是否和假设一致。这些都能帮助我更系统地评审自己的论文。当然，最好的方式还是和同伴一起修改，因为自己看多了容易忽略一些显而易见的问题，同伴的反馈往往会很有帮助。李睿楷：我通常更倾向于在写好一篇论文后，请来自大领域但不同小领域的人来帮我审阅。这样我能确认他们是否理解我想表达的内容，尤其是在图表和写作方面。如果他们能清楚地明白我的工作和贡献，那说明文章的表达已经足够清晰。当然，像师兄们提到的那些细节工作，我也需要多学习和改进。刘芳甫：让大领域但不同小领域的同行来审阅你的论文，如果他们能从摘要和引言中理解你的工作，说明目标已经基本达成。方法部分则应由同领域的专家来审阅，确保技术细节无误。确保你的论文能用一两句话清晰地表达核心贡献，这有助于在推广时迅速吸引关注。motivation的明确性在Rebuttal中尤为重要，因为它帮助强化论文的说服力。04 有哪些日常的科研习惯可以培养（以ECCV为例）王琦：项目推进上，如果idea实现出现问题，可以通过可视化分析找出问题，并逐步优化。合作者之间使用协作工具如飞书，每周对齐进度，确保沟通顺畅。科研习惯上，每天浏览arXiv等平台，保持对领域前沿的了解，并记录实验结果，逐步迭代优化。多与同行交流，学习他们的经验，观察他们是如何做研究的，以不断提高自己。诸子钰：针对科研管理，推荐使用Notion软件来记录和管理科研项目流程。Notion可以很好地整理文献、记录实验结果，并通过数据库功能进行数据分析。对于科研合作方面，他建议在投稿前务必与所有作者和导师就署名等问题达成一致，避免后期出现分歧。李睿楷：首先，针对实验不过关的问题，要检查代码是否有bug，特别是一些不易察觉的问题。接下来是分析，使用可视化工具逐步检查实验的每一步，查找导致问题的环节。另外，与有经验的学长或导师讨论也非常重要，帮助从直觉上寻找问题。第二，在合作初期就要明确每个人的职责。进度管理方面，我一般使用飞书来记录和分享科研进展。通过飞书的文档功能，合作者可以实时查看实验进展。当导师不认可自己的工作时，要先分析导师不认可的原因，尤其是从资源和实际价值两个角度考虑。如果资源允许，且自己对工作有信心，可以尝试说服导师。刘芳甫：关于bug问题，我的习惯是分阶段进行，每写完一个模块就输出结果，确保符合预期，这样可以减少后期debug的难度。科研管理方面，我虽然没有用notion或飞书，但习惯短时间内大量阅读论文，然后根据idea逐步实现，构建知识链。合作者贡献方面，主要看贡献的多少，提出idea的往往是共一，而coding多的人可能会排在其后。科研习惯则是要将科研融入日常生活，经常刷公众号、Twitter、Arxiv等，保持信息更新。王琦：研究大模型方向需要大量计算资源，目前许多高校实验室可能不具备足够的计算能力。应对这一问题，可以采取几种策略：第一，去公司实习，利用公司资源，使用他们的计算卡；第二，对开源的大模型进行微调；最后，可以调用大模型的API服务。诸子钰：在选择研究方向时，尽量避免选择那些短期内需要大量数据和计算资源的领域，例如大模型调优。如果实验室计算资源有限，可以考虑如三维重建、3D图像处理等需要较少计算资源的方向，这些领域通常只需要4到8张GPU卡。其次，大模型可以加速科研流程，例如通过生成脚本和优化论文来提升效率。此外，大模型在生成数据和构建模型方面也有优势，可以用于改进3D模型和增强模型的泛化能力，因此在选择研究方向时，考虑如何有效利用这些工具是非常重要的。李睿楷：现在工业界在数据和算力上相对高校有优势，因此在选择研究方向时，尽量避免那些可能需要大量资源的领域，选一些适合自身条件的方向进行预研比较合适。此外，大模型在科研中主要用来帮助生成脚本和数据，比如用GPT生成描述性文本，这样的工具确实有助于优化工作流程，但也需要权衡其利弊。刘芳甫：首先，在大模型时代做科研可以分为两种情况：一种是可以在实验室中使用有限的计算资源完成的研究，另一种则需要公司级别的计算资源和数据。如果你的研究属于后者，那么去公司实习是一个合适的选择；但如果是前者，可以通过在实验室讨论或者利用一些好的创意来完成这些研究。我认为，做科研时，最重要的是要有自己的方向和规划。科研不仅仅是跟随时代潮流，而是要明确自己的大目标，并为实现这一目标设定具体的小任务。大模型和其他工具应被视为实现这些目标的手段，而不是改变科研方向的理由。就像创业一样，我们需要在有限的资源下实现自己的目标和效果，而不是一味跟随趋势做研究。在大模型时代，科研不仅需要扎实的理论基础和创新思维，更需要我们不断学习和适应新的投稿流程和评审标准。希望四位嘉宾分享的经验能激励大家在未来的科研旅程中，勇敢尝试，积极投稿，追求卓越。期待在未来的顶会上见到大家的杰出成果。![]( "黑色小圆动图分割线")
谷歌被俄罗斯罚款2,500,000,000,000,000,000,000,000,000,000,000,000美元
