来源| AI寒武纪
日本Sakana AI 公司推出 AI 科学家：首个全自动端到端科学论文生成系统
Sakana AI 发布的 AI 科学家系统，实现了机器学习领域首个全自动化的科研论文生成流程。该系统并非仅仅辅助科研的工具，而是能够自主进行构思、实验、分析、撰写，最终输出完整论文的 AI 代理，标志着 AI 驱动科研进入全新阶段
paper：https://arxiv.org/pdf/2408.06292
github：https://github.com/SakanaAI/AI-Scientist
核心创新:
端到端自动化：AI 科学家 首次实现了机器学习研究全流程自动化，涵盖从想法生成到论文撰写的各个环节，突破了以往自动化科研系统仅专注于局部环节的局限。
开放式探索：系统借鉴进化计算和开放式研究的思想，能够迭代地生成和筛选研究想法，而非局限于预定义的搜索空间，从而实现更广泛的探索和发现。
可解释性：AI 科学家 生成的代码、实验结果、可视化图表和论文文本，都为人类研究者提供了理解其科研过程和结果的途径，促进了人机协同和知识共享。
关键技术:
LLM 驱动：AI 科学家 的核心是强大的 LLM，例如 Claude 和 GPT-40，它们不仅负责生成研究想法和论文文本，还驱动着实验设计、代码编写和结果分析等环节。
代码辅助工具 Aider：Aider 是一个基于 LLM 的代码辅助工具，能够理解 AI 科学家 的指令，自动修改代码、执行实验、记录结果，并生成可视化图表。
自动审稿系统：为了评估论文质量，Sakana AI 开发了基于 GPT-40 的自动审稿系统，该系统能够模拟人类审稿人的行为，对生成的论文进行评估和反馈。
实证结果：
低成本、高效率：AI 科学家 能够在一周内生成数百篇中等质量的论文，每篇论文的成本仅为 10-15 美元，极大地提高了科研效率并降低了成本。
接近人类水平的审稿：自动审稿系统在 ICLR 2022 论文数据集上的准确率达到 70%，F1 得分甚至超过人类审稿人，表明其具备了较高的评估能力。
原创性贡献：AI 科学家 已经在扩散模型、语言建模和顿悟学习等领域生成了10篇具有原创性贡献的论文，例如 “Adaptive Dual-Scale Denoising for Dynamic Feature Balancing in Low-Dimensional Diffusion Models”
技术细节:
想法生成：AI 科学家 利用 LLM 迭代地生成想法，并使用 Semantic Scholar API 过滤掉与现有文献过于相似的内容。AI 系统首先会“头脑风暴”，生成一系列新颖的研究方向。它从进化计算和开放式研究中汲取灵感，利用 LLM 作为“变异算子”，迭代地扩展想法库。每个想法都包含描述、实验执行计划和（自我评估的）趣味性、新颖性和可行性得分
实验迭代:Aider 能够自动执行实验，并在遇到错误或超时时进行代码修复和重试，确保实验的稳健性。AI 系统利用先进的代码辅助工具 Aider，将想法转化为代码，并在现有代码库中进行修改，然后自动执行实验并收集结果。Aider 还会以实验日志的形式记录实验过程和结果
论文撰写：AI 科学家 遵循标准的机器学习会议论文格式，并使用 LaTeX 进行排版，同时确保论文内容基于真实的实验结果和参考文献。
自动审稿：审稿系统采用 NeurIPS 会议的评审指南，并结合了 self-reflection、few-shot learning 和 response ensembling 等技术，提高了审稿的准确性和可靠性。
这一波是否利好焦头烂额的研究生？评论区说出你的看法😄😄
