牛津大学：AI科学家写论文，每篇仅需15美元
文摘
科技
2024-08-26 17:31
广东
一种名为“AI Scientist”的新型AI系统可以完全自主地进行科学研究，从集思广益到实验再到撰写完整的论文。![]()
哥伦比亚大学、牛津大学和人工智能初创公司 Sakana AI 的研究人员开发了一种能够独立进行科学研究的人工智能系统。该系统名为“AI Scientist”，可以产生新的研究想法、编写代码、进行实验、可视化结果，甚至撰写完整的科学论文。该流程的工作原理如下：首先，基于研究方向和简单的代码框架，AI 科学家会产生新的想法。通过在科学数据库中搜索类似的工作来检查这些想法是否新颖。然后将有前途的想法用代码实现，并自动运行实验。![]()
接下来，系统将结果可视化，并以典型会议论文的风格撰写完整的论文，描述和解释结果并将其置于研究背景中。最后，AI 科学家进行模拟同行评审过程以评估论文的质量。该团队通过让 AI Scientist 从事机器学习的三个领域来演示该方法：扩散模型、基于转换器的语言模型和 Grokking。对于每个领域，该系统都会以每篇不到 15 美元的成本生成一篇完整的论文。为了评估生成的论文，研究人员基于大型语言模型开发了一个自动审阅器。在测试中，AI 审阅器在评估提交内容方面的表现堪比人类。据 AI 审阅器称，《AI Scientist》撰写的一些论文超过了顶级机器学习会议的接受门槛。人工智能科学家目前提供的是建议，而不是真正的科学
然而，目前 AI Scientist 存在几个重大限制。自动审阅器无法向作者提问，也无法解释图表。创意生成通常会在不同的运行和模型中产生非常相似的提案。创意的实施经常会失败或实施不正确。由于实验数量有限，结果通常缺乏 ML 社区中典型的深度和准确性。AI Scientist 还在视觉方面遇到困难，例如难以辨认的图表或不理想的页面布局。其他弱点与引用实践和对结果的正确解释有关。人工智能科学家很难找到和引用最相关的来源。在评估结果时，偶尔会出现严重错误，例如在比较数值或考虑改变的指标时。在极少数情况下，整个结果甚至都是幻觉。因此，作者建议不要从表面上看待生成的论文的科学内容。相反，这些论文应该被视为专家可以进一步研究的有前途的想法的建议。AI 科学家有很多缺点，但这仍然是一个有趣的未来愿景，其中机器可以独立进行研究并取得科学突破。一些当前的问题可以通过多模态模型解决，而其他问题则需要更强大的模型，可以更好地得出逻辑结论。然后可以将这些模型集成到开发人员的框架中。研究人员认为他们的系统是机器学习领域科学发现新时代的开始。人工智能系统很快就会接管整个人工智能开发的研究过程。
![]()
