在科学探索的浩瀚征途中，人工智能（AI）正逐渐成为一股不可忽视的力量，推动着研究边界的不断拓展。特别是在面对复杂且数据密集型的科研问题时，AI的介入为实现全自动化的、开放式的科学发现提供了前所未有的可能，人类甚至可以开发出能够独立进行科学研究并发现新知识的智能体。在这一背景下，不列颠哥伦比亚大学的博士后研究员，携手数位知名学者及新兴热门初创公司Sakana AI的研究团队，共同开展了一项开创性研究项目。发表了论文：《The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery》。论文中提出了一种全新的框架，旨在实现科学研究的全自动化，从而极大地加速科学发现的进程。通过他们的努力，我们有望见证一个全新的科研范式的诞生，即“AI科学家”（The AI Scientist）能够自主、高效地探索未知，为人类的知识宝库增添新的篇章。
https://arxiv.org/pdf/2408.06292
研究背景与动机
现代科学研究依赖于复杂的实验设计、数据分析以及理论验证。然而，这一过程不仅耗时耗力，还需要科研人员具备深厚的专业知识和丰富的经验。随着人工智能技术的飞速发展，特别是大型语言模型（LLMs）的崛起，科学家们开始探索利用AI来辅助甚至替代部分科学研究工作的可能性。“AI科学家”项目正是这一探索的重要代表。
“AI科学家”的核心框架
核心框架包括三个主要阶段：创意生成、实验迭代和论文撰写。每个阶段都充分利用了大型语言模型和先进的自动化工具，以实现科学研究的全流程自动化。
“AI科学家”的概念图示，这是一个由LLM驱动的端到端科学发现过程。“AI科学家”首先发明并评估一组想法的新颖性。然后，它确定如何测试这些假设，包括通过编辑由自动代码生成的最新进展所支持的代码库来编写必要的代码。之后，自动执行实验以收集一组由数值分数和视觉摘要（例如图表或表格）组成的结果。这些结果阐述、解释和总结在LaTeX报告中。最后，“AI科学家”根据标准机器学习会议的当前实践生成自动化评审。该评审可用于改进项目或作为未来开放式科学发现的反馈。
创意生成：
“AI科学家”从给定的研究主题出发，通过迭代地生成和评估新的研究创意。这一过程受到进化计算和开放式探索的启发，利用大型语言模型作为变异算子，不断生成和评估新的研究方向。
通过连接大型语言模型与语义学者（Semantic Scholar）API，“AI科学家”能够检查每个创意的新颖性，并丢弃与现有文献过于相似的想法。
这一阶段，“AI科学家”展现出了令人惊讶的创意生成能力，尽管有时也会产生一些不切实际的想法。
实验迭代：
一旦确定了研究创意，“AI科学家”将利用Aider等自动化编码助手来设计和执行实验。Aider是一个能够根据语言模型的指令自动修改代码、修复错误和重构现有代码库的先进工具。
“AI科学家”通过迭代实验，不断调整实验参数和代码实现，以收集实验数据并进行分析。每个实验的结果都会被记录下来，作为后续论文撰写的基础。
在实验过程中，“AI科学家”也展现出了对实验结果的初步理解和分析能力，尽管有时也会误解结果。
论文撰写：
在完成实验后，“AI科学家”将实验结果整理成标准的科学论文格式。这一过程涉及多个步骤，包括编写引言、背景、方法、实验设置、结果和结论等部分。
“AI科学家”还通过语义学者API搜索相关文献，以编写“相关工作”部分，并引用其他研究来支持其发现。
然而，论文撰写对“AI科学家”来说仍然是一个挑战。尽管它能够生成论文的各个部分，但很难写出一篇连贯的9页论文来解释其结果。研究人员因此将这个过程分为许多步骤，并对照其他部分检查每个部分，以清除重复和相互矛盾的信息。
值得注意的是，“AI科学家”在论文撰写过程中有时会编造一些技术术语或数字，尽管研究人员尽了最大努力保持诚实。这一问题目前仍在研究中，以寻找有效的解决方案。
实验与结果
论文中展示了“AI科学家”在机器学习领域的三个子领域（扩散建模、基于转换器的语言建模和学习动态）中的应用。通过运行数百次实验，“AI科学家”能够以极低的成本（每篇论文约15美元）生成高质量的研究论文。实验结果表明，“AI科学家”生成的论文不仅在数量上令人印象深刻，而且在质量上也达到了相当高的水平。一些生成的论文甚至在某些指标上超过了人类撰写的论文。
此外，“AI科学家”还引入了一个基于LLM的自动评审系统（和前面的核心框架配合），该系统在评估论文质量方面表现出接近人类的性能。这一系统为研究人员提供了一种快速、客观的评估手段，有助于指导下一轮实验和论文的改进。
“AI for Science”热潮与批评
“AI科学家”项目正是“AI for Science”（AI4S）热潮的一部分。这股热潮始于2020年，当时Google DeepMind推出了AlphaFold，一个以前所未有的准确性预测蛋白质3D结构的人工智能系统。自那时以来，更多的大企业参与者已经加入其中，推动了AI在科学研究中的广泛应用。
然而，这场运动也面临着批评。一些科学家认为，尽管AI能够快速生成大量结果，但这些结果可能并没有实际价值。例如，在2023年Google DeepMind的一篇论文中，尽管声称发现了220万种新的晶体结构，但后续的分析发现这些结果缺乏新颖性、可信度和实用性。
对于“AI科学家”项目，一些批评者也提出了类似的担忧。他们认为，将AI产品视为自主研究人员可能会将研究范围缩小到适合AI的问题，并失去推动真正创新的多元化观点。此外，他们还担心AI在论文撰写过程中可能会编造数据或误解结果，从而影响科学研究的准确性和可信度。
未来展望
尽管面临着诸多挑战和批评，但“AI科学家”项目仍然展现出了巨大的潜力和前景。研究人员计划继续训练“AI科学家”，提高其性能和准确性，并探索将其应用于其他科学领域的可能性。例如，生物学、物理学以及量子计算和材料科学等领域都可能成为“AI科学家”未来发挥作用的舞台。
此外，随着大型语言模型和自动化工具的不断进步，“AI科学家”有望实现更广泛的科学发现。研究团队设想将“AI科学家”与云机器人等先进技术结合，实现实体实验的自动化。这将进一步推动科学研究的自动化和智能化进程。未来，让我们拭目以待吧，不管如何，AI已经不是传统意义上的工具，人类应该要学习如何使用AI、与AI协同，甚至和AI相处了。
延伸阅读：
