编辑 | ScienceAI
由上海人工智能实验室提出的 VirSci(Virtual Scientists)系统是一个基于大语言模型(LLM)的多智能体协作平台,专注于模拟科学家团队的合作过程,从而加速科研创新。
不同于以往的单智能体系统,VirSci 通过使用真实科学家的数据来模拟科学团队的多人协作,不仅可以通过团队成员的合作讨论来生成更具创新性和影响力的科研想法,还展现出作为「科学学」(Science of Science)研究工具的巨大潜力。
该研究以「Two Heads Are Better Than One: A Multi-Agent System Has the Potential to Improve Scientific Idea Generation」为题,于 2024 年 10 月 12 日发布在 arXiv 预印平台。
论文地址:https://arxiv.org/pdf/2410.09403
VirSci 多智能体系统
VirSci 的核心工作流程主要分为五个核心步骤:团队成员选择、研究主题讨论,到 Idea 生成、创新性评估和摘要生成。
VirSci 根据真实学术数据,为每位智能体配备了独立的科研背景信息,通过跨领域的团队合作、相互启发、知识补充,从而激发出更多 Idea。
在科研协作过程中,VirSci 还会基于讨论内容查找并阅读论文来不断调整,最终生成有创新性的科研想法和内容。
VirSci 系统在创新性和影响力上的提升
为了验证 VirSci 在科研创新上的优势,VirSci 研究团队将其生成的科研想法与目前的单智能体 SOTA 模型(AI Scientist)所生成的进行了对比分析。结果显示,VirSci 在创新性和影响力上的表现均显著优于 AI Scientist。
具体而言,VirSci 系统生成的研究摘要在「新颖性(CD)」和「影响力(CI)」两方面均表现突出,既能贴近当前学术趋势(即 CD 低),又具备较高的潜在引用影响力(即 CI 高)。
此外,在 AI Scientist 中提出的基于大语言模型的评价指标(LLM Review Score)上,VirSci 也展现出优势,这说明多智能体协作模式对提升科研创新性具有积极作用。
面向未来的科学学领域应用
VirSci 系统不仅限于加速科研创新,它还展现出在科学学(Science of Science)研究领域中的应用潜力。
研究团队通过实验探究了 VirSci 系统中的团队构成对创新性的影响,研究内容主要包括 VirSci 系统中的不同团队规模、讨论轮次、团队新鲜度和研究多样性对最终生成结果的影响。
在不同团队规模与不同讨论轮数的实验中,为了确保比较的公平性,不同团队构成的实验都在相同的推理消耗下进行比较(总的推理轮数相同)。
实验结果表明,适当的团队规模和讨论轮数能够显著提升创新性。通过对比不同团队规模和不同讨论轮次的实验结果发现,规模适中的团队(8人)在 5 轮讨论后创新性达到最高;而过大的团队规模或过多的讨论轮次可能导致协调困难和创意枯竭,从而降低创新性表现。
在不同团队新鲜度的实验中,团队新鲜度表示团队成员之间存在首次合作的人数比例。实验发现,当团队成员的新鲜度在 50% 时,团队的创新性达到最高,这表明在新旧成员合理混合的情况下,团队能够实现最佳的科研创新表现。
通过保持适度的新鲜度,团队不仅能发挥已有的协作默契,还能在多样化的视角中产生更多新颖想法。
最后,研究团队通过实验考察了 VirSci 系统中团队成员在研究背景上的多样性对结果创新性的影响。
实验显示,4 人团队与 8 人团队分别在 50% 和 75% 的多样性水平时,生成的科研想法展现出较最高的创新性和影响力,这表明适当的学科多样性有助于激发团队成员之间的跨领域互动,从而带来更具影响力的科研成果。
立即体验 VirSci
VirSci 现已开放供科研人士试用。通过这个平台,您将能够体验到一个由智能体团队支持的、充满创造力的科研创新环境。欢迎来自各界的科研人员前来体验 VirSci,感受多智能体协作系统在学术创新加速中的强大潜力!
Github:https://github.com/open-sciencelab/Social_Science
项目网页:https://open-sciencelab.github.io/Social_Science/