张军平：在人工智能顶会的评审里，似乎有人在用AI评审，组委会也会提醒评审注意。

Maria Machado：在查重环节，许多工具依赖AI进行文本识别，表现非常成功，得到了出版商和高等教育机构的信任。

Maryam Sayab: 是的，同行评审已有AI引入实例，尽管我们仍在探索AI的全部潜力。AI工具正越来越多地用于协助完成查重、分析统计数据，甚至识别利益冲突或道德问题等任务。一些平台已开始使用AI来标记重复投稿，或提供初步评审，帮助编辑标记优先稿件的优先级。评估这些AI工具的关键指标是它们对审稿人的补充作用，而非取代审稿人。

AI可以快速、准确地处理重复耗时的任务，但衡量其成功与否的标准是，它是否有助于提高审稿流程的整体质量和公平性；能否发现人工审核可能会遗漏的问题；处理大量数据的效率如何；以及是否能在不引入偏见的情况下加强决策能力。

我们的最终目标是确保AI工具在同行评审过程中发挥重要的辅助作用，提高透明度、效率和一致性，同时保持必要的人工监督，以保持较高的学术标准。

Gareth Dyke：不完全是，但有一些很有前景的应用，如World Brain Trust，还有像意得辑旗下产品Paperpal，被用于稿件提交前的检查，也是AI在学术出版领域的一个有益尝试。

Maria Machado：AI工具可用于扫描文献、分析主题并发现研究空白，还可帮助查找相关论文、检查是否遵守指南以及编写或编辑审稿报告。

Maryam Sayab: AI工具越来越多地被用于同行评审中，通过简化耗时的评审任务达到优化流程的目的。这些工具可完成以下任务：匹配并找到合适的审稿人，初步筛选涉及抄袭和图像处理的稿件，识别潜在的利益冲突，甚至评估稿件的清晰度和可读性等。

然而，虽然AI可以判断文章技术合理性或结构，但对创新性和可行性的评估仍然在很大程度上依赖于专业同行的判断。AI可以提供协助，但对一篇论文是否真正推动了知识的边界或提供了实际解决方案，是否富有创造性和批判性的评估仍然牢牢掌握在有经验的评审者手中，这对于学术诚信和发展至关重要。AI应被视为对同行评审者带来细致判断的补充，而不是替代。

Gareth Dyke：我会使用AI工具检查文章，但不会进行全面的同行评审。同样，我会使用AI工具来检查和评估文章的某些部分，如统计数据和语言表达上，但不是全部依赖。

陈哲：我认为AI可以检测重复、总结文献、发现这种材料有没有报道，但核心的创新性，仍需人类智慧进行判断。

张军平：目前最理想的方法是采用人机结合的方式。考虑到大多数审稿工作是由志愿者承担，如果审稿压力过大，人工智能只可作为一个参考。如果完全依赖AI评审，那么被评审的论文质量可能不会太高。

Maria Machado：应将AI作为辅助判断的工具，而非依赖它来进行最终评估。在高度结构化并依赖报告指南的领域，AI工具可能会承担检查合规性等繁琐任务，从而解放人类评审员的精力。这样，评审员可以更专注于评估论文的原创性、现实世界的影响以及创新潜力，从而确保评审的全面性和深度。

虽然AI工具可以帮助确保文档内部的一致性，但涉及文档外部的语境或现实世界的知识时，AI可能会出现理解不足的情况。例如，有一篇博客提到AI无法识别一篇明显有缺陷的论文设计，该论文只是将“男性”替换为“鸽子”，将“女性”替换为“人类”，比较“人类外科医生”和“鸽子外科医生”，而AI没有发现其中的荒谬之处。因此，涉及复杂语境理解的论文，可能在使用AI评估时会存在较大误差。

Maryam Sayab：如果AI在评估稿件质量时出现错误，就必须让人类评审介入，发挥经验，提供研究背景。AI工具可以很好地处理常规任务，但它们缺乏人类专业知识所带来的细致入微的理解。为了减少错误，应将AI作为辅助工具，而不是最终决策者，并确保在评估研究质量等关键领域始终有人工监督。

如果发现错误，应仔细检查AI的输出结果，纠正问题，并完善工具参数，以提高准确性，AI工具的目的是让审稿人（主要是编辑）能够快速完成繁重的工作。AI的建设性用法是让它帮助你，节省时间，而最终的判断分析则始终由审稿人完成。

如果没有适当的语境理解，AI在评估研究质量时可能会出错，特别是对于那些严重依赖于微妙理解的论文。与其他情况相比，这种错误判断的风险更高。

Gareth Dyke：我们需要谨慎使用人工智能工具。这就是为什么将人工智能与自己的专业知识结合起来使用很重要，而不是将它作为替代自己的工作和技能的手段。他们将会进入更多咨询/检查/最终决策的角色……

张军平：AI可以进行基本判断，但是否合理主要看人类评审自己的经验。所以，辅助使用没什么问题，不能完全照抄。

Maria Machado：正如所有AI应用一样，最终的责任仍在于人类，审稿的关键在于评审者。评审者的职责是确保评审的完整性、准确性，并遵守伦理规范。

Maryam Sayab：如果只在某些环节负责任地使用AI，就像我前面提到的初步筛选和审稿人匹配等，一切都会很顺利，完全不会影响审稿的准确性。此外，内容评估部分应由人类审稿人完成，以确保内容质量和新颖性。

Gareth Dyke：我希望如此，人工智能是用来检查和验证的，而不是同行评审的核心内容。同行评审应该由你所在领域的顶尖研究人员根据观点进行评审。

陈哲：我了解到审稿的环节并没有很多人工智能参与，还是编辑评价决定。

Maryam Sayab：面临的挑战包括：

• 人们对于变革天然产生的犹豫和抵触情绪。

• 新技术需要花费时间和金钱，这就需要机构持续提供支持，让审稿人感到安心。

• 对于AI工具的可靠性存在担忧，即它们是否能够真正保障评审的质量和诚信。 

Gareth Dyke：我认为，研究人员乐于看到自己的论文由AI润色，甚至部分由AI撰写，但他们似乎并不乐意看到自己的工作由AI进行同行评审。

Maria Machado：用户体验在其中扮演着重要角色。技术越先进，使用体验最好越直观，新技术的采用才能越顺利。不断适应、寻求和采纳反馈意见，适应出版业不断变化的形势，是一项长期而艰巨的任务，学术机构要努力，出版商要助力提供专门的支持。上一次大学出版社对自己所在机构的研究人员进行同行评审培训是什么时候？培训结果有如何？

Maryam Sayab：为编辑和审稿人提供支持是在数字化转型中站稳脚跟的必要条件。机构和出版商可以通过以下方式提供支持：

• 提供培训

• 提供持续的技术支持

• 鼓励采用新工具

• 审稿人参与技术的开发和测试。

Maria Machado：我最近了解到 Razia Aliani 开发的同行评审 GPT，这是我迄今为止见过的最复杂的AI工具。它确实可以帮助研究人员按照编辑标准针对性修改稿件......不过，我对批判性推理、发散性思维、创造力和真正的创新性还不太确定......

Maryam Sayab：同行评审领域最令我兴奋的技术进步是AI驱动工具，这些工具正在改变同行评审流程，例如，它们能够快速识别潜在的抄袭或图片篡改情况。展望未来，我认为这些工具未来将会成为不可或缺的存在，它们将加快同行评审的进程，并提高同行评审的整体质量。

Gareth Dyke：目前，同行评审是一个很简陋的流程，它的运行都是基于编辑邀请的评审人的专业知识展开的，技术含量并不高。因此，无论是从期刊和编辑的角度，还是从被邀请评审的研究人员的角度来看，都有很大的改进空间。

不过我想说的是，无论我们引入多少技术，同行评审的核心仍是研究人员的专业知识。我希望看到技术能够减轻每个人的负担，而不是试图取代同行评审员本身。

因此，AI工具在送交同行评审员之前进行初筛是非常有用的，例如，润色、查重、检查数字一致性和篡改问题，甚至是数据检查，诸如此类，已经得到广泛应用，并能够减轻同行评审的负担。尤其是对于那些母语不是英语的评审来说，这些工具能够用其他语言对论文进行总结，甚至允许用其他语言进行同行评审，然后再用英语提交给作者。

我希望看到这些工具塑造未来，让同行评审变得更快、更容易，同时确保诚实可信——让“坏人”更难玩弄这个系统......确保发表研究成果的最终质量。

在科技的浪潮中，尽管AI的触角不断延伸，但对于同行评审来说，人类专家的深度与温度仍然是学术评价中不可或缺的存在。

更多相关阅读推荐

怎么看待越来越多的“科研外包”现象？

导师太忙，都是二导在带学生，该咋办？

今日视频推荐

就现在！添加客服微信

即送“200元服务优惠券”👇