期刊影响因子（Journal Impact Factors）是目前最常用的衡量期刊质量的指标。尽管它应用广泛，但也存在一些争议。批评之一是，期刊的引用表现主要反映了学术影响力，而无法体现期刊质量的其他关键维度，如社会影响、研究严谨性和原创性等。
已有初步证据表明，ChatGPT可以按照英国卓越研究框架（REF）专家评估指南对期刊文章的质量做出合理准确的估计（Thelwall & Yaghi, 2024）。
那么，是否可以为期刊设计一种基于所有质量维度的自动化评估指标，借助大语言模型来评估期刊的整体质量呢？
JDIS最新的文章介绍了期刊质量因子（Journal Quality Factors, JQFs），该因子定义为基于给定年份内期刊文章的平均质量评分，质量评分由ChatGPT依据REF标准，根据文章的题目和摘要进行评定。文章以Scopus数据库中的1300本较大规模单学科期刊为数据来源，比较了JQFs与这些期刊的引用率、国家期刊排名分数（参考波兰、芬兰和挪威的期刊排名）。
结论显示，在样本期刊所涉及的25个广泛领域中，JQFs与24个领域的期刊排名呈正相关且相关性很强，表明ChatGPT在评估期刊质量方面具有广泛的科学适用性。作者也分析了JQFs与国家期刊排名分数出入较大的期刊，发现摘要的风格可能会影响评估结果，例如是否提及研究的社会背景。
文章指出，在一些引用表现无法作为强有力质量指标的领域，例如数学，JQFs将有特别的应用价值。
图1. 波兰、芬兰和挪威期刊排名与期刊质量因子（JQFs）或期刊引用率（JCRs）之间的中位数相关性（不包括多学科和决策科学领域）。每个领域最多包含100本单学科期刊，每本期刊随机抽取100篇文章。误差线表示95%置信区间。
图2. 波兰、芬兰和挪威期刊排名与期刊质量因子（JQFs）之间的相关性（不包括多学科和决策科学领域）。每个领域最多包含100本单学科期刊（具体数量标注在柱状图旁），每本期刊随机抽取100篇文章。
图4. 期刊质量因子（JQFs）与期刊引用率（JCRs）之间的相关性（不包括多学科和决策科学领域）。每个领域最多包含100本单学科期刊，每本期刊随机抽取100篇文章。柱状图上的数字代表该领域的期刊数量。误差线表示95%置信区间。
延伸阅读：
Teddy Lazebnik, Ariel Rosenfeld
Can ChatGPT evaluate research quality?
Mike Thelwall
Mike Thelwall
如果有相关的研究或观点发表，欢迎投稿！
