自引到底是推动学术发展的工具,还是容易被滥用的手段?
泰晤士高等教育数据总监David Watkins用实例解读自引背后的争议,并揭秘如何通过创新的“研究影响力”指标,让学术评价更科学、更公正。
泰晤士高等教育数据总监David Watkins探讨了学术研究中的自引现象,指出尽管过度自引问题值得关注,但完全禁止自引并非明智之举。
克莱夫·辛克莱爵士(Sir Clive Sinclair)是我一生中未曾谋面却深刻影响我的两个人之一。他发明了英国第一批面向大众市场的家用计算机以及其他创新产品。我对ZX81和ZX Spectrum充满了无尽的好奇,并因此自学编程(如果您感兴趣,是BASIC和Z80语言),这最终促成了我攻读计算机科学学位,并开启了我对编程的终身热爱。
另一位是被誉为“人工智能教父”的诺贝尔奖得主杰弗里·辛顿(Geoffrey Hinton)。他与David Rumelhart和Ronald Williams共同撰写的1986年论文《通过反向传播误差学习表示》让我对人工智能和神经网络产生了浓厚兴趣。1991年,我的大学毕业项目基于这篇论文设计了一套神经网络系统。当时的同学们认为我异想天开,但这一研究直接奠定了我30多年的数据与人工智能职业生涯。
辛顿教授这篇奠基性的论文仅引用了四篇文献,其中一篇是由他与Rumelhart及Williams共同撰写的《探索认知的微观结构》,也就是一次自引。
在泰晤士高等教育,我们有时会听到建议,认为在衡量全球大学研究质量时应完全剔除所有自引。然而,这种做法过于简单化。
问题在于,辛顿、Rumelhart和Williams的在论文中自引是否合理?
我认为答案是肯定的。无论是阿尔伯特·爱因斯坦、玛丽·居里、尼尔斯·玻尔,还是理查德·费曼、詹姆斯·沃森与弗朗西斯·克里克,以及斯蒂芬·霍金,他们都曾自引。
考虑到这些科学家的开创性发现,很难否认这些自引的合理性。事实上,根据近期一篇研究,自引率高通常与那些发表范围广、影响力异常巨大的作者相关。
当然,这并不意味着所有的自引都具有价值。在研究论文中,确实存在一些机会主义的自引。
同样,也存在作者之间互相引用,仅仅是为了增加引用次数的现象。
在世界的某些地区,确实有证据表明有人试图操控文献计量数据,而这通常是出于个人利益而非机构利益。
在评估中,我们始终保持警惕,并定期审查相关指标,以尽量避免激励不良行为或奖励不当实践。
我们的合作伙伴爱思唯尔(Elsevier)对期刊质量进行严格审核,一旦发现涉嫌不良行为(如“付费发表”现象)的期刊,会立即暂停其资格。这些期刊中的研究成果不会纳入我们的任何研究指标评估中。
两年前,为了更全面地评估研究影响力,我们的首席数据科学家Billy Wong创建了一项名为“研究影响力”(Research Influence)的衡量指标。它不仅关注论文的直接引用,还考察引用这篇论文的其他论文是如何被再次引用的,并递归向前延伸。
这种方法涉及组合复杂性,因此Billy采用了PageRank迭代算法的一种变体(最初由谷歌搜索使用),以识别对学术领域真正有影响力的论文,同时筛除那些对相关领域影响微乎其微的论文。
下图展示了这一过程的原理:两篇论文都获得了三个直接引用,但显然左边的论文在其领域内更具影响力。
我们对论文样本进行了分析,以验证“研究影响力”方法的有效性。
分析结果表明,备受推崇的论文得分普遍较高;而那些作者之间互相引用但未被其他人引用的论文,其研究影响力得分则非常低。进一步证明了我的观点,一些极具影响力的研究论文会在作者后续的研究中被再次引用。
我们始终致力于研究和分析,以不断优化排名方法。例如,目前我们正在审查研究质量指标,探索通过调整权重来呈现更为平衡的视角。
此外,我们也持续寻找方法,识别并修正数据中的问题。例如,最近我们在声誉调查中成功检测并纠正了一起投票联盟现象。
正是依靠这样的持续改进,我们的排名才能保持其价值,继续服务于大学、学生、学者、政府和雇主等各方的需求。否则,排名体系将逐渐失去其作用。
如果没有克莱夫爵士和诺贝尔奖得主辛顿,我会如何呢?我不敢想象。 想了解更多关于泰晤士高等教育和联系相关工作人员,可点击此处。