大卫·帕特森是2017年图灵奖（计算机领域诺贝尔奖）获得者，他在顶级会议上发表的文章数目并不多。如果大卫·帕特森教授是个青椒（青年教师的俗称），他的命运会怎么样？做个不太恰当的假设，如果他在中国申请项目，他能竞争过奥纳尔·穆特鲁（Onur Mutlu）教授吗？奥纳尔·穆特鲁教授在计算机贡献排行榜CSRankings体系结构领域排名第一，一共发表了117篇顶级会议论文。
计算机贡献排行榜CSRankings在美国也很流行，排名依据是顶级会议上发表的论文数。然而，公认对计算机行业贡献很大的大卫·帕特森教授榜上无名。大卫·帕特森教授开创性的重大贡献包括： （1）精简指令集(RISC)，最近在中国特别流行的RISC-V是他的最新贡献 ，（2）存储主流技术：磁盘阵列，和（3）高性能计算机主流架构：计算机集群等。
大卫·帕特森教授
计算机贡献排行榜CSRankings正在失去民心。。。许多网友对此排名提出了质疑。
“计算机贡献排行榜CSRankings似乎完全以论文数为依据，因此我猜它会自动给那些教师人数相对较少的学校带来不利。因此，我不确定它是否非常权威”
国际上还有不少其他的科学家榜单。爱斯维尔发布的高引科学家榜单遴选全球有重大影响的顶尖人才。2023年，中国科学院在高引科学家榜单中位列机构第一，可是为什么我们还有那么多技术被美国卡脖子？
上图为爱斯维尔2023年高引用机构榜
中美科技竞争加剧。科技评价是指挥棒，关系科技发展全局
已有科学家榜单的排名主要依据：（1）数论文数，计算每个研究人员和机构发表论文的数量；（2）数引用量，计算每篇论文有多少论文提到它。这些方法有一个高大上的名字：文献计量学。这些广泛使用的科技评价方法是否经得起仔细推敲？
国际测试委员会(BenchCouncil)在最新的报告里指出了文献计量学的三大”缺陷”，并对文献计量学方法进行了灵魂的拷问。
论文数和引用量会受到多种因素的影响，甚至是人为操纵。
“更强大的人际关系、更频繁地引用自己的论文，在更成熟的领域发表成果，都会提升引用量。”
研究人员可能会通过更强大的人际关系，多次引用自己的论文，使引用数据变得光鲜，这样的事例屡见不鲜，一定程度上导致了排名的不公正。
忽视其他重要指标
“没有正式发表过论文的科技成果，无法用论文数和引用量来评价其影响力。”
例如：
MySQL——最流行的开源关系型数据库管理系统。
Linux内核——芬兰软件工程师林纳斯·托瓦兹于1991年创立的操作系统内核，其开源性、灵活性和稳定性使其统治了几乎从移动设备到主机的其他全部领域。
印刷电路板——用于支持和连接电子元器件的基础组件，是现代电子制造中必不可少的组成部分。
计算机鼠标——计算机诞生50年来最重大发明之一。
重数量，轻质量
“发表文章多、热点的领域更受榜单偏爱？”
低质量、数量多的出版物，它们总的引用次数可能超过那些高质量但数量少的出版物。同时，热门的领域（例如大语言模型）会使引用量偏高。但更合乎逻辑的做法是，评价科技成果本身应基于对成果重要性、严谨性和原创性的考察。
从文献计量学方法的框框里跳出来，国际测试委员会对科技的评价更关注成果本身，基于评价学(Evaluatology)理论形成了一套全新的科技评价学方法，放眼全球，只以贡献论英雄。
简单来说，国际测试委员会提出的科技评价学就是将一棵枝繁叶茂的树（领域内所有成果）剪枝，只剩下树的主干（领域内最关键的科技成果）。
下面以芯片领域为例来介绍国际测试委员会提出的科技评价学。请看以下视频。
国际测试委员会将于2024年12月4日-6日在广州举办国际新兴技术评价大会，大会将发布权威的新兴技术贡献榜(ETRanking)。
请扫描下方二维码或链接注册参会，期待在广州与您相见！
本文是国际测试委员会最近发布的科技评价方法学的通俗解读。了解更多内容，请阅读原文：
Guoxin Kang, Wanling Gao, Lei Wang, Chunjie Luo, Hainan Ye, Qian He, Shaopeng Dai, Jianfeng Zhan. (2024). Could Bibliometrics Reveal Top Science and Technology Achievements and Researchers? The Case for Evaluatology-based Science and Technology Evaluation. arXiv preprint arXiv:2408.12158.
