国际上有不少顶尖科学家榜单,对有重大贡献的人才进行排名。爱斯维尔发布的高引科学家榜单遴选全球有重大影响的顶尖人才。2023年,中国科学院在高引科学家榜单中位列机构第一,可是为什么我们还有那么多技术被美国卡脖子?
上图为爱斯维尔2023年高引用机构榜
中美科技竞争加剧。科技评价是指挥棒,关系科技发展全局
计算机贡献排行榜CSRankings在美国也很流行,然而,公认对计算机行业贡献很大的大卫·帕特森教授却榜上无名。大卫·帕特森是2017年图灵奖(计算机领域诺贝尔奖)获得者,开创性的重大贡献包括: (1)精简指令集(RISC),最近在中国特别流行的RISC-V是他的最新贡献 ,(2)存储主流技术:磁盘阵列,和(3)高性能计算机主流架构:计算机集群等。
大卫·帕特森教授
计算机贡献排行榜CSRankings正在失去民心。。。许多网友对此排名提出了质疑。
“计算机贡献排行榜CSRankings似乎完全以论文数为依据,因此我猜它会自动给那些教师人数相对较少的学校带来不利。因此,我不确定它是否非常权威”
这些顶尖科学家榜单的排名主要依据:(1)数论文数,计算每个研究人员和机构发表论文的数量;(2)数引用量,计算每篇论文有多少论文提到它。这些方法有一个高大上的名字:文献计量学。这些广泛使用的科技评价方法是否经得起仔细推敲?
国际测试委员会(BenchCouncil)在最新的报告里指出了文献计量学的三大”缺陷”,并对文献计量学方法进行了灵魂的拷问。
论文数和引用量会受到多种因素的影响,甚至是人为操纵
“更强大的人际关系、更频繁地引用自己的论文,在更成熟的领域发表成果,都会提升引用量。”
研究人员可通过更强大的人际关系,或者多次引用自己的论文,使引用数据变得光鲜。这样的事例屡见不鲜。
用文献引用量对成果进行排名,对成熟领域的科学家更为友好,斯坦福大学和爱斯维尔数据库编制了一份“顶级科学家”榜单。
下图为不同学科中入选全球前 2% 的科学家人数的比较。点越靠近外围,意味着领域内有更多人入围。
来自临床医学、物理学等已成熟领域的科学家上榜数远大于其他新兴领域。
忽视其他重要指标
“没有正式发表过论文的成果,无法用论文数和引用量来评价其影响力。”
例如:
MySQL——最流行的开源关系型数据库管理系统
Linux内核——芬兰软件工程师林纳斯·托瓦兹于1991年创立的操作系统内核,其开源性、灵活性和稳定性使其统治了几乎从移动设备到主机的全部领域。
印刷电路板——用于支持和连接电子元器件的基础组件,是现代电子制造中必不可少的组成部分。
计算机鼠标——计算机诞生50年来最重大发明之一。
以上列举的都是在芯片、开源系统领域有重大影响的成果,但是,他们没有正式发表过论文,当然也没有引用量!既然不能以数量来衡量它们的贡献,就应该提出一种更科学、公正的评价方法。
重数量轻质量
“发表文章多、热门领域更受榜单偏爱?”
质量低、数量多的出版物,它们总的引用次数可能超过那些质量高但数量少的出版物。同时,热门的领域(例如大语言模型)会使引用量偏高。但更合乎逻辑的做法是,评价科技成果本身应基于对成果重要性、严谨性和原创性的考察。
从文献计量学方法的框框里跳出来,国际测试委员会对科技的评价更关注成果本身,基于评价科学与工程理论形成了一套全新的科技评价学方法,放眼全球,只以贡献论英雄。
简单来说,国际测试委员会提出的科技评价学就是将一棵枝繁叶茂的树(包括所有成果)剪枝,只剩下树的主干:最关键的科技成果。
下面以芯片领域为例来介绍国际测试委员会提出的科技评价学。请观看视频。
2023年,国际测试委员会在三亚举办会议,发布了开源、人工智能、芯片、基准测试与评价四大全球贡献榜(Top100),榜单引起国际权威专家热议!
Chip100发布了芯片领域 100 项最重要的成果,贡献最大的五名科学家和工程师如下:
Chip 100 榜单
冯诺依曼-代表作:冯诺依曼架构
莫里斯·威尔克斯-代表作:存储程序计算机
弗雷德里克·布鲁克斯-代表作:指令集架构
大卫·帕特森-代表作:精简指令集计算机
吉恩·阿姆达尔-代表作:复杂指令系统计算机
国际测试委员会发布的Chip100榜单更看重成果本身,和计算机贡献排行榜CSRankings差别很大。
计算机贡献排行榜CSRankings排名依据是顶级会议上发表的论文数。例如排第一的奥纳尔·穆特鲁(Onur Mutlu)教授,累计发表了117篇顶级会议论文。BenchCouncil无意冒犯榜单上的科学家,这里不再提及其他科学家的名字。
国际测试委员会将于2024年12月4日-6日在广州举办国际新兴技术评价大会,大会将发布权威的新兴技术Top500全球贡献榜(ETRanking)。
ETRanking是国际测试委员会发起的一个雄心勃勃的计划,目标是确定每个新兴技术领域内排名前500位的先驱者和机构。
本年度大会首先聚焦22个新兴技术领域。
大模型
具身智能
基因编辑治疗
商业航空
全球变暖缓解技术
医学大模型
RISC-V生态
算力网
AI for Science
芯片设计自动化
人工智能生成内容
行业大模型
低空经济
自动驾驶
医疗机器人
基因编辑治疗
Chiplet技术
Exascale超级计算机
去中心化等新型社交平台
个性化医疗
Blockchain Beyond Crypto
脑机接口
欢迎企业、研究机构和研究人员提交成果。
每一个研究人员提交成果,皆可收录新兴技术贡献榜数据库ETRanking。
在主论坛颁发国际测试委员会签署的成果证书。
并有机会入选国际测试委员会出版的新兴技术丛书(英文,开放获取)。
提交科技成果,请访问新兴技术Top500全球贡献榜(ETRanking)官方网站:
https://www.benchcouncil.org/etranking/cn.html#Submission
基本的成果评价不收取任何费用,只需要注册会议。一个成果需要一个会议注册。
不提交成果,也欢迎注册参会。
有意在主论坛发表VIP演讲,有意成为新兴技术丛书(国际出版)的主编或者副主编,请联系戴嘉慧。
联络人:戴嘉慧
微信号:djh-BenchCouncil
提交成果,只需要使用国际测试委员会提出的九层评价条件描述成果,并且提交支撑材料。以下给出了两个简单的示例。
请扫描下方二维码或链接注册参会,期待在广州与您相见!
国际顶尖专家对国际测试委员会Top100榜单的评论
Jurgen Schmidhuber(AI顶级专家,马斯克称他发明了深度学习的一切)在2023年三亚会议上做了演讲,并且发表犀利观点:
图灵测试应该称为笛卡尔测试(Descartes Test)。
在LeCun(2018年获图灵奖)之前,日本人工智能先驱福岛(Fukushima)已于1979年发布了基本的CNN架构。
1972年,甘利俊-( Shun-Ichi Amari)将Lenz-lsing循环架构改进为自适应的形式,改变连接权重来学习,将输入模式与输出模式关联起来。这后来被称为Hopfield网络,但是Hopfleld(1986年获得图灵奖)在10年后才发表了这个成果,并没有引用甘利俊一的工作!
最早的深度学习的工作出现在乌克兰,而不是别的地方。1965年,乌克兰的学者AlexeyIvakhnenko和Valentin Lapa引入了第一个通用且有效的深度多层感知器(MLP)的学习算法,可以包含任意多个隐藏层(已经包含了现在流行的乘法门)。1971年的一篇论文已经描述了一个具有8层的深度学习网络,这些方法即使在现在仍然被广泛使用。东欧地区诞生了许多机器学习领域的先驱工作。
Bruce Perens (开源软件概念提出者),在2023年三亚会议上做了演讲
Debian组织值得在榜单中提及,因为现代Linux发行版的架构都源自它。
嵌入式系统领域的内容在榜单中较少,对于 Linux 和基于 BSD 的系统来说,这是一个非常广泛的领域,它们存在于数十亿台设备中。在这方面,我是Busybox的创建者。后续开发者进行了大量工作,还创建了uClibC和buildroot。
此外,在OpenSSL方面,Eric A Young在SSLEay上的工作被遗漏,而OpenSSL是从它派生出来的。这些贡献和领域都值得考虑。
Steve Furber (ARM技术创始人),在2023年三亚会议上做了演讲
20世纪80年代的ARM开发工作,是Sophie Wilson和我领导的团队在Acorn Computers Limited进行,初始名称为“Acorn RISC Machine”,后改为Advanced RISC Machines。建议将榜单中的“Advanced RIsC Machines”改为“Acorn Computers“。
在“芯片百年贡献榜”中,虽然Sophie Wilson和我曾是剑桥大学的学生,但在ARM开发期间,我们都是Acorn Computers的员工,建议将“剑桥大学”更正为“Acorn Computers” Steve Furber (ARM技术创始人)。
此外,曼彻斯特大学在计算机发展中做出了重要贡献,包括世界上第一台操作存储程序计算机“Baby”机器和虚拟内存的发明。这些贡献获得了IEEE里程碑奖的认可。从英国的角度看,曼彻斯特的贡献应当与剑桥一样重要。
Mark J Cox (Apache软件基金会),在2023年三亚会议上做了演讲
榜单中只列出了1999年创立Apache软件基金会的3个人,但实际上最初有大约25人参与了创立(包括我),因此仅突出3个人不太合适。另外,这些成员来自不同的国家(尽管该基金会是在美国成立的)。
到了2004年,Apache软件基金会规模更大,将其归功于个人会更加不妥,也许称之为“Apache软件基金会”更为合适。
我注意到您已将OpenSSL更新为“Germany, UK”这是准确的。
本文是国际测试委员会最近发布的科技评价方法学的通俗解读。了解更多内容,请阅读原文:
Guoxin Kang, Wanling Gao, Lei Wang, Chunjie Luo, Hainan Ye, Qian He, Shaopeng Dai, Jianfeng Zhan. (2024). Could Bibliometrics Reveal Top Science and Technology Achievements and Researchers? The Case for Evaluatology-based Science and Technology Evaluation. arXiv preprint arXiv:2408.12158.