点击上方蓝字关注我们
一个夜晚，一位行人正借着路灯的微光寻找遗落的钥匙，他专注地在路灯照亮的一小块区域内仔细搜寻，却忽略了周围虽然黑暗却更广阔的地面。这一幕，恰似人们在寻找信息或审视事物时，常常因为某些显而易见的线索而忽视了其他重要却不易察觉的部分。这便是所谓的“路灯效应”。
学界中似乎也存在着“路灯效应”。开放获取（Open Access, OA）运动正如那盏路灯，使得全球的科研人员无需订阅费用即可获取最新的科研成果，照亮了科研知识传播的道路，使得一大批出版物站在了路灯之下。于是，一个引人深思的问题随之浮现：这些易于获取的OA出版物，是否因此受到了更多的关注与评价？
在科研评价体系中，出版后同行评议（Post-Publication Peer Review, PPPR）扮演着至关重要的角色。相比于传统的同行评议，PPPR在科研成果发表后进行，全球科研人员可以通过在线平台如PubPeer等对研究成果进行讨论、质疑与补充。这种即时、开放的评价机制，无疑为科研成果的公正性与可靠性增添了新的保障。
为了研究“路灯效应”对于OA出版物的影响，来自法国索邦大学的Abdelghani Maddi及其合作者决定深入研究OA出版物在PPPR过程中的表现，力图揭示OA出版物是否真正成为了同行评议的焦点，以及这种评议是否真正做到了公正与全面。
接下来，就让我们一同走进这场同行评议的深度解读，探寻OA出版物在科研评价舞台上的位置，以及“路灯效应”对其产生的微妙影响。
数据与方法
1. 数据
PPPR数据：研究使用了PubPeer平台的数据库，该平台允许研究人员对发表的科研成果进行开放讨论和评论。作者团队从PubPeer平台中收集了被评论的出版物数据，并剔除了受自动评论影响的47,633份出版物，最终获得51,882份数据。
OpenAlex数据：研究还使用了OpenAlex数据库，这是一个综合性的学术出版物数据库，涵盖了各种学科的出版物信息。作者团队从OpenAlex数据库中提取的253,222篇出版物信息，包括期刊名称、出版商名称、期刊的OA 状态等内容，可以提供全局性的出版情况概览，用于与PubPeer数据进行对比分析。
2. 方法
本研究采用了PubPeer平台上的PPPR数据和OpenAlex数据库中的全球出版物集进行对比分析。通过统计OA出版物在PubPeer上的评论数量与比例，并与全球OA出版物的总体比例进行对比，初步评估“路灯效应”是否存在。为了消除学科差异带来的偏差，本研究引入了归一化开放获取指数（NOAI），以更准确地反映OA出版物在PPPR中的相对表现。
归一化开放获取指数（NOAI）：NOAI是一种可以量化OA程度的指标，该指标经过了归一化处理，有助于对不同学科的OA程度进行公平比较，从而解释OA出版的流行性和可用性方面的学科差异。研究通过两步来计算NOAI。
第一步：计算每个学科在PubPeer中的OA比例相对于该学科在全球（WoS数据库）中的OA比例的比值。
第二步：为了得到一个整体的NOAI值，作者团队采用了加权平均法，首先根据每个学科在PubPeer中的出版物数量计算权重，然后将第一步中得到的每个学科的比值与相应的权重相乘，最后求和得到整体的NOAI值。
结果
1. 学术出版市场的整体结构
顶级出版商占据主导地位：OpenAlex数据库中排名前26的出版商占据了市场的大部分份额（约60%）。其中，Elsevier BV（17.4%）、Springer Nature（9.2%）、Wiley（8.5%）和Taylor & Francis（3.3%）等出版巨头占据了主导地位。
学术出版市场集中：出版市场的Lorenz曲线和Gini系数（0.91）揭示了学术出版市场的高度集中性以及出版活动分布的极具不平等性，少数出版商控制了大部分出版活动。
2. PubPeer平台上最常被评论的出版商
生命科学领域的出版商受到广泛关注：如表1所示，在PubPeer平台上，最常被评论的出版商主要集中在生命科学领域，尤其是医学和生物学。这些出版商中，许多是开放获取（OA）出版商，如Verduci Editore、e-Century Publishing Corporation、Hindawi Publishing Corporation和Frontiers Media。
表1 PubPeer平台内引起广泛评论的出版商信息
Springer Nature的显著地位：如表1所示，Springer Nature在PubPeer上的出版物被评论数量占比最高（16.92%），且其相对份额（RS）也显著高于平均值，表明其在PubPeer上的活跃度相对较高。
Elsevier的缺席：值得注意的是，尽管Elsevier在学术出版中占有重要地位，但在PubPeer上的评论量却相对较低，这可能是由其出版物的学科分布、社区参与策略或其他未知因素导致的。
3. PubPeer平台上最常被评论的期刊
OA期刊在PubPeer平台上更流行：在不同的数据集中，OA期刊的份额有所不同，其代表性和突出地位也相对不同。OpenAlex数据库、PubPeer平台以及在PubPeer平台上讨论最多的期刊中的OA期刊份额依次为21%、28%、32%。
生命科学领域OA期刊受到广泛关注：表2重点介绍了 PubPeer 平台内获得最多评论出版物的 15 种期刊。值得注意的是，评论最多的三本期刊（Journal of Biological Chemistry、PLOS ONE、Oncotarget）都属于开放获取（OA）类别，且主要集中在生命科学领域。
表2 PubPeer 平台内引起广泛评论的期刊信息
4. PubPeer平台的NOAI值与“路灯效应”
计算PubPeer平台的NOAI（84%）后发现，在消除了学科偏差后，PubPeer上的OA出版物相对于全球OA出版物的比例实际上低了约16%。这表明，在PubPeer平台上，OA出版物并没有因为其开放性而受到更多的审视，从而否定了“路灯效应”在PPPR中的存在。同时说明至少在PubPeer平台上，OA出版物与非OA出版物受到的审视程度相似。这一结果也支持了PPPR过程的公正性和一致性。
结语
本研究对OA出版物在PPPR中的表现进行了深入分析，揭示了“路灯效应”在PPPR中并不存在。这一发现具有重要意义，它强调了PPPR过程的公正性和独立性，表明科研成果的评价并不受出版物的可访问性影响。研究提醒我们，在评价科研成果时，应坚持全面、公正的原则，不因出版物的开放性或订阅模式而产生偏见。此外，研究还启示我们，OA出版物的普及和推广有助于提升科研资源的可访问性，但并不等同于其自动获得更多学术关注。同时，应鼓励科研人员充分利用各类在线讨论平台，促进科研成果的深入交流和广泛传播，共同推动科学研究的进步与发展。
当然，受限于数据，该研究存在一定的局限性，未来可以进一步探讨PPPR过程中是否存在其他类型的“路灯效应”。例如，研究者是否更倾向于审视知名期刊上的论文，而忽视小期刊上的重要工作；又如，研究PPPR平台之外的其他在线讨论渠道（如社交媒体、博客等），对科研成果评价具有怎样的影响。
文献来源：Maddi, A., Monneau, E., Guaspare-Cartron, C. et al. Streetlight effect in PubPeer comments: are Open Access publications more scrutinized?. Scientometrics 129, 4231–4247 (2024). https://doi.org/10.1007/s11192-024-05053-9
撰稿/李思佳 徐筱笛 审阅/袁艺凡 排版/戴婷
转载自：“科学计量学”微信公众号
