Kobayashi, S., & Emmeche, C. (2023). What makes a good PhD thesis? Norms of science as reflected in written assessments of PhD theses.Assessment & Evaluation in Higher Education, 48(8), 1310-1324.
Sofie Kobayashi 哥本哈根大学科学教育系讲师
Claus Emmeche 哥本哈根大学科学教育系副教授
赵祥辉（北京大学教育学院博士后）摘译
摘要：本研究从两个角度探讨了博士论文的评审：其一是科学学院评审报告中使用的评审标准，其二是科学规范。通过对五十份评审报告的归纳分析，研究确定了评审人在评审论文时所关注的十三个类别，并将这些类别与科学社会学中描述的科学规范进行了对比。结果表明，评审标准与科学规范之间存在高度一致性，但也发现了一些值得进一步研究的新类别。本研究相较于以往的评审研究，特别强调了“论文研究的社会相关性”和“质量代理”（即通过发表来体现论文质量）这两个类别。作为评审研究中新兴的类别，这两类反映了随着后学术规范（post-academic norms）在学术界影响力的增强，传统的科学规范正逐渐发生变化。
一、引言
科学规范是学术界对科学家行为的集体期望，涉及动机、同行关系、工作标准及其评审。作为学术界的“守门人”，博士论文的评审人不仅遵循这些规范，还为候选人的学术发展提供反馈。尽管科学规范和博士论文评审在各自领域已有较多研究，但二者之间的关联尚未得到深入探讨。博士论文评审通常由领域内资深研究学者负责，因其能有效判断论文质量。大学的评审指南通常较为宽泛，以适应不同学科的需求，并允许评审委员会灵活解释。然而，近年来关于细化评审标准的呼声逐渐增加，相关研究不仅有助于推动这类讨论，也可能推动博士学位评审标准的全球化。深入理解评审标准对博士生自主性的发展至关重要。在丹麦，评审委员会需对论文做出初步评审，判断其是否可以答辩，以及候选人是否对新知识的发展做出了重要贡献。自然科学领域的博士论文通常由数篇文章组成，并辅以摘要加以整合，评审委员会则基于详细讨论形成统一报告。本文将通过分析一所丹麦大学的科学学院评审报告，旨在探讨评审过程中涉及的科学规范。具体研究问题包括：评审人的评价中浮现出哪些主题？这些主题与科学社会学中所描述的科学规范之间的关系如何？
二、背景
本研究旨在探索和连接博士论文评审实践与科学社会学理论之间的联系。科学社会学起源于20世纪中期，由默顿开创。默顿提出了CUDOS规范（公有主义、普遍主义、无私利性、独创性、有组织的怀疑）。科学研究不仅遵循这些规范，还要避免一些不合规范的行为，如数据造假、剽窃等。博士论文评审是科学规范在学术评审中的具体体现，反映了科学界对科学工作标准的具体执行。
在博士论文评审领域，过去的研究揭示了评审人关注的核心标准，主要包括如下几点：一是呈现（presentation）。论文的呈现方式在提升可读性上至关重要，语言、风格和术语的合理使用能够展现良好的沟通技巧。反之，当论文的呈现不佳时，评审人可能会产生不满，甚至会对研究质量丧失信心。二是连贯性（coherence）。论文的呈现方式在提升可读性上至关重要，语言、风格和术语的合理使用能够展现良好的沟通技巧。反之，当论文的呈现不佳时，评审人可能会产生不满，甚至会对研究质量丧失信心。三是文献（literature）。文献回顾应当充分、最新且相关，不应遗漏核心参考文献，尽管不必完全详尽。文献需要经过批判性评价，以展示对相关领域的全面理解，并且应在论文的各个部分中体现批判性思考。四是方法论（methodology）。研究方法应当适当、详尽解释并具备合理性，方法的选择需有充分的动机。理论的运用应与研究设计和研究问题保持一致，选择的方法应能有效解答研究问题。结果的呈现应准确无误，并经过深刻的讨论。结果不仅应与相关文献相联系，结论还应得出相应的启示和应用。五是结果（results）。研究结果应准确呈现，并经过详细分析和讨论。结果不应仅停留在表面，而是应从数据中提取出深刻的见解，并通过与相关文献对话，使结论具有更广泛的应用价值。六是贡献（contribution）。博士论文需要为新知识的产生做出重要贡献，而“新颖性”（novelty）和“原创性”（originality）则是基本要求，而它们往往以“可发表性”（publishable）作为衡量标准。此外，论文与社会、文化与工业的“外部相关性”（external relevance）也被视为是一种贡献，这种贡献更多是在实用层面而言的。
三、方法
本研究匿名处理了2016年共230份博士论文评审报告（丹麦某学院）。每份报告均为2~5页、用英文撰写且均建议论文通过答辩。我们对随机抽取的50份报告进行了详细阅读，提取出包含评判性意见的段落，归纳形成了评审类别列表。在分析18份报告后，研究达到了饱和状态，其余报告则提供了更多细节。每个类别均通过引用报告中的一个或多个例子来进行解释说明，来更详细地描述评审者使用标准的情况，随后将这些类别与科学社会学中的科学规范进行对比。
四、结果
我们通过对50份评审报告的归纳性分析，提炼出评审人在评审博士论文时关注的13个评价指标及其子指标：
1.研究贡献（contribution to research）。评审人着重评价论文对学科领域的实质性贡献，如新理论、新方法或新发现。例如，“所有呈现的结果都代表新颖的研究，可以帮助推进该领域”（编号004）“这可能成为XX的经典研究”（编号042）。
2.研究的相关性（relevance）。研究对现实世界问题的相关性，如对公共健康、环境保护等领域的影响。评审可能涉及研究目标以及结果，如“研究目标对社会而言非常重要，特别是因为减少温室气体被认为是一个重要的研究问题”（编号007）。
3.整体质量（quality - overall）。评审人一般会对论文的整体质量提出一个看法，如“这项工作值得称赞，因为它从一个非常新颖和原创的角度接近了一些老话题”（编号017）“与我过去十年审查的其他博士学位论文相比，这是最好的之一（前10%）。”（编号047）。此外，整体质量还涵盖以下四个子维度：
3.1. 实证维度（empirical dimension）。评审人注重数据收集和分析的严谨性，如他们所强调的，“揭示了大量新的数据，这些数据可能远远超出当前的论文本身。”（编号009）。
3.2. 理论维度（theoretical dimension）。理论的创新和适用性也是评审的关键点，“一个非常有用的简单模型被制定出来，为理解提供了直观的微观洞察”（编号017）。
3.3. 方法论维度（methodological dimension）。方法的适当性和创新性同样受到评审人的关注，“新方法的效率通过应用于模拟和真实数据而得到证明”（编号011）。
3.4. 理论与实验的结合（connecting theory and experimental work）。理论与实验的紧密结合也是评价的一个重要方面，“博士工作包含强大的实验和理论部分，这相当独特，提升了论文的重要价值”（编号017）。
4.质量代理（proxy for quality）。评审人常以论文发表的期刊级别和影响因子作为评价论文质量的参考，如“发表在高质量的期刊上”（编号002）“四篇包括的论文已经发表或接受在一些顶级同行评审期刊上。已发表和手稿的质量被认为是优秀的，它们肯定实现了论文的目的”（编号014）。并且，质量的代理也可能被进一步扩展到论文的引用，如“根据谷歌学术搜索，论文1被引用了4次，而论文2则被引用了11次”(编号018)。
5.工作量（quantity）。在规定时间内完成的研究工作量，如“论文中记录的工作具有高标准的技术质量，工作量是授予博士学位所期望的”（编号031）不过我们也发现，关于工作量的评论比其论文品质的评论要少得多。
6.聚焦性与深度（focus and depth）。论文应围绕一个核心问题展开，如“论文很好地将五篇论文联系在一起，形成一个‘研究故事’”（编号018）。
7.在合作研究中的贡献（contribution in collaboration）。评审人评审博士生在团队合作中的角色和贡献，如“所有同行评审的论文都有候选人作为第一作者”（编号010）。
8.该领域已有研究的综述（overview of the earlier research in the field）。论文如何定位于当前学科的研究前沿，如“各个部分都引用了大量相关领域的最相关的著作”（编号003）。
9.自己的研究相对于以往工作的贡献（own contribution in relation to previous work）。博士生如何将自己的研究与前人工作区隔，并明确自己的创新点，如“第二章真的很有意思，因为作者将过去的研究与他自己的反思交织在一起”（编号015）。
10.讨论和评价自己研究结果的能力（ability to discuss and judge own results）。博士生对自身研究结果的批判性分析和评价，如“一些关于数据集潜在偏见的讨论将很有价值”（编号034）。
11.论文的表达（communication）。包括论文结构、逻辑连贯性、语言清晰度和专业术语的准确使用，如“引言部分本可以从额外的工作受益，以纠正语法和排版错误，并减少使用口语和非科学语言”（编号031）。
12.研究投入（engagement）。通过论文传达出的博士生对研究主题的兴趣和投入，如“这些章节给人留下了作者对主题有热情的印象”（编号015）“附加的六篇论文证明了非常高的水平的参与度和勤奋性”（编号014）。
13.研究条件（conditions）。评审人考虑研究进行的具体环境和条件，如“应该指出，所呈现的结果部分来自对X大学为期三个月的短暂访问，能够在如此短的时间内从新机构中产生实验结果是一个成就。”（编号004）。
五、讨论
本研究首次展示了如何通过博士论文评审来识别科学规范，这对科学社会学研究具有重要意义，表明科学规范在评审实践中得到了应用，并使得科学规范的概念更加具体化。在评审领域，我们提出了一种新的理解研究评审的框架，这一框架有助于支持评审人、导师和博士生对博士论文的标准和要求进行明确讨论。例如，社会相关性作为评审标准在本研究中清晰地呈现出来，这是一项新发现。与经典的科学规范不同，社会相关性在科学社会学中并未被视为科学工作的主要目标，而更多地反映了现代社会对科学的实用性要求。随着应用科学研究中外部资金的增加，社会相关性成为博士论文评审中的重要维度。而通过发表文章作为质量指标的“质量质量”也反映了科学评审结构的变化。在现代科学中，论文发表数量和引用数量越来越多地被用作质量的衡量标准，这一趋势也在博士论文评审中有所体现。
不过，研究在探索博士论文评审中的科学规范时，尽管采用了有效的判断识别方法，但仍存在局限。我们主要集中于评审报告中的明确表扬或批评，这可能导致我们忽略了描述性文本中的隐含标准。评审人在细节描述上的多样性和深度不一，可能影响了我们对评审标准的全面理解。并且，部分评审报告的简略性可能未能充分揭示论文的创新点。当然需强调的是，大多数书面评审仍然表现出了高质量和详尽性。
六、结论
本研究通过对博士论文评审的分析，扩展了评审研究，提出了“社会相关性”在评审标准中的重要性，并揭示了评审人如何评审已发表的研究成果。从科学社会学的角度来看，“社会相关性”和“代理质量”的使用表明，后学术规范在学术界的影响力正在逐渐增加。围绕论文质量的四个子类别（实证维度、理论维度、方法论维度、理论与实验的结合）的详细分析，加深了我们对原创性作为科学规范的理解。这些评审标准的明确化，有助于导师和博士生在学术训练中更好地理解评审中的期望和标准。
更多精彩，请关注我们
