张迪，曾雷霄，韩慧，吴一波 | 科技创新成果展“全评价”分析框架评价体系的构建

1 引言

科技创新成果展是展馆运用科技藏品或特别制作的演示模型、科技产品以及多媒体等作为传播媒介, 按照一定的学科、主题和艺术形式组合, 在一定时空范围内对普通大众进行的直观的、体验的、互动的科学教育活动。^[1]作为科普理念与科普实践双升级的“试验田”, 科技创新成果展不仅是我国科技创新实力的展示, 同时也是科普知识、科学技术和创新理念的传播。但是, 就目前而言, 我国的科技创新成果展在竞争动力方面还处于缺位状态。从内部来讲, 我国的科技创新成果展主要用来展示科技成果和公益提升全民科学素质, 利润最大化并不是科技创新成果展的主要追求目标, 因此, 在标准衡量上其内部动力缺位。从外部来讲, 科技创新成果展在展品上有着明显的垄断性, 一般会长期保持, 首都的科技创新成果展与分布在全国其他省市的科技创新成果展在空间上距离较远, 无法形成明显的竞争关系, 这导致其在研究、展示、创新力和传播力等业务上与其他科技创新成果展之间缺乏有效的竞争, 使得外部动力也同样缺失。判断一个科技创新成果展的成功与否, 要有一定的价值尺度和评判标准, 这就需要具有一定权威性和公平公正的评价体系。通过评价能够指出科技展在开展展览业务时存在的问题, 帮助科技创新成果展提高展览的整体水平。^[2]

对于科技创新成果展，很多学者也做了相关研究，根据查阅的文献来看，由于国外的展览发展较早，理论相对成熟，已形成完善的体系。最早是Loomis^[3]运用系统观察法提出了展览的吸引力、持续力等概念，来对展览观看人数、参观路线、参观时间等进行评估。Screven^[4]提出了将标准分为阶段评估和总结评估，应用于展览的全过程，这在国际上得到了普遍推广和应用。国内的研究起步较晚，目前对博物馆类的评估较为全面，关于科技展览的评估研究还较少，且都属于自评，未普遍推广。2003年，国家科学技术部政策法规司制定了全国科普统计方案和指标体系，并于2004年初组织全国范围内的科普工作试统计。^[5]2007年，上海市科学研究所李建民等^[6]针对上海科普工作绩效评估的指标体系、基本理念进行了初步设想，他们认为可以根据“三效统一、综合评估”的基本理念设计科普工作绩效评估的指标体系。张风帆和李东松^[7]提出科普评估标准应由传统的纵向对比向横向比较分析转换，以及科普评估的定量分析和定性分析等研究方法。朱星谕等^[8]针对广州市的科普认定和评估体系，提出从基础设施、运营管理、科普活动和科普成效四个方面来具体建立相应指标，并作出相关评估确定。同样，在国内有很多类似的城市科普活动均是以城市已有的展览和相关展馆，自行建立一套相应的评估体系，均属于自下而上的评估。总体上看，国内关于科技展览的评价侧重于科技展宏观工作方面，以展览工作流程为主，而对于科技展的科技内容、创新思维和创新方法的评估则重视度不够。因此，本研究旨在总结国内外关于科技展览的相关规律和指标体系的基础之上，建立一个针对科技创新成果展在创新思维和创新方法上的更加具体的评价体系，以期为我国更多的科技创新成果展评价提供更多角度的支持。

2 科技创新成果展评价体系构建的方法

2.1 “全评价”分析框架的概念及原理

“全评价”分析框架，又被称为“学术全评价”理论，简称“全评价”，由南京大学图书馆叶继元教授于2010年正式提出，该理论强调，一项客观全面、科学有效的评价，应从评价主体、评价客体、评价目的、评价方法、评价标准及指标、评价制度这六个要素进行考量，从评价对象的形式、内容、效用三个维度进行充分分析。“全评价”分析框架与学术界传统的二元思维相比，有一定的创新和突破，将传统的二元思维发展到三维，即形式评价，可以用于评价外部特征；内容评价，则是对本质的评价；效用评价，则需要一定的时间待效果发挥后再进行评价。各个评价要素之间看似相互独立，却又相互联系，紧密结合，形成复杂多元的评价体系。

2.2 “全评价”分析框架的优势及应用

由于该评价体系既能够较为详实地概括出近年来国内外关于自然科学的评价实践和评价结果，又能够兼顾人文社会科学的特殊性和多样性的特点，从而使得该评价体系在社会科学评价研究领域有过较多成功的评价案例，并得到学术界广泛接受和认可，经常应用于网站、期刊、数据库、展览、图书测评等方面。^[9]目前关于展览的评价体系研究，除了对博物馆类评估较为全面外，对于科技展览的评估研究还比较少，且一般属于自评，暂未形成普遍推广。鉴于科技创新成果展本身就属于一个展览活动，“全评价”理论对此也具有一定的适用性，因此，本文选择了“全评价”分析框架来做理论支撑指导。

2.3 科技创新成果展“全评价”分析框架评价体系的构建原则

遵循原则是评价主体在评价工作过程中的基本准则和要求，是应用于评价客体的价值尺度和界限。^[10]具体到科技创新成果展，本研究严格遵循目的性、系统性、科学性的原则，每个维度下同时设置多个级别的指标来进行总体评估。

2.3.1 目的性原则

构建科技创新成果展的评价体系需要有一定的目的性，评价指标的确定也必须有一定的侧重点。构建科技创新成果展评价体系的目的是促进科技创新成果展的发展和完善，发现科技展在开展展览业务时需要改进的地方，以期提高科技创新成果展展览的整体水平。

2.3.2 系统性原则

科技创新成果展从展览前、展览中到展览后都具有一定的关联性，是一个系统的过程。因此，应把展览作为整体进行考量，同时将各个系统和各个要素融入整个系统中，确保各个评价指标和内容有序排列、避免重复，保证整个系统指标的严谨性。

2.3.3 科学性原则

评价体系的科学性是促进成果展发展和完善的重要前提。在进行指标确定时，根据客观需要和客观证据选取指标，确保每一项评价指标能够与实际相结合，能够应用于实际展览评估中，以增加考核指标的准确性和实际应用性。

3 “全评价”分析框架下科技创新成果展的评价要素分析

3.1 评价主体

评价主体，在宏观层面包括相应的政府机构等；在中观层面，包括主办方、参展方、相关高校专家等；在微观层面，包括现场或线上参观的观众。评价主体的多元化有助于对科技创新成果展进行全面的分析。

3.2 评价客体

评价客体，即评价对象，遵循相应的评价原则，对科技创新成果展的各个角度进行类目划分。根据叶继元教授的“全评价”分析体系，可以从形式、内容、效用三个方面进行评价,具体到科技创新成果展的形式包括：人才队伍、工作评估、展馆陈列、社会服务、活动数量、活动周期、技术应用、教育活动、数字服务；内容包括：获奖项目、展览方案、知识含量、展品数量、教育性、科学性、意识形态；效用包括：参观人次、个人认知、观众满意度、宣传渠道、媒体反应。

3.3 评价目的

评价目的是评价体系的出发点，即为什么要做此评价。科技创新成果展的评价目的是对成果展的服务项目、创新内容进行测量和考核，以促进科技创新成果展的进一步完善。

3.4 评价方法

评价方法，即采用的评价工具。根据“全评价”分析体系，本研究将从评价对象的形式、内容、效用三个方面进行细化，针对细化的指标，邀请相关专家进行打分确定，并通过相关数据分析来确定最终作为评价项目的指标。

3.5 评价标准

评价标准，即遵循的原则，是评价主体在评价工作过程中所要遵循的基本准则和要求，是应用于评价客体的价值尺度和界限。^[10]具体到科技创新成果展，本研究严格遵循客观性、全面性、系统性、合理性等原则，每个维度下同时设置多个级别的指标来进行总体评估。

3.6 评价制度

本研究遵循相应的法律法规和制度，本着客观全面、系统合理、公平公正的原则对科技创新成果展的“全评价”分析框架体系（指标提出、专家咨询、数据分析、确定、测评等）的构建提出设想，旨在确保对科技创新成果展评价内容的合理性和真实性。

4 科技创新成果展评价体系的构建

4.1 具体指标

首先运用“全评价”分析框架，将一级指标确定为形式、内容、效用这3个维度，对科技创新成果展创新思维和创新方法的形式、内容、效用进行综合性评估。其次，根据每个展览过程，设立相应的二级指标:从人才队伍、工作评估、展馆陈列、社会服务、活动数量、活动周期、技术应用、教育活动、数字服务9个维度对一级指标的形式方面进行了细化；从获奖项目、展览方案、知识含量、展品数量、教育性、科学性、意识形态7个维度对一级指标的内容方面进行了细化；从参观人次、个人认知、观众满意度、宣传渠道、媒体反应5个维度对一级指标的效用方面进行了细化。

4.2 评分标准

为了将定性问题定量化处理，本研究采取打分的方式，分别将每一个评价指标的评分标准定为4个档次，最高为4分，较高为3分，较低为2分，最低为1分。本研究经过两轮专家咨询，根据专家意见对指标进行相关删减和修改，得出完整的科技创新成果展评价体系。其中，一级指标3个，二级指标21个。为了更好地区分，本研究将一级指标用A₁，A₂，A₃表示，二级指标用B₁，B₂，B₃，…，B₂₁表示。所得评价体系如表1所示。

4.3 基于层次分析法的权重确定

本研究对科技创新成果展指标体系评价选取的是层次分析法（AHP法）。层次分析法是由美国匹兹堡大学教授Satty于20世纪70年代提出的一种多目标决策分析方法^[11]，该方法能够将复杂且多目标的决策项目或者问题看作一个整体的系统，将多个项目分解为多指标的若干个层次，再运用定性、定量方法计算出各层次的单排序和总排序^[12]，比较适合该指标权重的计算。本研究将目标层确定为A₁~A₃，准则层为B₁~B₂₁。

4.3.1 评估指标信度

信度指的是评估指标的可信性，本研究采用内容一致性的方法来反映科技创新成果展指标体系的信度。以相关系数Ra来进行测评，Ra的取值介于0~1。如果，R值越趋向于1，则说明所测对象内部一致性较高，相反，若接近0则说明内部一致性较低，不具有可信度。具体公式如下：

其中，K为评估指标的数量，S_i为第i个指标的标准差，S_x为评价总得分的标准差。根据表格，代入相关数据，得出指标体系的R≈0.92，接近于1，说明该评价体系具有较高可信度。

4.3.2 评估指标效度

效度是反映指标是否有效的依据，在评估体系中对效度的分析通常采用效度比（VCR）来衡量，VCR的取值位于-1~1，取值越接近于1，则说明专家对该指标体系的认同度越高，反之，则越低。公式如下：

其中，N为参加评价的所有专家人数，i为认为评价指标设定较好的专家人数。根据计算公式，得出VCR，检查看是否满足效度要求，再进行权重分配。

本研究，参与专家15人，有效问卷15份，其中14人认为此指标体系设定较为合理。根据数据，得出VCR≈0.87，则说明，本研究的效度较好，可以进行权重的分配。

4.3.3 评估指标的判断矩阵分析

判断矩阵是指通过相互之间的排序关系进行对比，从而确定在本层次所占的比重。本研究根据专家评分的算术平均值，进行同一层级的比较，来确定重要程度的排序。并根据层次结构的判断和分析进行两两比较，建立判断矩阵。本研究采用1—9标度法，对指标的重要程度进行赋值，将定性的指标定量化，具体要求如表2。

根据专家咨询所得到的评分结果，参考1—9标度法，将科技创新成果展的一级指标、二级指标进行两两比较，排列出判断矩阵。

4.3.4 单层次排序

层次单排序是指每一个判断矩阵各元素对于其准则的相对权重，本质上是计算判断矩阵的最大特征根和特征向量。^[13]首先，计算矩阵每一行元素的乘积

其次，计算Mi的n次方根

对向量进行归一化处理

为了避免各部分之间因顺序不同和对比误差而出现相应的矛盾，有可能违背一致性的原则，因此有必要进行一致性检验。

一致性检验公式为

一致性比率的计算公式为

随机一致性指标：RI，我们采用平均一致性表，见表3。

4.3.5 层次总排序与一致性检验

层次总排序是指某层指标对于总目标相对重要性的排序权重。^[14]假设，上一层为A层，A层的下一层为B层，A层有m个元素指标，B层有n个元素指标，那么B层的总排序一致性就为CR，公式为

若CR<0.1，则说明层次总排序一致性检验通过，大于0.1，则说明不通过。利用SPSSAU数据平台将表4—表6两两判断矩阵的数据代入以上公式。

根据计算出的结果，各层级的构造矩阵均满足一致性检验，全部通过，故而无需再对判断矩阵进行调整。根据表4—表6，利用软件进一步计算出所有指标的权重，如表7所示。

4.4 评分细则确定

本研究根据科技创新成果展的发展方向和评价标准，同时，参考论文《我国省级档案网站评估指标体系构建研究》，采用划分等级的方法对2020年科技创新成果展进行测评，按照A、B、C、D四个等级最高为4分（代表分数为100），较高为3分（代表分数80），较低为2分（代表分数60），最低为1分（代表分数0）。评分采取百分制，按照等级所对应的分数与相应权重进行乘积运算，其结果即为该指标的最后得分。从每个指标得分的数值可以看出该科技成果展在某一具体指标上的优与劣，从科技创新成果展的形式、内容、效用这三个一级指标的得分率可以宏观地看出该科技创新成果展的优势与劣势，以此提出非常具有针对性的整改策略。

5 以评价体系进行测评的实证案例分析

利用本评价体系和测评方法，针对2020年北京科普创新成果展进行测评应用。评估过程中，将所有项目进行集中比较和评价，按照评价指标设置的分值进行打分，再根据权重进行加权，最后综合相加，得出最终分值，见表8。

根据打分与综合分析的结果可以看出，2020年北京首都科技创新成果展总得为79.897分，二级指标中，关于人才队伍、工作评估、展馆陈列、社会服务、活动数量、活动周期、技术应用、教育活动、数字服务的评分分别是：7.598、3.568、5.103、1.851、0.715、0.508、1.255、1.074、1.342，平均得分率为78%；获奖项目、展览方案、知识含量、展品数量、教育性、科学性、意识形态的评分分别是：1.371、5.141、5.689、1.990、10.239、15.108、3.754，平均得分率为82.88%；参观人次、个人认知、观众满意度、宣传渠道、媒体反应的评分分别是：1.040、1.799、2.249、5.264、3.200，平均得分率为83.98%。因此，从整体来看，形式上的稳定性相较于内容和效用上会有所差异，但整体指标平均得分率较高，趋于稳定，也充分说明此评价体系能够较为准确地评价科技创新成果展在科学性和创新性方面的实际情况。

6 结语

评价指标体系的确立，是为科技创新成果展设立规范和准则，能够促进其进一步地规范化。本研究就如何更好地促进科技创新成果展的完善，提高科技创新成果展的价值和意义，提出如下建议。

首先，关于科技成果展评价体系的完善还需要继续深入研究。虽然关于科技创新成果展的指标体系一直在不断完善，但评价体系的广泛应用还需要其他科技创新成果展和相关专业性的检验。关于科技创新成果展评价体系的测量模型和评价角度，本研究仅是采用的“全评价”分析理论模型，从科技创新成果展创新思维和创新方法的形式、内容、效用三个维度来进行评定。除此之外，关于科技创新成果展的评价方法还有很多，例如评价主体、评价内容、评价模型。同时，一套评价体系的指标不同，最后的结果也会有所差别。目前，我国关于科技创新成果展评价体系还处于发展阶段，未来还需要各方共同努力，才能够促进科技创新成果展评价体系更加科学。

其次，对于科技成果展的评估，应该是动态化的综合评估。科技水平的发展性、科普传递方式的多样性、变化性，科学理念的与时俱进性，使得科技创新成果展是一个与时俱进的展览。其最大的特点就在于具有复杂性和动态性。因此，对于科技创新成果展的评估，并不是一成不变的，而是要适应时代发展特点，及时做出相应变化的指标项调整。只有这样，才能够对任何时期的科技创新成果展进行更加精准的评估，得出更加科学的决策结果，为进一步提高科技创新成果展的总体水平做出新的方向指引。