专家积极程度以函询问卷的回收率表示,若回收率达到70%,说明专家积极性非常好。专家权威系数用来评估专家对该评价项目的熟悉及了解程度,由专家熟悉程度和专家判断系数共同决定,专家权威系数=(专家熟悉程度+专家判断系数)/2。其中,专家熟悉程度分为非常熟悉、比较熟悉、一般熟悉、不太熟悉、很不熟悉5级,分别赋值1.0、0.8、0.6、0.4、0.2;专家判断系数分为高、中、低3级(具体评分标准见表2)。若专家权威系数>0.7,表明专家权威性较高,其意见可接受。
专家意见协调程度采用肯德尔协调系数(即 Kendall’s W值)表示,该值取值范围为0~1,越接近于1,说明评价结果波动性越小、离散程度越低、意见越集中。同时,分别对两轮专家咨询的Kendall’s W值进行χ 2检验,若P<0.05,认为结果一致性好且可信;反之,则认为结果一致性不佳且不可信。
采用Likert 5级评分法对各级评价指标的重要性进行评价,具体评分标准为:非常重要,记5分;比较重要,记4分;一般重要,记3分;不太重要,记2分;很不重要,记1分。采用重要性评分均值归一化法量化各级权重及组合权重。在计算过程中,二级指标的组合权重=二级指标权重×所属一级指标的组合权重,三级指标的组合权重=三级指标权重×所属二级指标的组合权重,各级指标权重之和等于1。
本研究指标考察标准共3项:重要性赋值>3.5、变异系数<25%[9]、不重要百分比<50%(包括不太重要和很不重要)。其中,变异系数表示专家意见的离散程度,计算公式为变异系数=标准差/均数,该数值越低,表明专家意见一致性越好。对于设定指标、专家建议修改或增加指标的筛选标准见表3。
1.5 统计学方法
采用Excel 2016和SPSS 21.0软件进行数据分析。满足正态分布的计量资料以x±s表示,计数资料以例数或率表示;两轮专家咨询的Kendall’s W值比较采用χ 2检验。检验水准α=0.05。
检索结果显示,文本调研法检索到政策法规或考评要求78条,文献调研法检索到相关文献98篇,均为评价体系内容和构建方法的重要依据。
本研究使用头脑风暴法和专家访谈法初步拟定了药学人员科研评价指标,包含一级指标4个、二级指标21个、三级指标93个。
两轮函询均发放问卷36份,回收36份,回收率及有效率均为100%,提示专家对本课题的关注度和积极性较高。
第一轮函询专家的判断系数为0.894,第二轮为0.929,平均值为0.912;第一轮函询专家的熟悉程度为0.733,第二轮为0.761,平均值为0.747。专家权威系数平均值为0.830,表明专家的权威性较高。
第一轮函询各指标的Kendall’s W值为0.255~0.410,第二轮为0.269~0.460;两轮显著性检验示P<0.01,说明专家意见一致性好、可信性高。结果见表4。
两轮函询结果显示,4个一级指标的重要性评分为3.97~4.89,不重要百分比为0~2.78%,变异系数为6.52%~22.10%,说明专家对这4个一级指标的重要程度评价结果较集中、统一,故将其全部纳入评价体系。
第一轮函询结果显示,21个二级指标中,14个指标符合“1.4.5”项下考察标准,纳入评价体系;7个指标存在“≥1项不符合考察标准”的情况,需再次征求专家意见;3个指标的专家建议为“修改”;另新增2个指标。具体见表5。
经过两轮专家函询,共纳入16个指标(第一轮纳入14个,第二轮纳入2个)、删除5个指标(第二轮评价不符合要求),根据专家建议修改3个指标(包含在16个纳入指标中)并新增2个指标,最终共计纳入18个二级指标。
18个二级指标项下共计72个三级指标,其中59个指标符合“1.4.5”项下考察标准,纳入评价体系;剩余的13个指标存在“≥1项不符合考察标准”的情况,需再次征求专家意见。具体见表6。
根据各级指标评价结果,药学人员科研评价指标体系最终包括4个一级指标、18个二级指标和62个三级指标。采用重要性评分均值归一化法量化各级权重及组合权重,具体结果见表7。
评价体系一向被认为是科研工作的“指挥棒”,基于儿童医院视角建立药学人员科研指标评价体系,可全面、定量、客观地反映该领域药学人员真实的科研水平。此外,对于科室建设,该指标评价体系不仅可作为科研考核和人才选拔的工具,而且可用于剖析科研优势、劣势及关键点,为科室调整学科布局、优化人才结构、确定科研发展方向提供数据支撑。
指标筛选通常由课题组基于函询结果、专家建议、相关文献和实践经验综合确定。在本研究中,为确保函询结果的可评价性,建立了评价体系指标考察标准。对于在第一轮评价中≥1项不符合考察标准的指标,再次评价时,分别以“同意删除的专家占比≥60%”和“同意删除的专家占比≤40%”作为指标删除和纳入的依据。对于“同意删除的专家占比为>40%~<60%”的指标,课题组参考专家建议并查阅相关文献,综合考量后进行判定,以确保评价结果的可靠性。
经筛选评价后,纳入的4个一级指标与原设定指标完全一致,而纳入的18个二级指标较原设定指标发生了较大的变化(删除5个,新增2个)。其中,删除的二级指标多与药学科研无直接关联,如工作岗位、带教工作、科普发表、知识技能竞赛等;新增的二级指标包括“学术/人才称号”和“指南/规范/共识”,这2项指标与儿科药学人员的科研产出密切相关,所以可被认为是其“学术造诣”的一种外在体现,故新增指标均能在一定程度上反映儿科药学人员的科研水平。可见,函询专家不仅参与积极性高,而且提供了很多高质量的建议,对原设定指标的更替及完善起到了重要的推动作用。同时,18个二级指标对应了72个三级指标,经筛选评价后,删除10个,最终纳入62个。
专家意见的协调程度(Kendall’s W值)是衡量函询专家对各项指标的评价结果是否具有一致性的重要参数。在本研究的第一轮函询中,各指标的Kendall’s W值为0.255~0.410,第二轮为0.269~0.460,表明评价结果波动性大。这可能是由于本指标体系条目较多,且各医疗机构科研水平参差不齐,从而导致各指标的Kendall’s W值与1还有一定距离。但通过两轮函询后,Kendall’s W值有所增高,提示专家意见趋于集中。
本研究基于儿童医院视角建立的药学人员科研指标评价体系,提供了一个全面、客观的儿科药学人员科研能力定量评价工具。基于所建评价体系,建议在后续的药学科研管理中,可每年对儿科药学人员进行科研能力评价,以便及时了解其各年度科研水平的变化情况;同时,建议将该评价体系作为儿科药学人员科研能力的重要考核依据,以帮助医院更好地了解和规划药学科研的发展方向;此外,建议在实际应用过程中,不同的儿童医院可根据自身儿科药学人员的综合科研水平,选择相应的评价指标及维度,并关注指标权重的变化情况。本研究处于指标体系构建完成阶段,尚未进行实证研究。随着药学的不断发展,对于不同或同一医院,科研指标评价体系的各级指标、权重设定都有可能发生相应改变,需要体系构建者不断修改和完善,以适应药学科研不断发展的需求。
综上所述,本研究所选儿童医院药学专家权威性较高、专业覆盖面广;构建的药学人员科研指标评价体系具有一定的标准性和规范性,可为儿科药学人员的专业水平考核、科研能力评价提供有力参考。