佳文荐读丨儿童医院视角下药学人员科研指标评价体系的构建

健康   健康   2024-10-02 08:39   重庆  
儿童医院视角下药学人员科研指标评价体系的构建

高 艳1,2,李 欣1,2,高 翔1,2,孙燕燕1,2[1.天津市儿童医院(天津大学儿童医院)药剂科;2.天津市儿童出生缺陷防治重点实验室]

摘要 目的:构建适用于儿童医院药学人员的科研指标评价体系,为药学人员的科研能力评价提供技术支持和参考依据。方法:运用文献/文本调研法,查找科研管理的相关文献、政策法规和研究报告;采用头脑风暴法梳理关键要素,逐级分解各级指标。在此基础上,使用专家访谈法,明确关键要素,初步拟定三级指标评价体系,并据此制作函询问卷。最后运用德尔菲法,通过3项筛选标准[重要性赋值>3.5、变异系数<25%、不重要百分比(包括不太重要和很不重要)<50%],建立药学人员科研指标评价体系。结果:两轮专家函询均发放问卷36份,回收36份,回收率和有效率均为100%。两轮函询专家的判断系数平均值为0.912,熟悉程度平均值为0.747,专家权威系数平均值为0.830。经过第二轮函询后,一级指标的肯德尔协调系数为0.269,二级指标为0.379,三级指标为0.460,均显著高于第一轮专家函询结果(P<0.01)。最终确定了药学人员科研指标评价体系一级指标4个、二级指标18个、三级指标62个。结论:本研究所选儿童医院药学专家权威性较高、专业覆盖面广;构建的药学人员科研指标评价体系具有一定的标准性和规范性,可为药学人员的专业水平考核、科研能力评价提供有力参考。



中共中央办公厅、国务院办公厅于2018年分别印发《关于分类推进人才评价机制改革的指导意见》《关于深化项目评审、人才评价、机构评估改革的意见》,要求各地方及相关部门分类健全评价标准,改进创新评价方式,加快推进重点领域的评价改革。2022年9月23日,科技部等八部门联合印发《关于开展科技人才评价改革试点的工作方案》,要求进一步完善并加快建立人才评价体系。可见,人才评价工作备受我国学科管理部门的关注。
科研是促进医院学科建设、创新、发展的重要环节,人才科研能力评价是加强科研人才培养、提高业务水平和自身素质的有效推动力。作为医疗服务的重要组成部分,儿科药学人员在医疗服务中发挥着不可或缺的作用。然而,笔者通过前期调研发现,我国尚未对儿童医院的药学人员开展相关科研评价。为了更好地评估该领域药学人员的科研能力,有必要建立用于人才考核、科研管理的药学人员科研指标评价体系。为此,本研究基于儿童医院视角,通过文献/文本调研法、头脑风暴法、专家访谈法、德尔菲法建立药学人员科研指标评价体系,以期为药学人员的科研能力评价提供技术支持和参考依据。
1 药学人员科研指标评价体系的构建方法
1.1 文献/文本调研法 
以“医院”“药学”“科研”“评价”为关键词,在国家药品监督管理局、国家及各省市卫生健康管理部门、美国FDA、世界卫生组织等官方网站进行搜索,并在中国知网、万方数据、维普网、Medline、PubMed等数据库中进行检索,查阅相关政策法规、指南共识及其他文献,以获取与儿科药学科研评价相关的指标信息。搜索或检索时间限定为2017年1月-2023年12月。
1.2 头脑风暴法 
组织来自北京、天津、南京、郑州、大连5个城市6所医疗机构(首都医科大学附属北京儿童医院、天津市儿童医院、南京医科大学附属儿童医院、郑州大学第三附属医院、河南省儿童医院、大连市妇女儿童医疗中心)制剂、药物临床试验质量管理规范(good clinical practice,GCP)、临床药学、调剂等部门的儿科药学人员(共12名)进行小组会议,采用头脑风暴法梳理关键要素,逐级分解各级指标。参与头脑风暴的儿科药学人员应具有10年及以上工作经验或副主任药师及以上职称。
1.3 专家访谈法 
在文献/文本调研法和头脑风暴法基础上,梳理、设计科研评价各级指标框架及访谈提纲,就可能影响药学人员科研评价指标的相关因素,与医务科、科教科、预防感染科等不同领域的专家进行访谈,这些专家需要具有10年及以上工作经验或副高级及以上职称。根据专家建议修改并初步拟定三级指标评价体系,并据此制作函询问卷。
1.4 德尔菲法
采用德尔菲法进行专家函询,问卷以Word形式发放。内容包括填表说明、专家基本情况调查、科研评价指标设定函询表、专家指标筛选判断依据4部分。
1.4.1 函询专家的确定 
两轮函询专家一致,均来自北京、天津、南京、郑州、大连5个城市6所医疗机构(具体机构同“1.2”项),共36名,基本资料见表1。本研究采取匿名方式,对不同专业药学专家进行编号,形成专家库。函询专家的纳入标准为:(1)具有副主任药师及以上职称;(2)熟悉儿童医院药学人员科研评价工作;(3)自愿参加并能够完成两轮问卷函询。
1.4.2 专家积极程度和专家权威系数的确定

专家积极程度以函询问卷的回收率表示,若回收率达到70%,说明专家积极性非常好。专家权威系数用来评估专家对该评价项目的熟悉及了解程度,由专家熟悉程度和专家判断系数共同决定,专家权威系数=(专家熟悉程度+专家判断系数)/2。其中,专家熟悉程度分为非常熟悉、比较熟悉、一般熟悉、不太熟悉、很不熟悉5级,分别赋值1.0、0.8、0.6、0.4、0.2;专家判断系数分为高、中、低3级(具体评分标准见表2)。若专家权威系数>0.7,表明专家权威性较高,其意见可接受。

1.4.3 专家意见协调程度的确定

专家意见协调程度采用肯德尔协调系数(即 Kendall’s W值)表示,该值取值范围为0~1,越接近于1,说明评价结果波动性越小、离散程度越低、意见越集中。同时,分别对两轮专家咨询的Kendall’s W值进行χ 2检验,若P<0.05,认为结果一致性好且可信;反之,则认为结果一致性不佳且不可信。

1.4.4 指标重要性的评价 

采用Likert 5级评分法对各级评价指标的重要性进行评价,具体评分标准为:非常重要,记5分;比较重要,记4分;一般重要,记3分;不太重要,记2分;很不重要,记1分。采用重要性评分均值归一化法量化各级权重及组合权重。在计算过程中,二级指标的组合权重=二级指标权重×所属一级指标的组合权重,三级指标的组合权重=三级指标权重×所属二级指标的组合权重,各级指标权重之和等于1。

1.4.5 评价体系指标的筛选

本研究指标考察标准共3项:重要性赋值>3.5、变异系数<25%[9]、不重要百分比<50%(包括不太重要和很不重要)。其中,变异系数表示专家意见的离散程度,计算公式为变异系数=标准差/均数,该数值越低,表明专家意见一致性越好。对于设定指标、专家建议修改或增加指标的筛选标准见表3。

1.5 统计学方法 

采用Excel 2016和SPSS 21.0软件进行数据分析。满足正态分布的计量资料以x±s表示,计数资料以例数或率表示;两轮专家咨询的Kendall’s W值比较采用χ 2检验。检验水准α=0.05。

2 药学人员科研指标评价体系的构建结果
2.1 文献/文本调研结果

检索结果显示,文本调研法检索到政策法规或考评要求78条,文献调研法检索到相关文献98篇,均为评价体系内容和构建方法的重要依据。

2.2 评价指标拟定 

本研究使用头脑风暴法和专家访谈法初步拟定了药学人员科研评价指标,包含一级指标4个、二级指标21个、三级指标93个。

2.3 专家积极程度

两轮函询均发放问卷36份,回收36份,回收率及有效率均为100%,提示专家对本课题的关注度和积极性较高。

2.4 专家权威系数

第一轮函询专家的判断系数为0.894,第二轮为0.929,平均值为0.912;第一轮函询专家的熟悉程度为0.733,第二轮为0.761,平均值为0.747。专家权威系数平均值为0.830,表明专家的权威性较高。

2.5 专家意见协调程度

第一轮函询各指标的Kendall’s W值为0.255~0.410,第二轮为0.269~0.460;两轮显著性检验示P<0.01,说明专家意见一致性好、可信性高。结果见表4。

2.6 函询结果 
2.6.1 一级指标函询结果

两轮函询结果显示,4个一级指标的重要性评分为3.97~4.89,不重要百分比为0~2.78%,变异系数为6.52%~22.10%,说明专家对这4个一级指标的重要程度评价结果较集中、统一,故将其全部纳入评价体系。

2.6.2 二级指标函询结果

第一轮函询结果显示,21个二级指标中,14个指标符合“1.4.5”项下考察标准,纳入评价体系;7个指标存在“≥1项不符合考察标准”的情况,需再次征求专家意见;3个指标的专家建议为“修改”;另新增2个指标。具体见表5。

经过两轮专家函询,共纳入16个指标(第一轮纳入14个,第二轮纳入2个)、删除5个指标(第二轮评价不符合要求),根据专家建议修改3个指标(包含在16个纳入指标中)并新增2个指标,最终共计纳入18个二级指标。

2.6.3 三级指标函询结果

18个二级指标项下共计72个三级指标,其中59个指标符合“1.4.5”项下考察标准,纳入评价体系;剩余的13个指标存在“≥1项不符合考察标准”的情况,需再次征求专家意见。具体见表6。

经过两轮专家函询,共纳入62个指标(第一轮纳入59个,第二轮纳入3个)、删除10个指标(第二轮评价不符合要求),最终共计纳入62个三级指标。
2.6.4 评价体系的建立

根据各级指标评价结果,药学人员科研评价指标体系最终包括4个一级指标、18个二级指标和62个三级指标。采用重要性评分均值归一化法量化各级权重及组合权重,具体结果见表7。

A、B、C、D:4个一级指标;-:专家第一轮评价后,建议新增的指标,只有第二轮评价数据,无第一轮评价数据;SCI:科学引文索引。
3 讨论
3.1 科研指标评价体系构建的必要性 

评价体系一向被认为是科研工作的“指挥棒”,基于儿童医院视角建立药学人员科研指标评价体系,可全面、定量、客观地反映该领域药学人员真实的科研水平。此外,对于科室建设,该指标评价体系不仅可作为科研考核和人才选拔的工具,而且可用于剖析科研优势、劣势及关键点,为科室调整学科布局、优化人才结构、确定科研发展方向提供数据支撑。

3.2 指标考察标准 

指标筛选通常由课题组基于函询结果、专家建议、相关文献和实践经验综合确定。在本研究中,为确保函询结果的可评价性,建立了评价体系指标考察标准。对于在第一轮评价中≥1项不符合考察标准的指标,再次评价时,分别以“同意删除的专家占比≥60%”和“同意删除的专家占比≤40%”作为指标删除和纳入的依据。对于“同意删除的专家占比为>40%~<60%”的指标,课题组参考专家建议并查阅相关文献,综合考量后进行判定,以确保评价结果的可靠性。

3.3 所建药学人员科研指标评价体系分析

经筛选评价后,纳入的4个一级指标与原设定指标完全一致,而纳入的18个二级指标较原设定指标发生了较大的变化(删除5个,新增2个)。其中,删除的二级指标多与药学科研无直接关联,如工作岗位、带教工作、科普发表、知识技能竞赛等;新增的二级指标包括“学术/人才称号”和“指南/规范/共识”,这2项指标与儿科药学人员的科研产出密切相关,所以可被认为是其“学术造诣”的一种外在体现,故新增指标均能在一定程度上反映儿科药学人员的科研水平。可见,函询专家不仅参与积极性高,而且提供了很多高质量的建议,对原设定指标的更替及完善起到了重要的推动作用。同时,18个二级指标对应了72个三级指标,经筛选评价后,删除10个,最终纳入62个。

3.4 本研究不足之处 

专家意见的协调程度(Kendall’s W值)是衡量函询专家对各项指标的评价结果是否具有一致性的重要参数。在本研究的第一轮函询中,各指标的Kendall’s W值为0.255~0.410,第二轮为0.269~0.460,表明评价结果波动性大。这可能是由于本指标体系条目较多,且各医疗机构科研水平参差不齐,从而导致各指标的Kendall’s W值与1还有一定距离。但通过两轮函询后,Kendall’s W值有所增高,提示专家意见趋于集中。

3.5 建议与展望

本研究基于儿童医院视角建立的药学人员科研指标评价体系,提供了一个全面、客观的儿科药学人员科研能力定量评价工具。基于所建评价体系,建议在后续的药学科研管理中,可每年对儿科药学人员进行科研能力评价,以便及时了解其各年度科研水平的变化情况;同时,建议将该评价体系作为儿科药学人员科研能力的重要考核依据,以帮助医院更好地了解和规划药学科研的发展方向;此外,建议在实际应用过程中,不同的儿童医院可根据自身儿科药学人员的综合科研水平,选择相应的评价指标及维度,并关注指标权重的变化情况。本研究处于指标体系构建完成阶段,尚未进行实证研究。随着药学的不断发展,对于不同或同一医院,科研指标评价体系的各级指标、权重设定都有可能发生相应改变,需要体系构建者不断修改和完善,以适应药学科研不断发展的需求。

综上所述,本研究所选儿童医院药学专家权威性较高、专业覆盖面广;构建的药学人员科研指标评价体系具有一定的标准性和规范性,可为儿科药学人员的专业水平考核、科研能力评价提供有力参考。

考文献(略)
基金项目:天津市医学重点学科(专科)建设项目(No.TJYXZDXK-040A)
第一作者简介
高艳,副主任药师,硕士。研究方向:医院儿科药学。电话:022-87787305。E-mail:gaoyanduoduo@126.com
通信作者简介
孙燕燕,主任药师,硕士。研究方向:儿科药学管理。电话:022-87787303。E-mail:syytjcn@sina.com

原文地址:儿童医院视角下药学人员科研指标评价体系的构建

点击查看电子期刊

 

中国药房
由国家卫生健康委员会主管,中国医院协会、重庆大学附属肿瘤医院主办的《中国药房》杂志将药学专业资源与新兴媒体融合发展,构建了集药学类新闻宣传、行业焦点、科技知识、科普教育、继续教育在线培训等为一体的中国药房立体网络平台暨药事服务系统。
 最新文章