密集追踪测量中的信度评估

学术   2024-09-03 15:00   北京  



文献导读

Calamia, M. (2019). Practical considerations for evaluating reliability in ambulatory assessment studies. Psychological Assessment, 31(3), 285–291. https://doi.org/10.1037/pas0000599


本综述主要论述了在进行密集追踪测量中,对于不同的测量类型,其信度评估的一些局限性。主要关注的测量类型有:主观报告、客观测量以及认知实验测量。


信度α是研究者经常使用的信度指标之一。已有的证据表明重测信度中的瞬时误差(Transient error)是很多特质测试的测量误差的重要来源,但在单次的测量中无法计算瞬时误差。瞬时误差是一种系统性测量误差,因为特定测量场合上存在的因素而随时间发生。在密集追踪研究中,对于信度的测量主要存在两种局限:个体内以及个体间信度的测量;简版量表的使用会导致测量误差的存在。


01
自我报告中的信度

很多信度的评价指标,比如α系数,与问卷中的测量条目数量以及测量条目之间的相关关系有关。在密集追踪的测量过程中,研究者通常选择简短的量表对个体的特质进行测量,但是这些较少的测量条目的问卷对应的信度较低。因此,Nezlek(2017)号召可以降低密集追踪研究中的信度评价标准,但是具体应该如何调整并没有明确。另外,研究者还通常选择使用相关很高的条目测量同一个特质,虽然提高了信度,但是这种方法的一个问题在于其损失了效度的估计,有限的测量条目所测量的整个特质范围都较窄,所测量的特质变量不够全面。有研究者建议,对于密集追踪测量,如果时间间隔较长,则可以选择使用较长的问卷;另外,自适应测试的使用同样可以提高测量的精确度。

02
认知测量中的信度

技术进步使得便携设备能用于复杂的认知评估,但相关的信度研究仍不足。在认知任务的测量中,一个主要的问题在于认知随时间的变化程度。比如记忆或者执行功能这些认知功能会受到测试内容的练习效应的影响,因此在密集追踪的过程中,间隔时间较短的话,其反映的不仅仅是能力或者特质的变化,同样还有很多其他的如练习效应等干扰因素的存在,因此对信度的测量不够准确。另外,为了减少练习效应的影响而选择较少的实验次数的行为同样会影响信度的估计精确。

03
客观物理数据的信度

对于这类测量的信度测量需要考虑不同的设备之间的所得到的测量结果的影响。与另外两种类型的信度测量的结果一致,即测量的天数以及时间间隔都会影响信度结果的准确性。





测量信度的不同方法




在信度的测量中,如果基于每一个被试不同时间点的数据计算信度,然后进行整合,该方法违反了观测独立性假设;但是如果基于每一天所有的被试的数据计算信度,然后整合的话,则是忽略了每一天中的抽样误差问题。不同的信度指标都是相互关联的,而且与研究目的有关。

研究者指出,在密集追踪研究中,最常用的信度计算方法是基于多层模型的。这种方法所产生的信度估计值类似于α系数,但是同样存在与α系数一样的局限。另外,更灵活的方法还有多层验证性因子分析模型以及动态因子分析分析模型的使用。对于不同的信度计算方法,其存在各自的优势与不足。

总的来说,密集追踪数据可以帮助研究者发现更多新的现象,但密集追踪数据测量的信度问题有待更多的研究者关注。不同的信度测量指标解释了分数的不同方差变异,研究者需要结合数据以及研究问题选择信度的测量指标



参考文献

Nezlek, J. B. (2017). A practical guide to understanding reliability in studies of within-person variability. Journal of Research in Personality, 69, 149–155. http://dx.doi.org/10.1016/j.jrp.2016.06.020



作者:潘老师,郑同学
排版:代新宇




(视频课为各期课程直播全程录屏,报名前可联系邮箱hpa201904@163.com核对确认!)


重磅 | 20万字英文学术写作文库笔记正式发布
(赞赏90元,公众号后台发送支付截图+接收邮箱即可)



荷兰心理统计联盟
心理学与管理学研究者的共享学习平台:分享统计方法、软件操作、研究经验、写作发表,及就业求职资料!
 最新文章