Calamia, M. (2019). Practical considerations for evaluating reliability in ambulatory assessment studies. Psychological Assessment, 31(3), 285–291. https://doi.org/10.1037/pas0000599
本综述主要论述了在进行密集追踪测量中,对于不同的测量类型,其信度评估的一些局限性。主要关注的测量类型有:主观报告、客观测量以及认知实验测量。
信度α是研究者经常使用的信度指标之一。已有的证据表明重测信度中的瞬时误差(Transient error)是很多特质测试的测量误差的重要来源,但在单次的测量中无法计算瞬时误差。瞬时误差是一种系统性测量误差,因为特定测量场合上存在的因素而随时间发生。在密集追踪研究中,对于信度的测量主要存在两种局限:个体内以及个体间信度的测量;简版量表的使用会导致测量误差的存在。
很多信度的评价指标,比如α系数,与问卷中的测量条目数量以及测量条目之间的相关关系有关。在密集追踪的测量过程中,研究者通常选择简短的量表对个体的特质进行测量,但是这些较少的测量条目的问卷对应的信度较低。因此,Nezlek(2017)号召可以降低密集追踪研究中的信度评价标准,但是具体应该如何调整并没有明确。另外,研究者还通常选择使用相关很高的条目测量同一个特质,虽然提高了信度,但是这种方法的一个问题在于其损失了效度的估计,有限的测量条目所测量的整个特质范围都较窄,所测量的特质变量不够全面。有研究者建议,对于密集追踪测量,如果时间间隔较长,则可以选择使用较长的问卷;另外,自适应测试的使用同样可以提高测量的精确度。
技术进步使得便携设备能用于复杂的认知评估,但相关的信度研究仍不足。在认知任务的测量中,一个主要的问题在于认知随时间的变化程度。比如记忆或者执行功能这些认知功能会受到测试内容的练习效应的影响,因此在密集追踪的过程中,间隔时间较短的话,其反映的不仅仅是能力或者特质的变化,同样还有很多其他的如练习效应等干扰因素的存在,因此对信度的测量不够准确。另外,为了减少练习效应的影响而选择较少的实验次数的行为同样会影响信度的估计精确。
Nezlek, J. B. (2017). A practical guide to understanding reliability in studies of within-person variability. Journal of Research in Personality, 69, 149–155. http://dx.doi.org/10.1016/j.jrp.2016.06.020