N
E
W
Y
E
A
R
H
A
P
P
Y
研究进展
结合IAT和鼠标追踪技术检测记忆的方法
-内隐联结测试（IAT）是Greenwald在1998年首先提出的（是的，已经26年了~），并成为心理学经典实验范式之一。IAT是测量个体内隐态度，如偏见和原型等的经典社会心理学范式。近日，澳门大学认知与脑科学中心伍海燕课题组（ANDlab）在国际经典的心理学期刊《Behavior Research Methods》上发表了新论文，论文题为:“The trajectory of crime: Integrating mouse-tracking into concealed memory detection”。该研究将鼠标追踪技术（mouse-tracking；以下简称MT）与自传体内隐联结测试（autobiographical Implicit Association Test；以下简称aIAT）相结合，旨在改进隐藏的自传体记忆的检测方法，并提出相关计算机制。
01.
研究背景
内隐记忆和说谎检测一直是心理学、法医学、神经科学等多个学科关注的重要领域。内隐记忆是指在不需要意识或有意回忆的条件下，个体的过去经验对当前任务自动产生影响的现象，又称自动的、无意识的记忆。传统的检测方法通常依赖于个体对不同类型记忆刺激（相关或无关信息）的反应时，但这类单纯反应时的测试往往无法深入揭示个体决策的过程及其背后的认知机制。自传体内隐联结测试（aIAT）是传统内隐联结测试（IAT）的扩展，旨在测量个体的自传体记忆和客观事件之间的内隐联结强度。研究者能够利用aIAT评估个体在加工自传体记忆信息时的无意识偏差。然而，传统的aIAT往往只记录反应时间和准确率，并未捕捉到整个决策过程的实时动态过程。鼠标追踪可实时记录被试在决策过程中的鼠标轨迹，从而获得和利用更丰富的行为数据。
02.
实验方法
实验范式
模拟犯罪
被试在一个提前设置好的模拟犯罪场景中执行任务（偷信用卡）。犯罪任务通常涉及固定的步骤，如开门、找到抽屉钥匙、打开抽屉、拿出钱包等。
结合鼠标追踪的内隐联结测试（aIAT+MT）
该测试主要分为一致与不一致条件，被试需要对刺激进行分类。刺激包括四类：“犯罪相关”（模拟犯罪相关的词汇或图片，如钱包）、“真实”（真实事件相关的词汇或图片，如“我在电脑前”）、“犯罪无关”（和模拟犯罪无关的刺激）和“虚假”（真实事件无关的刺激如“我在跑步”）。在一致条件中，“犯罪相关”和“真实”类别在一个按键，“犯罪无关”和“虚假”类别在一个按键；在不一致条件中，“犯罪相关”和“虚假”类别在一个按键，“犯罪无关”和“真实”类别在一个按键。被试需要快速对刺激进行分类。
图1 研究的模拟犯罪情景设置和鼠标追踪的记忆检测范式举例
问卷
完成任务后，被试填写津巴多时间洞察力量表（Zimbardo Time Perspective Inventory，简称ZTPI）。
鼠标数据处理
鼠标轨迹在时间和空间上进行了标准预处理。利用R软件包“Mousetrap”来计算多种鼠标轨迹指标：速度（velocity），最大绝对偏差（MAD）、平均偏差（AD）、最大偏差（MD）、曲线下面积（AUC）。
IAT效应
IAT效应衡量个体对不同概念（犯罪相关/无关）或属性（真实/虚假）的自动联结强度。计算方法为不一致条件下的反应时减去一致条件下的反应时（标准化），差异越大则说明犯罪相关和真实属性的连结更强。在这里我们将计算方法从RT扩展到了鼠标轨迹指标。
计算建模（仿真）
连结主义模型（connectionist model）
连接主义模型是一种基于神经网络理论的建模方法，它模拟了在感官信息输入后神经元群体内的激活模式。在本研究中，该模型包含四个神经元，分别代表 “犯罪相关”、 “真实”、“犯罪无关”和“虚假”四个类别。被试在模拟犯罪的时候形成“犯罪相关”类别和“真实”类别之间的连结。故当接收犯罪相关或是真实事件相关的刺激时，相应的两个神经元将产生额外的活动。这些输出将作为漂移扩散模型的输入。
漂移扩散模型（DDM）
漂移扩散模型（DDM）用于描述二元决策中证据累积的过程。由于aIAT并不是基于价值的任务，因此我们不能推断每个刺激的主观价值或精确定义每个视觉刺激的感官证据强度。连接主义模型为我们提供了一种量化感官证据强度的方法。这使我们能够进一步建模决策过程。最重要的是，模拟结果准确捕捉了内隐联结测试（IAT）效应，证明了连接主义模型的必要性和有效性。
图2 IAT效应的联结模型+DDM计算建模举例
03.
实验结果
鼠标指标也能反映IAT效应，且与由RT计算的效应存在高度相关。然而，由鼠标指标计算的IAT效应能区分犯罪相关+真实事件和犯罪无关+虚假事件，但RT不能。
图3 IAT效应在鼠标反应指标上的体现
犯罪相关+真实事件与犯罪无关+虚假事件的鼠标轨迹和速度有显著差异。
图4 犯罪相关+真实事件与犯罪无关+虚假事件的鼠标轨迹和速度的显著差异。
犯罪相关+真实事件的IAT效应（由鼠标指标MD计算得到）与被试的“消极过去维度”（past negative ，反映了个体对过去否定、厌恶等消极的态度）之间存在相关性。
图5 鼠标指标（左）IAT效应和时间量表正相关，而反应时（右）未体现
前人研究显示鼠标指标AUC和证据累积速度呈正相关，故我们利用 “消极过去维度”评分调节连结主义模型中“犯罪相关”类别和“真实”类别之间的连结强度，用AUC调节DDM中漂移率的大小，来模拟真实的RT和IAT效应的被试间差异。结果显示，仿真得到的IAT效应与实验数据呈正相关，且通过调节后的IAT效应在犯罪相关+真实事件和犯罪无关+虚假事件中存在差异，和由鼠标指标计算得到IAT效应的模式相似。
04.
研究结论
综上，本研究评估并确认了在模拟犯罪情境中使用鼠标追踪（MT）结合自传体隐性联结测试（aIAT）检测隐藏记忆的有效性。鼠标指标计算得到的IAT效应能够有效区分犯罪相关+真实事件和犯罪无关+虚假事件。此外，结合MT与计算建模，我们为IAT效应的被试间差异提供一个机制性解释，说明个人特质和鼠标指标如何帮助揭示aIAT的认知过程。
05.
Bonus
「READING」
此外，我们还开发了一个网站，将本研究所用到的数据处理方法流程化，方便研究人员将aIAT的鼠标数据上传，一键生成本文相应分析。
感兴趣的读者可以移步ANDlab网站相关链接（https://andlab-um.com/resource）。
or网站链接：https://umandlab.shinyapps.io/IATwebsite
论文链接: https://doi.org/10.31234/osf.io/ny9xq
引用: Xu, X. J., Liu, X., Hu, X., & Wu, H*. The trajectory of crime: Integrating mouse-tracking into concealed memory detection.https://doi.org/10.31234/osf.io/ny9xq
06.
作者与致谢
本工作的第一作者为澳门大学认知与脑科学研究中心ANDlab的在读博士生徐心怡，第二作者为lab前本科实习生刘先晴，香港大学心理系胡晓晴教授作为合作作者为论文作出了重要贡献，ANDlab的PI伍海燕教授为该工作唯一最后通讯作者。本研究得到了广东省自然科学基金（2021A1515012509）、澳门科技发展基金（FDCT）（0127/2020/A3，0041/2022/A）、澳门大学SRG（SRG2020-00027-ICI）、澳门大学MYRG（MYRG2022-00188-ICI）以及深港澳科技计划项目（C类）（SGDX2020110309280100）的资助。同时，我们也要感谢马天予，常邈，郭昱彤协助采集数据，感谢李孜茗同学负责编写MT有关网页（感兴趣的用IAT的同学欢迎试用哦～）。
-在2024即将结束和2025即将到来之际，ANDlab选择用一篇今年最后的接收论文和大家分享一些基于鼠标追踪技术和内隐联结测试的探索，顺祝大家新年快乐~
HAPPY NEW YEAR - 2025!
Let's make it a great one!
文案｜Julia
排版｜Zhexu
审核｜Haiyan
