我院数字健康与人工智能研究中心携手南京大学、上海交通大学的科研人员，在IEEE Transactions of Biomedical Engineering期刊上公布了他们的最新研究成果。该成果利用双无键注意力（Dual-keyless Attention, DuKA）模型融合电子医疗病历（EHR）数据，实现了对器官衰竭的可解释性预测。
器官衰竭是医院，尤其是重症监护室病患的主要死亡原因，其预测的准确性具有重要的临床和社会意义。
在这项研究中，研究人员选取了EHR中三种常见的重要医疗数据模态，即诊断、手术和药物信息，以预测心力衰竭、呼吸衰竭和肾衰竭这三种关键的器官衰竭。DuKA模型通过其预训练好的编码嵌入，以及模态级和医学概念级的双重注意力模块将数据进行融合，增强了模型的解释能力（如图1所示）。
图1. 双无键注意力（DuKA）模型示意图。其中，模型输入框中的“e”代表预训练好的编码嵌入，其下标d、p和m分别表示一次就诊中诊断、手术和药物代码的数量。
为了验证DuKA模型的有效性，研究团队在两个数据集上进行了三个器官衰竭预测任务的实验。DuKA在三个任务上的AUROC达0.80-0.91，与所有其他参考模型和基线模型相比， DuKA模型展现出了明显的优势。此外，消融实验进一步验证了使用三个模态的优越性。实验结果表明，诊断历史，尤其是恶病质和既往器官衰竭史，是对器官衰竭预测影响最大的模态和特征。
DuKA是一个轻量级模型，它创新地采用了双重关注的层级化方式，融合诊断、手术和药物信息，在预测器官衰竭方面展现了显著的优势。DuKA模型不仅性能卓越、解释直观、数据融合灵活，而且其采用的无键注意力机制（如图2所示）降低了运算量，并解决了复杂机制在小数据集上容易出现的过参数化问题。
图2. 不同注意力机制的示意图。其中， (a)为本研究采用的无键注意力，它通过对输入数据本身进行操作来学习注意力分数，从而避免了传统方法中需要额外计算键和值的问题。(b) 是一种最早期的“键-值”注意力的形式，它需要计算键和值的匹配程度来确定注意力分数 。(c) 为Transformer模型中引入的自注意力机制，它通过在输入序列内部进行自我匹配来计算注意力分数。
这项研究成果不仅为器官衰竭预测提供了新的方法，而且通过其可解释性的优势，有助于我们更深入地理解疾病的发展过程，从而为医院提供更精确、个性化的治疗方案。
