Nature Human Behaviour:科学家首次开发出解码“意念”的读脑技术

文摘   2024-06-07 15:50   北京  

内部语言Internal Speech是一种体内的语言形式,许多人认为这是他们主观体验的一个重要特征。它可以被认为是一种听觉意象,在这种意象中,自我主动地与自己交流当人们反思时,经常体现出具有内部语言特质内部语言也被称为言语思维、内在言语、隐性自我对话、内在独白和内在对话,已有研究提出在儿童和成年的认知和行为自我调节中发挥重要作用,对精神疾病和涉及非典型语言技能或自我调节缺陷的发育障碍的内在言语功能障碍有影响。

内部语言被认为具有一系列认知功能,包括行动计划、情绪调节和创造性思维等。尽管内部语言对人类认知具有明显的重要性,但心理学家和认知神经科学家对它的关注相对较少,部分原因是研究方法上的问题。尽管如此,大量与内部语言相关的实证工作已经出现,尽管在相当不同的研究领域,它在心理学理论化中发挥着越来越突出的作用。

语言脑机接口(BMI)将大脑信号转换为文字或音频输出,使因疾病或受伤而失去语言能力的人能够进行交流。虽然在发声和模仿的语言解码方面取得了重要进展,但内部语言解码的结果很少,尚未实现高功能。目前还不清楚大脑的哪些区域可以解码内部语音。

最近,科学家已经开发出一种可以解码内部语言的大脑植入物,这种植入物可以识别两个人在不动嘴唇或发出声音的情况下在脑海中说的话。尽管这项技术还处于早期阶段,只能处理少量的单词,而不是短语或句子,但它将来可能会有临床应用。

这项最新的研究发表在5月13日的《Nature Human Behaviour》杂志上,通过实时记录大脑中单个神经元发出的信号,首次解码了人的内部语言。


内部语言脑机接口的概念验证

找出大脑中植入脑机接口的最佳位置是解码内部语音的关键挑战之一。大脑的边缘上回(SMG)是一个以前没有在语音解码脑机接口中探索过的大脑区域。先前的研究表明,大脑的这一部分在无声言语和决定单词是否押韵等任务中很活跃,基于此,作者决定测量SMG中神经元的活动。

在实验中,研究者在两名四肢瘫痪患者在边缘上回(SMG)和初级体感皮层(S1)植入微电极阵列,进行了六个词(战场、牛仔、蟒蛇、勺子、游泳和电话)和两个无意义的假词(nifzig和bindip)的内部的和发声的语言训练。在两名参与者中,研究者在SMG的单个神经元和群体水平上发现了显著的内部语言和发声语言的神经表征。从SMG中记录的神经元群体活动来看,内部语言和发声语言具有显著的可解码性。研究小组要求每个参与者想象说出屏幕上显示的单词,并对每个单词重复这个过程几次。然后,脑机接口将对参与者大脑活动的测量与计算机模型结合起来,实时预测他们的内部语言。

在离线分析中,分别为每个参与者实现了55%和24%的平均解码准确率(机会水平12.5%),在在线内部语言BMI任务中,平均准确率分别为79%和23%。在参与者1中发现了内部语言、单词阅读和发声语言过程之间共享神经表征的证据。SMG既可表征单词也表征假词,为语音编码提供了证据。这些结果可能突显了人们处理内部语言的不同方式。

外,作者还发现,82-85%的神经元在内部言语时活跃,在参与者发声时也活跃。但是一些神经元只在内部言语(internal speech)时活跃,或者在不同的任务中对特定的单词有不同的反应。S1的活动受到发声而非内部言语的调节,这表明在内部言语产生过程中没有声道的发音运动发生。这项工作代表了高性能内部语言脑机接口的概念验证。

瑞士日内瓦大学的神经工程师Silvia Marchesotti说:“这可能是迄今为止在解码想象语音方面最先进的研究。”

“这项技术对那些再也无法行动的人来说特别有用,”研究的合作作者Sarah Wandelt说,她是帕萨迪纳加州理工学院的一名神经工程师,研究完成时她在帕萨迪纳加州理工学院。“例如,我们可以考虑闭锁综合征这样的情况。”

未来应用

尽管这项研究在解码内部言语方面取得了重大进展,但临床应用仍有很长的路要走,许多问题仍未得到解答。

“内部言语的问题在于,我们不知道发生了什么,也不知道它是如何被处理的,”Herff说。例如,研究人员还不能确定大脑是通过语音(通过声音)还是语义(通过意义)来表达内部语言。可能需要更大的词汇量来进行实验。

Marchesotti还想知道这项技术是否可以推广到失去说话能力的人身上,因为这两位研究参与者能够说话,并且大脑的语言区域完好无损。她说:“我认为这是未来可以解决的问题之一。”

研究小组的下一步将是测试脑机接口是否能够区分字母表中的字母。“我们可能会有一个内部语音拼写器,这将真正帮助病人拼写单词。”Wandelt说。


论文链接:
https://doi.org/10.1038/s41562-024-01867-y


解构科学
生命科学前沿内容分享与解读
 最新文章