脑机接口（BCI）旨在连接人脑神经活动与外部设备。先前的研究表明可以从颅内电极记录的信号中解码出语音和文本[1]，以恢复脑功能或精神障碍患者的语言功能[2]。但这些方法主要依赖于侵入性颅内电极记录的高时空分辨率及高信噪比的信号，限制了其应用场景。Tang等人近期在Nature Neuroscience杂志上提出了一种新方法，用于从非侵入的功能磁共振成像（fMRI）测量的大脑活动中重建连续语言[3]。为更好地理解此文，Brain-X（交叉脑科学）以“Reconstructing continuous language from brain signals measured by fMRI based brain-computer interface”为题开展了相关讨论。
在过去十年中，基于fMRI的神经编码模型取得了重大进展，例如，使用从语言模型中提取的特征，可以预测对于连续自然语言的神经响应。但要从fMRI中重建连续语言，必须克服三个困难。首先，脑内语义表征区域并不明确，先前的研究表明，这些区域分布在多个脑区[4]。其次，由于 fMRI 测量的血液动力学特性，单个 fMRI 时间点捕捉到的信息来自于 6 到 10 秒前出现的单词。第三，在语言构建过程中，对语义空间的约束十分具有挑战性，因为现有的 fMRI 数据只能捕获真实语义空间的一部分。
Tang等人提出了一种贝叶斯方法，用于解码连续语言。与之前直接从脑反应（R）解码语义向量（S）的尝试不同，由于前述困难，作者没有直接构建估计P(S|R)的解码器，而是利用贝叶斯解码框架P(S│R)∝P(S)P(R|S)，关注编码模型P(R|S)。具体来说，为了应对这三个障碍，该研究首先使用编码性能作为挑选解码体素的指标；其次，研究利用每个重复时间（TR）之前10s的语义信息来构建编码模型；最后，研究采用了GPT-1语言模型来参数化整个语义空间的先验分布P(S)。GPT-1 使用自回归模型，根据前文预测下一个单词，从而实现自然语言生成。此外，研究还使用了束搜索算法，以维持一个相对较大和稳定的候选生成序列。
本研究中语义解码的成功主要归因于大脑中语义表征的分布性质。虽然无法像基于运动皮层信号的侵入性语音脑机接口一样实现较低的单词错误率，但非侵入式语义重建方法在解码更高层次的概念方面展现了前景，例如，从静默视频中解码文本，这一点是基于运动皮层信号的侵入性语音脑机接口难以实现的。
尽管上述工作有许多优点，但仍存在一些局限性。首先，在贝叶斯解码框架中，解码器的有效性在很大程度上依赖于编码模型的性能。GPT-1 的特征可能只能表征大脑中语义信息的一个子集。例如，在这项工作中，仅使用了编码效果较好的体素进行解码，其余体素可能也参与了语义表征，但无法通过 GPT-1 的特征进行编码。其次，该研究假设大脑响应是先前时间点上对语义响应的线性叠加。这一假设可能与大脑中的实际激活过程不一致。
同时，这项研究为非侵入式脑机接口技术提供了新的视角，我们看到未来脑机接口的几个发展方向。首先，更安全、便携且耐用的侵入性脑机接口可以帮助到许多神经功能障碍患者；其次，成本更低、体积更小的非侵入性 BCIs 可能在临床和娱乐应用中发挥作用；最后，提高非侵入性 BCIs 的时间分辨率也至关重要。例如，将其与脑电图或磁脑电图数据结合，可以弥补 fMRI 的低时间分辨率。
本文链接：
https://onlinelibrary.wiley.com/doi/full/10.1002/brx2.70001
本文引用格式：
Shurui Li, Yuanning Li, Ru-Yuan Zhang. Reconstructing continuous language from brain signals measured by fMRI based brain-computer interface. Brain-X. 2024;2:e70001. https://doi.org/10.1002/brx2.70001
投稿指南链接：
https://onlinelibrary.wiley.com/page/journal/28353153/homepage/author-guidelines
投稿：（仅限投稿）
合作：（期刊合作、编委、青委等）
期刊官网（WILEY）：
https://onlinelibrary.wiley.com/journal/28353153
期刊网址（Owner）：
http://www.brain-x.science
微信公众号(WeChat)：
更多期刊内容，请点击阅读：
2、征稿：Brain-X (交叉脑科学)，免版面费，编辑部负责润色！
4、Brain-X (交叉脑科学)：Volume 2 Issue 2，正式上线！
5、Brain-X (交叉脑科学)：Volume 2 Issue 1，正式上线！
6、Brain-X (交叉脑科学)：Volume 1 Issue 4，正式上线！
7、Brain-X (交叉脑科学)：Volume 1 Issue 3，正式上线！
8、Brain-X (交叉脑科学)：Volume 1 Issue 2，正式上线！
